用EXCEL打开这个文本文件，然后用高级筛选来去除重复，再另存为txt文件就行了

思路这样看看可以不可以:做个指针,以及指针记录临时文件,然后读1M进行过滤;然后再读1M进行过滤.当然这个1M不是一定的,用二分法,找出一次读出的最佳文件大小.当然,也可以考虑用多线程.:mrgreen:

1、通过桌面快捷方式或搜索来打开word文档。2、在随后打开的界面左侧点击需要筛选重复内容的word文档。3、接着使用鼠标拖拽的方式选中一道题目的内容，并使用键盘快捷键“Ctrl+C”复制内容。4、使用键盘快捷键“Ctrl+F”打开wo...

1.打开excel表格，选中数据，点击菜单栏中“开始”里“条件格式”下的“突出显示单元格规则”，选择“重复值”选项。2.在重复值选项框里，选择“重复值”，点击“确定”。3.查看表格，发现表格里面重复的单元格变为浅红色...

利用“数据”面板里的“删除重复项”，能够快速的删除重复内容

GB级密码字典排序去重复工具--MKQsort平均处理速度5MB/s适合GB级及以下文本文档可每行长度丢弃过长或过短的行注:键盘上没有的字符均视为乱码,该行自动丢弃

借助WPS表格完成先在WPS文字中使用查找和替换，将；号替换成回车，复制粘贴到WPS表格中，数据——删除重复项。如果还要WPS那种形式，可复制粘贴回WPS文字，再将回车替换成；号。

是全删除，还是保留第一个重复信息？用写字板打开，不是记事本！1·全删除：编辑—替换，在查找内容后填入想删除的信息，替换为后什么也不要输。点右侧的“替换”或”全部替换“。2·保留第一个信息：将第一条信息改成...

选中你想去的重复的内容，右击复制，编辑里有个替换，粘贴到查找那一栏，替换的那一栏空白，点击全部替换，开始会比较慢，可以先用word编辑，word全部替换很快的

如果是EXCEL可以用=COUNTIF(A:A，A1)只要显示2的就是有2行一样，10就10行一样，删除是记得留一行，不要都删掉。可以发过来给你整整xyz4451@163.com可以排序后使用IF判断删除，也可以用上述方法删除...