删除重复内容行
来源:互联网 发布:深圳发展中公司 知乎 编辑:程序博客网 时间:2024/05/21 13:58
删除重复内容行
由于要处理一个两万多行的数据,但要删除其中内容重复的行,所以找了几个方法:
1. 用sed替换重复内容,使用命令 -n "G;s/\n/&&/;/^\(.*\n\).*\n\1/d; s/\n//;h;P" "$(FilePath)" (这里是在editplus里的使用,注意$(FilePath)必须是带路径的文件名)。当然sed不需依赖editplus,可以单独使用的。优点:删除重复内容后,顺序结构不变。缺点:不支持UTF-8,处理大文件时(2w多行)就不行了。
2.使用editplus-工具-排序,勾选"删除重复"。可惜不想把内容排序,却被自动排序了。(勾选"区分位置",好像没用?),这个效率相当快~差不多是瞬间完成的,之所以没放弃editplus,确实它的优点有很多。
3.使用一个批处理
@echo off
:: 删除重复的行,但不能保留空行
:: 对不符合变量命名规则、变量个数超过限制的文本都无法正确处理
(echo 清除重复行后的文件内容:& echo.)>str_.txt
for /f "delims=" %%i in (testText.txt) do (
if not defined %%i set %%i=A & echo %%i>>str_.txt)
:: start str_.txt
当然也不支持utf8,效率也比较慢,处理2w多行用了1分多钟,不过排序没有改变:)。
0 0
- 删除重复内容行
- SQL SERVER删除重复内容行
- 删除表里重复内容
- centos 删除文本重复内容
- 删除文本中内容重复的行的批处理
- 使用EditPlus和批处理删除文本重复内容行
- 重复内容删除的小脚本
- sqlsever 删除字段内容重复数据
- iOS FDMB删除重复的内容
- 【Shell】删除文档中重复内容
- DISTINCT删除重复行
- 删除SQL重复行
- 删除重复行
- 删除重复的行
- 删除重复行
- Sql删除重复行
- oracle 删除重复行
- Oracle删除重复行
- android renderscript 初探
- 关联容器--map和set
- dubbo的初级例子搭建
- Java中字节流和字符流的read()方法为什么返回的值是int类型
- 常见性能优化策略的总结
- 删除重复内容行
- javafx TableView中的TableColumn如何填充的自带类,以及编辑单元格
- 2017.1.19 bug总结
- Git与github基本操作
- 网页游戏开发入门教程三(简单程序应用)
- linux下python安装Mysql扩展
- 软件测试笔记2-目的
- webservice axi2 远程服务端接口调用
- 哈理工OJ 1942 this is bad problom(搜索BFS)