sort、uniq对汉字不生效
来源:互联网 发布:java parcelable 编辑:程序博客网 时间:2024/06/05 18:35
sort file_name
当file_name文件里包含汉字时,并且文件编码不是utf8的时候,就可能会失效,你会发现相同的字符串,却不在相邻行
另外uniq命令也是,
uniq file_name
当file_name文件里包含汉字时,并且文件编码不是utf8的时候,就可能会失效,你会发现重复的行没有被去重掉
sort -u file_name
sort -u 问题会表现的更加严重,把不是相同的行,都给干掉了
解决方法
iconv -f cp936 -t utf-8 file_name | sort |uniq | iconv -f utf-8 -t cp936 >file_name.uniq
上面iconv命令转换了一次编码,cp936可能需要修改,你的文件是gbk的时候是cp936
阅读全文
0 0
- sort、uniq对汉字不生效
- shell中uniq与sort -u 两种去重的对别
- shell中uniq与sort -u 两种去重的对别
- shell中uniq与sort -u 两种去重的对别
- shell中uniq与sort -u 两种去重的对别
- linux sort uniq -c
- linux sort uniq -c
- 【linux】 sort and uniq
- sort和uniq
- sort uniq妙用
- 读书笔记 sort and uniq
- Linux Sort & Uniq
- linux sort/uniq 使用
- sort、uniq学习笔记
- wc, sort ,uniq 命令
- sort和uniq命令
- sort tar split uniq
- sort/uniq/cut/wc/
- Java虚拟机安全性-class文件检验器
- angular框架中,使用FileReader时,图片预览,会出现上传图片后,再点击上传图片才显示
- Instrumenting Java Bytecode with ASM
- 为什么程序员也能成为伟大的CEO
- JS控制文本框:输入银行卡号,4位自动加上空格分隔
- sort、uniq对汉字不生效
- SeleniumIDE 使用
- bzoj 4813: [Cqoi2017]小Q的棋盘 树形dp
- memset用法小结
- 前端左右列表联动,目前没有找到好的插件,以后使用到的话自己使用原生的js,html,css写
- 【Lucas定理】洛谷1869[愚蠢的组合数]题解
- 从数据库查询得到的枚举数据列,int转成对应的枚举字段
- Redis单机及集群的安装及使用
- Java虚拟机的内置安全特性,看完务必书藏起来,很重要!