python 文件去重复
来源:互联网 发布:美国飓风网络路径 编辑:程序博客网 时间:2024/05/22 11:47
1.strip() set()
def modi_File(filename):
sFile="out/"+filename
oFile="out1/"+filename
fp = file(sFile,"r")
lines = fp.readlines()
fp.close()
index =0
count =len(lines)
while index<count:
lines[index]=lines[index].strip("\n")
index +=1
flines=list(set(lines))
fp_w=file(oFile,"w")
count=0
for line in flines:
fp_w.write(str(line)+"\n")
count +=1
fp_w.write("数据总量:%s"%count)
fp_w.close()
2.
#!/usr/bin/python2
# coding: utf-8
def modi (filename):
IN = '/tmp/' + filename # "out/" + filename
OUT = '/tmp/' + '_' + filename # "out1/" + filename
fhi = open (IN)
fho = open (OUT, 'w')
uniq = set ()
count = 0
for line in fhi:
if line in uniq: continue
uniq.add (line)
count += 1
fho.write (line)
fho.write ("数据总量:%s" % count)
fhi.close ()
fho.close ()
modi ('xyz')
- python 文件去重复
- python list去重复值
- python中list去重复
- linux文件合并,去重复
- linux文件合并,去重复
- linux文件合并,去重复
- 数据去重复(txt文件去重复,js实现)
- python list 去重重复元素问题
- Python文件去重工具
- 去重复
- python删除重复文件代码
- python实现嵌套列表、字典按某一元素去重复
- Python对多属性的重复数据去重
- Linux下大文件的排序和去重复
- Python入门:文件内容去重操作
- Python入门:文件内容去重操作
- [Python/过滤文件英文去从]
- python去utf文件的BOM头部
- JavaScript设置Cookie 解释
- 【九度OJ】题目1028:继续畅通工程 解题报告
- 在win 10 14393 的版本中复制对象名称转ansi 多出符号
- Jquery DataTable应用
- Jump Game II
- python 文件去重复
- linux socket 操作链路层
- 字符串、字符处理总结
- 封装PlayerPrefs
- linux curl 定时执行 web请求
- 【leetcode】215. Kth Largest Element in an Array
- GYM 100182 E.Minesweeper(水~)
- UESTC 1339 郭大侠与线上游戏
- NFL Free Agency: Why Cowboys Are On Track For Up To Four Comp Draft Picks In 2018