Java 实现按行读取文件并且将行中的重复数据删除
来源:互联网 发布:4g网络摄像头哪家好 编辑:程序博客网 时间:2024/05/29 12:12
package com.gaden.delerepeat;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.util.TreeSet;
import com.gaden.Transilate.WriteFile;
public class DeleRepeat {
public static void main(String[] args ) throws Exception {
if(args.length==2){
String inputPath = args[0];
String outputPath = args[1];
String content = readFileDeleReapet(inputPath);
WriteFile.writeFile(outputPath,content);
}else{
System.out.println("Error args!");
}
}
public static String Delerepeat(String line){
String ls="";
line = line.replaceAll("[\\pP‘’“”]", ""); //把所有标点符号都去掉
line = line.replaceAll("\\s{2,}", " "); //将多个空格换成一个
String[] str = line.trim().split(" ");
TreeSet<String> set = new TreeSet<String>();
for (int i = 0; i < str.length; i++) {
set.add(str[i]);
}
str = (String[]) set.toArray(new String[0]);
for (int i = 0; i < str.length; i++) {
ls += str[i]+" ";
}
System.out.println(ls);
return ls;
}
public static String readFileDeleReapet(String filePathAndName) {
String fileContent = "";
try {
File f = new File(filePathAndName);
if (f.isFile() && f.exists()) {
InputStreamReader read = new InputStreamReader(
new FileInputStream(f), "UTF-8");
BufferedReader reader = new BufferedReader(read);
String line;
while ((line = reader.readLine()) != null) {
fileContent += Delerepeat(line)+"\r\n";
}
read.close();
}
} catch (Exception e) {
System.out.println("du wenjian cuo wu");
e.printStackTrace();
}
return fileContent;
}
}
匹配URL:
regex_luo = re.compile(
r'[(?:http|ftp)s?://]?' # http:// or https://
r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?)|' #domain...
r'localhost|' #localhost...
r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' # ...or ip
r'(?:\d+)?' # optional por
r'(?:/[a-zA-Z0-9\&%_\./-~-]*)?', re.IGNORECASE)
- Java 实现按行读取文件并且将行中的重复数据删除
- c++输入文件处理按行读取并且将实现对一行数据分别处理
- python3将csv文件中的两列数据读取出来,并且按行写入txt文本之中
- 如何快速删除Linux文件中的重复数据行
- perl删除文件中的重复行
- java 删除List 中的重复数据
- 读取文件中的数据,并且计算其平均值和标准偏差
- java读取文本文件,并且去除重复字段
- Java 按关键字删除文件中的行
- Mysql查询重复数据并按条件删除重复行
- Java去除文件中的重复行
- java 删除重复文件
- 删除表中的重复行
- 删除文件重复行命令
- 使用java语言将数组中的数据写入txt文件,然后读取
- java代码实现CSV文件读取、将数据拆分成多个CSV文件及数据导出到CSV文件
- oracle 查询重复数据并且删除, 只保留一条数据
- 读取idea resources 文件并且按行读取文件里面的内容
- 1007. 素数对猜想(PAT Basic)
- android系统属性的使用
- 异步通讯方式--信号
- ddgjkll
- 怎样更好地使用快捷键?
- Java 实现按行读取文件并且将行中的重复数据删除
- [LeetCode] Implement strStr()
- 在nodejs中,使用node-oracle连接oracle
- 通过java代码调取C#应用程序并实现数据交互
- cloud foundry上部署mysql
- struts2 配置及学习--action之间的跳转
- ListView动态加载数据
- iframe子页面获取父页面对象
- 做到了.你就成熟了