正则表达式，匹配，切割，替换。获取。网页爬虫

来源：互联网发布：郑洛新知乎编辑：程序博客网时间：2024/05/18 00:37

/*
正则表达式，匹配，切割，替换。获取。网页爬虫
*/
/*
正则表达式：符合一定规则的表达式
作用：用于专门操作字符串
特点：用一些特定的符号来表示一些代码操作。
所以学习正则表达式，就是学习特殊符号的操作。
好处：简化对字符串的复杂操作。
弊端：符号越多，正则越长，阅读性差。
*/
/*
对QQ号码进行校验
要求：5~15位，0不能开头，只能是数字。
*/
public class ChackQQ {
public static void main(String[] args) {
// TODO Auto-generated method stub
String qq = "987464786767645645646";
checkQQ(qq);
}
public static void checkQQ(String str){
int len = str.length();
if(len>=5 && len<=15)
{
if(!str.startsWith("0"))
{
char[] arr = str.toCharArray();
boolean flag = false;
for(int x=0;x<arr.length;x++){
if(!(arr[x]>='0' && arr[x]<='9'))
{
flag = true;
break;
}
}
if(flag){
System.out.println("非法字");
}else{
System.out.println("qq:"+str);
}
}
else{
System.out.println("不是0开头");
}
}
else{
System.out.println("长度不对");
}
}
public static void checkQQ_2(String str){
try{
long l = Long.parseLong(str);
}catch(Exception e){
System.out.println("不对");
}
}
}
/*
第一种写法，我们看到这样写比较麻烦。
第二种写法，用long l = Long.ParseLong(QQ号码);如果异常，就错误。
这二种方法都比较麻烦。使用String类组合完成需求，代码复杂。
下面我们就用正则来写。
String方法matchs(正则)。
String regex = "[1-9][0-9]{4,14}";第一位1到9，第二位开始0-9，出现4到14次。
public static void QQCheck(String qq){
String regex = "[1-9][0-9]{4,14}"; //定义正则
boolean flag = qq.matches(regex);
if(flag){
System.out.println("qq:"+qq);
}
else{
System.out.println("QQ号码错误");
}
}
*/
/*
正则表达式
：具体操作功能
1.匹配：String的 matches()方法
[abc]这个字符串的第一个字符是abc,而且只能有一个字符。
[^abc]第一个不是abc就可以了。
[a-z]这个字符在a-z范围内就可以了。
[a-zA-Z] a 到 z 或 A 到 Z，两头的字母包括在内（范围）
[]只会匹配一位字符。
预定义字符类，在java中，\d是一个整体。
. 任何字符（与行结束符可能匹配也可能不匹配）
\d 数字：[0-9]
要写成String regex = "[a-zA-Z]\\d";
\D 非数字： [^0-9]
\s 空白字符：[ \t\n\x0B\f\r]
\S 非空白字符：[^\s]
\w 单词字符：[a-zA-Z_0-9] //邮箱名一般用这个。
\W 非单词字符：[^\w]
Greedy 数量词
X? X，一次或一次也没有
X* X，零次或多次
X+ X，一次或多次
X{n} X，恰好 n 次
X{n,} X，至少 n 次
X{n,m} X，至少 n 次，但是不超过 m 次
解说：
String regex = "[1-9][0-9]{4,14}";
// 意思是:第一位1到9，从第二位,0-9出现4到14次。
*/
/*
练习：匹配手机号。11位数字
手机号段：13XXX，15XXX，18XXX
String regex = "1[358][0-9]{9}";
*/
/*
2.切割：String 类的split(String regex);
参数是regex。复杂切法
1].String regex = " +";//多个空格。空格出现一次或多次
2].注意: . 代表正则里的任意字符。
真要拿点去切。String regex = "\\.";
3]。二个\\定义成正则："\\\\"
4]。按照叠字切。"erkktyqquizzo"
叠词，后一个和前一个一致。第一位可以是任意，第二位得是第一位再次出现。
这时要用到正则里的组概念，封装成组:(.)再捕捉组\1,写到字符串里"\\1"
String regex = "(.)\\1";
假如字符串是这样呢？"erkktyqquizzzzzzo"出现一次或多次。"(.)\\1+"
为了规则的结果被重用，可以将结果封装成组，用()完成，组的出现都有编号，
从1开始，想要使用已有的组通过\n形式来获取。n就是组的编号。
((())()):有几组看左括号，第几组还是看左括号。
组和捕获
捕获组可以通过从左到右计算其开括号来编号。例如，在表达式 ((A)(B(C))) 中，存在四个这样的组：
1 ((A)(B(C)))
2 \A
3 (B(C))
4 (C)
3.替换：
String 的方法replaceAll()，
replaceAll()函数参数：String str = str.replaceAll(reg,newStr);
例题：将一堆字符串中的数字替换成#号.如手机号
字符串.replaceAll("\\d{5,}","#");这句话意思是数字出现5或以上，替换成#
例题;将重叠字母替换成单个字母。("(.)\\1+","$1");美元符代表前面组里出现的字符。
4.获取：将字符串中符合规则的子串取出。
操作步骤：
1.将正则表达式封装成对象。Pattern p = Pattern.compile(reg);
2.让正则对象和要操作的字符串相关联。Matcher m = p.matcher(string);
3.关联后，获取正则匹配引擎。Matcher m
4.通过引擎获取内容。m.find();m.group();
注意事项：matches()和find()是一个匹配器，二个方法一起用，注意索引位置会偏移。
*/
class getDemo
{
public static void main(String[] args){
getDemo();
}
public static void getDemo(){
String str = "ming tan jiu yao fang jia le,da jia";
String regex = "\\b[a-z]{3}\\b";//\\b代表边界符
Pattern p = Pattern.compile(regex);//将正则封装成对象
Matcher m = p.matcher(str);//和字符串关联并拿到匹配器对象。
//System.out.println(m.find());//将规则作用到字符串上，并进行符合规则的子串查找。
//System.out.println(m.group());//用于获取匹配后的结果。
while(m.find()){
System.out.println(m.group());//类似迭代器。
//System.out.println(m.start()+"..."+m.end());可以拿到匹配后的头头尾角标。
}
}
}
/*
需求：将下列字符串转成：我要学编程
String str = "我我...我我...我要..要要..要要...学学学....学学....编编编....编程.....程程程..程..程";
到底用四种功能中的哪一个呢？还是几个？
思路方式：1.如果只想知道该字符是否是对是错，匹配matches()
2.想要将已有的字符串变成另一个字符串，替换replaceAll()
3.想要按照自定的方式将字符串变成多个字符串。切割split(),获取规则以外的子串
4.想要拿到符合需求的字符子串，获取，获取符合规则的子串。
获取，1.将规则regex封装成对象pattern.compile(reg),2.获取匹配器，p.matcher(str),3.通过匹配器操作。
*/
public static void test_1(){//我要学编程
String str = "我我...我我...我要..要要..要要...学学学....学学....编编编....编程.....程程程..程..程";
String regex = "\\.+";
/*
String[] arr = str.split(regex);
StringBuilder sb = new StringBuilder();
for(String s :arr){
sb.append(s);
}
System.out.println(sb);
*/
//以上可以替换成代码
String sb = str.replaceAll(regex,"");//。可以替换成空格。
String regex1 = "(.)\\1+";
String sss = sb.toString().replaceAll(regex1, "$1");
System.out.println(sss);
}
/*练习二
192.68.1.254 102.49.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30
将IP地址进行地址段顺序的排序。
还按照字符串自然顺序，只要让它们每一段都是3位就好。
1.按照每一段需要的最多的0进行补齐，那么每一段就会至少保证有3位。
2.将每一段只保留3位，这样，所有的IP地址都是每一段3位。
*/
public static void test_2()
{
//192.68.1.254 102.49.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30
//将IP地址进行地址段顺序的排序。
String ip = "192.68.1.254 102.49.49.23.013 10.10.10.10 2.2.2.2 8.109.90.30";
ip = ip.replaceAll("(\\d+)", "00$1");//先在前加二个0
ip = ip.replaceAll("0*(\\d{3})", "$1");//保留后三位
//System.out.println(ip);
String[] arr = ip.split(" +");
Set<String> set = new TreeSet<String>();
for(String s:arr){
set.add(s);//添加并排序
}
for(String ss:set){
System.out.println(ss.replaceAll("0*(\\d+)", "$1"));//打印并去掉前面的0
}
}
/*
练习：对邮箱地址进行校验。英文和数字_,6位-->12位
*/
public static void checkMail(){
String mail = "643123@sina.com";
String reg = "[a-zA-Z0-9_]{6,12}@[a-zA-Z0-9]+(\\.[a-zA-Z]+){1,3}";//比较精确的匹配
//String reg = "\\w+@\\w+(\\.\\w+)+";//相对不精确的匹配
//mail.indexOf("@")!=-1;搞笑的匹配。
boolean b = mail.matches(reg);
System.out.println(b);
}
/*
网页爬虫：(蜘蛛)如：向邮箱里发东西。
获取指定文档中的邮件地址
使用获取功能。Pattern Mather
*/
import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class GetMailDemo {
/**
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
// TODO Auto-generated method stub
getMails_2();
}
public static void getMails_2() throws Exception//从网页上获取
{
URL url = new URL("http://127.0.0.1:8080/myweb/mail.html");//这里不用写二个//.
URLConnection conn = url.openConnection();
BufferedReader bufr = new BufferedReader(
new InputStreamReader(conn.getInputStream()));
String mailReg = "\\w+@\\w+(\\.\\w+)+";
Pattern p = Pattern.compile(mailReg);
String line = null;
while((line = bufr.readLine())!=null){
//System.out.println(line);
Matcher m = p.matcher(line);
while(m.find()){
System.out.println(m.group());
}
}
}
public static void getMails() throws Exception//获取一个文件中的邮箱
{
BufferedReader bufr = new BufferedReader(
new FileReader("mail.txt"));
String mailReg = "\\w+@\\w+(\\.\\w+)+";
Pattern p = Pattern.compile(mailReg);
String line = null;
while((line = bufr.readLine())!=null){
//System.out.println(line);
Matcher m = p.matcher(line);
while(m.find()){
System.out.println(m.group());
}
}
}
}