彻底研究正则表达式

来源:互联网 发布:淘宝的刮擦车漆 喷漆 编辑:程序博客网 时间:2024/04/27 21:30
[这个贴子最后由netlogic在 2003/11/30 11:31am 第 1 次编辑]
/*以下是我最近研究正则表达式的成果希望能对大家有帮助。其中也有我遇到的不明白之处,各位有精通的
请发mail给我讲讲。还有有谁对javascript的正则表达式精通请给大家发一下吧。这些东东都是javadoc上有的,
还有一些是我在java.sun.com/docs/books/tutorial/extra/regex/index.html上看到的,我建议对正则表达式
感兴趣的不妨上去看看,很不错。
*/
package testreg;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
  • <p>Title: 正则表达式的研究</p>
  • <p>Description:
  • 最近在工作中常常用到一些正则表达式的使用问题,到网上去找介绍大多是一鳞半爪。求人不如
  • 求已。一狠心,自己看!这两天利用我们项目两期之间的一点空闲对J2SE所支持的正则表达式来
  • 了个彻底研究!代价是……就是浪废了部门近十二张白纸。闲话少说,书归正传。
  • 原理:
  • 正则表达式的原理是有限状态自动机,自动机内部有有限个状态,有一个初始状态,有一个
  • 结束状态。自动机根据输入和自身内部的当前状态来决定下一步于什么。呵呵,这是很久以前学
  • 的东东了也记不清了,大家只作参照吧。
  • Java中的正则表达式:
  • 从J2SE1.4起Java增加了对正则表达式的支持就是java.util.regex包,这个包中主要有
  • 3个类:Pattern,代表模式,就是正则表达式自身,Matcher,是一个有限状态自动机,其实大多
  • 数的活还是让Pattern类于了,Matcher往往只是简单的调用Pattern,不知道这是什么模式。这
  • 两个类写的都很经典,还有不少算法在内值得有功力的人仔细研究一下。另一个是一个异常类当所
  • 用正则表达式不正确时抛出,是运行时异常。
  • 几个难点:
  • 1.line terminator
  • line terminator 中文意终结符,是指一个或两个字符组成的字符序列。java中的
  • 所有line terminator:
  • A newline (line feed) character ('/n'),
  • -----------换行符(0A)
  • A carriage-return character followed immediately by a newline character ("/r/n"),
  • -----------回车+换行(0D0A)
  • A standalone carriage-return character ('/r'),
  • -----------回车(0D)
  • A next-line character ('/u0085'),
  • ------------下一行符?(?表示我也不知道是什么,请大家明白的给我发mail
  • A line-separator character ('/u2028'), or
  • ------------行分隔符?
  • A paragraph-separator character ('/u2029).
  • ------------段落分隔符?
  • If UNIX_LINES mode is activated, then the only line terminators recognized are newline characters.
  • 如果使用unix模式则只有/n被认为是line terminator,也就是在使用pattern时如下:
  • Pattern p=Pattern.compile("正则表达式",Pattern.UNIX_LINE);
  • 或 Pattern p=Pattern.compile("(?d)正则表达式")
  • "."匹配除line terminator以外的所有字符(未指定DOTALL时)
  • 在指定DOTAll模式时"."匹配所有字符
  • 2.Quantifiers,Greedy,Reluctant and Possessive.
  • 这几个词不太好译,原文是Greedy Quantifiers,Reluctant Quantifiers and Possessive
  • Quantifiers凭我这点英语我只好译作贪婪的量子,不情愿的量子和占有欲强的量子?这也太搞笑了,
  • 好在我理解了他们的意思。这点等下我细说。
  • 3. 对于[a-zA-Z],[a-d[h-i]],[^a-f],[b-f&&[a-z]],[b-f&&[^cd]]等形式的理解
  • 对于上述,原文用range,union,negation,intersection,subtraction等来描述
  • range表是范围,union是并集,negation是取反,intersection是交集,subtraction
  • 是……是减法??反正是减去一部分的意思
  • range a-z 从a到z的小写字母
  • negation [^a-f]除了a-f之外所有的,全集是所有字符
  • union [a-d[h-i]] a-d并h-i
  • subtraction [b-f&&[^cd]] 就是b-f中除了cd以外的都是
  • intersection[b-f&&[a-z]] 就是b-f与a-z中的公共部分
  • 我总结了一下,其实就是方括号表示一个集合,集合中的元素用列举法表示如[abcd],但太多
  • 了怎么为?总不能把从a到z的全列举吧?那就用a-z表示且省略了方括号,交集用&&表示,并集
  • 省略,差集(对subtraction译成差集还差不多)用交集和取反来表示。所以,以上的可表示为:
  • [[a-z][A-Z]],[[a-d][h-i]],[^a-f],[[b-f]&&[a-z]],[[b-f]&&[^cd]]
  • 这样是不是和我们的习惯相符了.
  • 4.各个标志的意义
  • 在生成pattern时可以同时使用几个标志来指定进行匹配时的方案。
  • 用法形如:Pattern p=Pattern.compile(".*a?",Pattern.UNIX_LINES);
  • 当同时指定多个标志时可以使用"|"操作符连接如:
  • Pattern p=Pattern.compile(".*a?,Pattern.UNIX_LINES|Pattern.DOTALL);
  • 也可以在表达式中指定如:
  • Pattern p=Pattern.compile("(?d).*a?");
  • Pattern p=Pattern.compile("(?d)(?s).*a?");
  • 以上两个定义和前面两个对应等价
  • 所有的标志如下:
  • Constant Equivalent Embedded Flag Expression
Pattern.CANON_EQ None Enables canonical equivalence
Pattern.CASE_INSENSITIVE (?i) Enables case-insensitive matching
Pattern.COMMENTS (?x) Permits whitespace and comments in pattern.
Pattern.MULTILINE (?m) Enables multiline mode.
Pattern.DOATALL (?s) Enables dotall mode
Pattern.UNICODE_CASE (?u) Enables Unicode-aware case folding.
Pattern.UNIX_LINES (?d) Enables Unix lines mode

CANON_EQ 指定使用规范等价模式?这个我理解的也有限,是不是说只要指定了这个模式则
ascii码的'a'就可以和unicode的'a'还有XXX码的'a'相等?请教各位。(mail to me)

CASE_INSENSITIVE 指定使用大小写不敏感的匹配模式,这个好理解,但要注意这个标志只是
对ascii码有效,要使unicode在比较时也忽略大小写要同时指定UNICODE_CASE,就是要指定
CASE_INSENSITIVE|UNICODE_CASE或使用(?i)(?u)

COMMENTS 指定使用注释和忽略空白,也就是".*a"==". *a #this is comments"我想这个
  • 在正则表达式很大,而且是在文件中输入时比较有用,平时我看也用不上。
  • MULTILINE In multiline mode the expressions ^ and $ match just after
  • or just before, respectively, a line terminator or the end of the
  • input sequence. By default these expressions only match at the beginning
  • and the end of the entire input sequence
  • 指定使用多行匹配模式,在默认模式下,^和$分别只匹配一个输入的开始和结束。
  • 在这种模式下,^和$ 除了匹配整个输入的开始和结束外还匹配一个line terminator的后边和
  • 前边(不是前边和后边,就是说^匹配line terminator的后边$匹配line terminator的前边。
  • DOATALL 如指定了这个模式则"."可匹配任何字符包括line terminator
  • UNIX_LINES 指定这个模式时只有/n被认为是line terminator而/r和/r/n都不是
  • 其他的我一时想不起来了,在具体介绍时再说吧。
  • </p>
*/
public class TestReg2
{
public static void main(String[] args)
{ String str1 = "";
Object str =
"";
//注意:/r,/n,/b等转义字符在java字符串常量中要写成
r,
n,
b等,否则编译都过不去
///s匹配/r,/n,/r和空格
System.out.println("
s匹配
r,
n,
r和空格 "
+" /t/n/r".matches("
s{4}"
));
///S和/s互逆
System.out.println("
S和
s互逆 "
+"/".matches("
S"
));
//.不匹配/r和/n
System.out.println(".不匹配
r和
n "
+"/r".matches("."));
System.out.println(
"/n".matches("."));

///w匹配字母,数字和下划线
System.out.println("
w匹配字母,数字和下划线 "
+"a8_".matches("
w
w
w"
));
///W和/w互逆
System.out.println("
W和
w互逆 "
+"&_".matches("
W
w"
));
///d匹配数字
System.out.println("
d匹配数字 "
+"8".matches("
d"
));
///D与/d互逆
System.out.println("
D与
d互逆"
+"%".matches("
D"
));
//两者都匹配但意文不同
System.out.println("======================");
System.out.println(
"表示
000a匹配
000a "
+"/n".matches("/n"));
System.out.println(
"表示
n匹配换行 "
+"/n".matches("
n"
));
System.out.println(
"======================");
//两者都匹配但意文不同
System.out.println("/r".matches("/r"));
System.out.println(
"/r".matches("
r"
));
System.out.println(
"======================");
//^匹配开头
System.out.println("^匹配开头"+"hell".matches("^hell"));
System.out.println(
"abc/nhell".matches("^hell"));
//$匹配结束
System.out.println("$匹配结束"+"my car/nabc".matches(".*ar$"));
System.out.println(
"my car".matches(".*ar$"));
///b匹配界
System.out.println("
b匹配界 "
+"bomb".matches("
bbom."
));
System.out.println(
"bomb".matches(".*mb
b"
));
///B与/b互逆
System.out.println("
B与
b互逆"
+"abc".matches("
Babc"
));

//[a-z]匹配a到z的小写字母
System.out.println("[a-z]匹配a到z的小写字母"+"s".matches("[a-z]"));
System.out.println(
"S".matches("[A-Z]"));
System.out.println(
"9".matches("[0-9]"));

//取反
System.out.println("取反"+"s".matches("[^a-z]"));
System.out.println(
"S".matches("[^A-Z]"));
System.out.println(
"9".matches("[^0-9]"));

//括号的作用
System.out.println("括号的作用"+"aB9".matches("[a-z][A-Z][0-9]"));
System.out.println(
"aB9bC6".matches("([a-z][A-Z][0-9])+"));
//或运算
System.out.println("或运算"+"two".matches("two|to|2"));
System.out.println(
"to".matches("two|to|2"));
System.out.println(
"2".matches("two|to|2"));

//[a-zA-z]==[a-z]|[A-Z]
System.out.println("[a-zA-z]==[a-z]|[A-Z]"+"a".matches("[a-zA-Z]"));
System.out.println(
"A".matches("[a-zA-Z]"));
System.out.println(
"a".matches("[a-z]|[A-Z]"));
System.out.println(
"A".matches("[a-z]|[A-Z]"));

//体会一下以下四个
System.out.println("体会一下以下四个/n==========================");
System.out.println(
")".matches("[a-zA-Z)]"));
System.out.println(
")".matches("[a-zA-Z)_-]"));
System.out.println(
"_".matches("[a-zA-Z)_-]"));
System.out.println(
"-".matches("[a-zA-Z)_-]"));
System.out.println(
"==========================");
System.out.println(
"b".matches("[abc]"));
//[a-d[f-h]]==[a-df-h]
System.out.println("[a-d[f-h]]==[a-df-h]"+"h".matches("[a-d[f-h]]"));
System.out.println(
"a".matches("[a-z&&[def]]"));
//取交集
System.out.println("取交集"+"a".matches("[a-z&&[def]]"));
System.out.println(
"b".matches("[[a-z]&&[e]]"));
//取并
System.out.println("取并"+"9".matches("[[a-c][0-9]]"));
//[a-z&&[^bc]]==[ad-z]
System.out.println("[a-z&&[^bc]]==[ad-z]"+"b".matches("[a-z&&[^bc]]"));
System.out.println(
"d".matches("[a-z&&[^bc]]"));
//[a-z&&[^m-p]]==[a-lq-z]
System.out.println("[a-z&&[^m-p]]==[a-lq-z]"+"d".matches("[a-z&&[^m-p]]"));
System.out.println(
"a".matches("
p{Lower}"
));
///注意以下体会/b的用法(注意,在字符串常量中十目直接写/b表退格,所以要写
b
System.out.println("*********************************");
System.out.println(
"aawordaa".matches(".
bword
b.
"
));
System.out.println(
"a word a".matches(".
bword
b.
"
));
System.out.println(
"aawordaa".matches(".
Bword
B.
"
));
System.out.println(
"a word a".matches(".
Bword
B.
"
));
System.out.println(
"a word a".matches(".word."));
System.out.println(
"aawordaa".matches(".word."));
//体会一下组的用法
//组的顺序,只数"("第一个为第一组第二个是第二组……
//第0组表示整个表达式
System.out.println("**************test group**************");
Pattern p = Pattern.compile(
"(([abc]+)([123]+))([-_%]+)");
Matcher m = p.matcher(
"aac212-%%");
System.out.println(m.matches());
m = p.matcher(
"cccc2223%_%_-");
System.out.println(m.matches());
System.out.println(
"======test group======");
System.out.println(m.group());
System.out.println(m.group(0));
System.out.println(m.group(1));
System.out.println(m.group(2));
System.out.println(m.group(3));
System.out.println(m.group(4));
System.out.println(m.groupCount());
System.out.println(
"========test end()=========");
System.out.println(m.end());
System.out.println(m.end(2));
System.out.println(
"==========test start()==========");
System.out.println(m.start());
System.out.println(m.start(2));
//test backslash测试反向引用?
Pattern pp1=Pattern.compile("(
d)
1"
);//这个表达式表示必须有两相同的数字出现
///1表示引用第一个组/n表示引用第n个组(必须用//1而不能用/1因/1在字符串中另有意义(我也知道是什么)
Matcher mm1=pp1.matcher("3345");//33匹配但45不匹配
System.out.println("test backslash测试反向引用");
System.out.println(mm1.find());
System.out.println(mm1.find());

//体会以下不同
System.out.println("==============test find()=========");
System.out.println(m.find());
System.out.println(m.find(2));

System.out.println(
"这是从第三个字符(index=2)开始找的group结果");
System.out.println(m.group());
System.out.println(m.group(0));
System.out.println(m.group(1));
System.out.println(m.group(2));
System.out.println(m.group(3));
m.reset();
System.out.println(m.find());
//测试一个模式可多次匹配一个串
System.out.println("测试一个模式可多次匹配一个串");
Pattern p1 = Pattern.compile(
"a{2}");
Matcher m1 = p1.matcher(
"aaaaaa");
//这说明Matcher的matchs()方法是对事个字符串的匹配,
System.out.println(m1.matches());
System.out.println(m1.find());
System.out.println(m1.find());
System.out.println(m1.find());
System.out.println(m1.find());
//再测试matchs()
System.out.println("再测试matchs()");
Pattern p2 = Pattern.compile(
"(a{2})*");
Matcher m2 = p2.matcher(
"aaaa");
System.out.println(m2.matches());
System.out.println(m2.matches());
System.out.println(m2.matches());
//所以find是在一个串中找有没有对应的模式,而matchs是完全匹配
//test lookupat()
System.out.println("test lookupat()");
Pattern p3 = Pattern.compile(
"a{2}");
Matcher m3 = p3.matcher(
"aaaa");
System.out.println(p3.flags());
System.out.println(m3.lookingAt());
System.out.println(m3.lookingAt());
System.out.println(m3.lookingAt());
//总结以上matchs()是整个匹配且总是从头开始,find是部分匹配且从上一次匹配结束时开始找
//lookingAt也是从头开始,但是部分匹配
System.out.println("======test 空白行========");
System.out.println(
" /n".matches("^[
t]*$
n"
));

//演示appendXXX的用法
System.out.println("=================test append====================");
Pattern p4 = Pattern.compile(
"cat");
Matcher m4 = p4.matcher(
"one cat two cats in the yard");
StringBuffer sb =
new StringBuffer();
boolean result = m4.find();
int i=0;
System.out.println(
"one cat two cats in the yard");
while(result)
{m4.appendReplacement(sb, "dog");
System.out.println(m4.group());
System.out.println(
"第"+i+++"次:"+sb.toString());
result = m4.find();
} System.out.println(sb.toString());
m4.appendTail(sb);
System.out.println(sb.toString());

//test UNIX_LINES
System.out.println("test UNIX_LINES");
Pattern p5=Pattern.compile(
".",Pattern.UNIX_LINES);
Matcher m5=p5.matcher(
"/n/r");
System.out.println(m5.find());
System.out.println(m5.find());

//test UNIX_LINES
System.out.println("test UNIX_LINES");
Pattern p6=Pattern.compile(
"(?d).");
Matcher m6=p6.matcher(
"/n/r");
System.out.println(m6.find());
System.out.println(m6.find());

//test UNIX_LINES
System.out.println("test UNIX_LINES");
Pattern p7=Pattern.compile(
".");
Matcher m7=p7.matcher(
"/n/r");
System.out.println(m7.find());
System.out.println(m7.find());

//test CASE_INSENSITIVE
System.out.println("test CASE_INSENSITIVE");
Pattern p8=Pattern.compile(
"a",Pattern.CASE_INSENSITIVE);
Matcher m8=p8.matcher(
"aA");
System.out.println(m8.find());
System.out.println(m8.find());
System.out.println(
"test CASE_INSENSITIVE");
Pattern p9=Pattern.compile(
"(?i)a");
Matcher m9=p9.matcher(
"aA");
System.out.println(m9.find());
System.out.println(m9.find());
System.out.println(
"test CASE_INSENSITIVE");
Pattern p10=Pattern.compile(
"a");
Matcher m10=p10.matcher(
"aA");
System.out.println(m10.find());
System.out.println(m10.find());

//test COMMENTS
System.out.println("test COMMENTS");
Pattern p11=Pattern.compile(
" a a #ccc",Pattern.COMMENTS);
Matcher m11=p11.matcher(
"aa a a #ccc");
System.out.println(m11.find());
System.out.println(m11.find());
System.out.println(
"test COMMENTS");
Pattern p12 = Pattern.compile(
"(?x) a a #ccc");
Matcher m12 = p12.matcher(
"aa a a #ccc");
System.out.println(m12.find());
System.out.println(m12.find());

//test MULTILINE这个大家多试试参照我上面对多行模式的理解
System.out.println("test MULTILINE");
Pattern p13=Pattern.compile(
"^.?",Pattern.MULTILINE|Pattern.DOTALL);
Matcher m13=p13.matcher(
"helloohelloo,loveroo");
System.out.println(m13.find());
System.out.println(
"start:"m13.start()"end:"+m13.end());
System.out.println(m13.find());
//System.out.println("start:"m13.start()"end:"+m13.end());
System.out.println("test MULTILINE");
Pattern p14=Pattern.compile(
"(?m)^hell.*oo$",Pattern.DOTALL);
Matcher m14=p14.matcher(
"hello,Worldoo/nhello,loveroo");
System.out.println(m14.find());
System.out.println(
"start:"m14.start()"end:"+m14.end());
System.out.println(m14.find());
//System.out.println("start:"m14.start()"end:"+m14.end());
System.out.println("test MULTILINE");
Pattern p15=Pattern.compile(
"hell(.|[.])*oo$");
Matcher m15=p15.matcher(
"hello,Worldoo/nhello,loveroo");
System.out.println(m15.find());
System.out.println(
"start:"m15.start()"end:"+m15.end());
System.out.println(m15.find());
// System.out.println("start:"m15.start()"end:"+m15.end());

//test DOTALL
System.out.println("test DOTALL");
Pattern p16=Pattern.compile(
".",Pattern.DOTALL);
Matcher m16=p16.matcher(
"/n/r");
System.out.println(m16.find());
System.out.println(m16.find());

System.out.println(
"test DOTALL");
Pattern p17=Pattern.compile(
".");
Matcher m17=p17.matcher(
"/n/r");
System.out.println(m17.find());
System.out.println(m17.find());

System.out.println(
"test DOTALL");
Pattern p18=Pattern.compile(
"(?s).");
Matcher m18=p18.matcher(
"/n/r");
System.out.println(m18.find());
System.out.println(m18.find());

//test CANON_EQ这个是jdk的例子但我实在不明白是什么意思,向大家请教
System.out.println("test CANON_EQ");
Pattern p19=Pattern.compile(
"a/u030A",Pattern.CANON_EQ);
System.out.println(Character.getType(
'/u030A'));
System.out.println(
"is"+Character.isISOControl('/u030A'));
System.out.println(
"is"+Character.isUnicodeIdentifierPart('/u030A'));
System.out.println(Character.getType(
'/u00E5'));
System.out.println(
"is"+Character.isISOControl('/u00E5'));
Matcher m19=p19.matcher(
"/u00E5");
System.out.println(m19.matches());
System.out.println(Character.getType(
'/u0085'));
System.out.println(
"is"+Character.isISOControl('/u0085'));

//注意下面三个例子体会Greedy,Reluctant and Possessive Quantifiers的不同
Pattern ppp=Pattern.compile(".*foo");
Matcher mmm=ppp.matcher(
"xfooxxxxxxfoo");
/**
* Greedy quantifiers
X? X, once or not at all
X* X, zero or more times
X+ X, one or more times
X{n} X, exactly n times
X(n,} X, at least n times
X{n,m} X, at least n but not more than m times
Greedy quantifiers是最常用的一种,如上,它的匹配方式是先匹配尽可能多的字符,当
这样造成整个表达式整体不能匹配时就退一个字符再试比如:
.*foo与xfooxxxxxxfoo的匹配过程,.*先与整个输入匹配,发现这样不行,整个串不能匹配
* 于是退最后一个字符"o"再试,还不行,再退直到把foo都退出才发现匹配于是结束。因为这个过程
* 总是先从最大匹配开始到找到一个匹配,所以.*与之匹配的总是一个最大的,这个特点和资本家相似
* 故名贪婪的
*/
boolean isEnd=false;
int k=0;
System.out.println(
"==========");
System.out.println(
"xfooxxxxxxfoo");
while(isEnd==false)
try{ System.out.println("the:"+k++);
System.out.println(mmm.find());
System.out.println(mmm.end());
}catch(Exception e){ isEnd=true;
} isEnd=false;
Pattern ppp1=Pattern.compile(
".*?foo");
Matcher mmm1=ppp1.matcher(
"xfooxxxxxxfoo");
/**
* Reluctant quantifiers
X?? X, once or not at all
X*? X, zero or more times
X+? X, one or more times
X{n}? X, exactly n times
X(n,}? X, at least n times
X{n,m}? X, at least n but not more than m times
Reluctant quantifiers的匹配方式正好相反,它总是先从最小匹配开始,如果这时导致
整个串匹配失败则再吃进一个字符再试,如:
.*?foo与xfooxxxxxxfoo的匹配过程,首先,.*与空串匹配,这时整个串匹配失败,于是
* 再吃一个x,这时发现整个串匹配成功,当再调用find时从上次匹配结束时开始找,先吃一个
* 空串,不行,再吃一个x,不行,……直到把中间所有x都吃掉才发现匹配成功。这种方式总
* 是从最小匹配开始所以它能找到最多次数的匹配,但第一匹配都是最小的。它的行为有点象雇佣
* 工人,总是尽可能少的于活,故名勉强的。
*/
k=0;
System.out.println(
"?????????????????????");
System.out.println(
"xfooxxxxxxfoo");
while(isEnd==false)
try{ System.out.println("the:"+k++);
System.out.println(mmm1.find());
System.out.println(mmm1.end());
}catch(Exception e){ isEnd=true;
} isEnd=false;
Pattern pp2=Pattern.compile(
".*+foo");
Matcher mm2=pp2.matcher(
"xfooxxxxxxfoo");
/**
*
Possessive quantifiers
X?+ X, once or not at all
X*+ X, zero or more times
X++ X, one or more times
X{n}+ X, exactly n times
X(n,}+ X, at least n times
X{n,m}+ X, at least n but not more than m times
Possessive quantifiers 这种匹配方式与Greedy方式相似,所不同的是它不够聪明,当
它一口吃掉所有可以吃的字符时发现不匹配则认为整个串都不匹配,它不会试着吐出几个。它的行
为和大地主相似,贪婪但是愚蠢,所以名曰强占的。
*/

int ii=0;
System.out.println(
"+++++++++++++++++++++++++++");
System.out.println(
"xfooxxxxxxfoo");
while(isEnd==false)
try{ System.out.println("the:"+ii++);
System.out.println(mm2.find());
System.out.println(mm2.end());
}catch(Exception e){ isEnd=true;
}

}
}

原创粉丝点击