一.入门基础

1.元字符

很多人对正则表达式的印象就是乱码。。许许多多的符号组合在一起,偶见单词,正则确实是这样的,所以下面我们要看看这些符号都是什么意思

有些符号不是大家看到的字面上的意思:比如“.”、“!”、“?” ……

这些符号就称之为元字符

下面我们逐一说明

“” :转义符号,在字符组内依然是元字符。

在检查一行文本时

“^” :脱字符:表示一行的开始

“$” :美元符号:表示一行的结束

字符组

“[]” :一对中括号,里面可以添加任何内容,比如[hate],括号里面的内容是或者的关系,这个正则的意义是:我想匹配一个字符,这个字符可以是h,可以是a,也可以是t或e。

记住:字符组最终只会匹配一个字符。 即使你的目标字符串是hate,那么一次匹配成功的结果也只是第一个字母h,并不是整个单词,如果我就想匹配hate这个单词怎么办?很容易,正则内容为“hate”,在字符组外面的字符的关系是“和,并且”的意思。

注意:字符组内的元字符和字符组外的元字符并不一样,即使字符一样,表示的意义也未必相同 (*)

我们先学习下一个内容,然后再来给大家解释上面的这句话

“[^]” 括号里面以“^”开头,是字符组的否定形式 ,比如:[^hate]表示:匹配除了h、a、t、e以外的其他字符,依然只会匹配一个字符

之前刚刚学过“^”表示一行的开始,但是脱字符位于[]内的起始位置则表示否定,这也解释了(*) 的内容

如果脱字符位于括号内其他位置表示什么呢?那它表示它自己,此时并不再是一个元字符

“-” :减号,可以在字符组内表示区间、范围。比如“[a-z]”,表示匹配a到z直接的任意一个小写字母,如果是“[-z]”,那么“-”只表示它自己,没有任何特殊意义,它在字符组外也没有任何特殊意义。

ps:关于“^”、“$”、“-”的其他用法将在高级基础篇讲述

“.” :点号,匹配一个任意字符的字符组简便写法。“.”在字符组内没不是元字符

ps:“.”也不是万能的,有些字符无法匹配,之后会详细解释并给出替代方案

“|” :竖线,表示或者,这个很容易记忆,如果想匹配hate或者like,那么正则为:“hate|like”

注意:如果想匹配I hate you和I like you。那么正则为:“I (hate|like) you”。如果写成“I hate|like you”,那么匹配的结果为“I hate”或者是“like you”了

这里圆括号的作用是控制竖线的作用范围,“()”有很多作用,稍后再说

“” :它的作用是单词分隔符,如果我想匹配like,那么正则为“like”,没错,但是会得到一些我不想要的结果,比如likely也会跑到结果集中,我可不想要这些单词。那么修改正则为:“like”,这回就只能匹配like这个单词了。

注意:java中的单词分隔符为“”,有些语言的单词分隔符为“<” “>” 

单词边界是什么呢?其实正则没有那么聪明,它不会识别“Ilikeyou”为“I like you”,它只是找到数字和字母的起始位置和结束位置而已

“w” :单词字符。在java中相当于“[a-zA-Z0-9_]”。 但是java中的“”却支持Unicode字符。

下面我们来看看正则中的“数字” – 量词

“?” :表示0个至1个

“*” :表示0个至任意多个

“+” :表示至少一个

“{min,max}” :区间量词。“{2,5}”,表示匹配2到5次。“{2,}”表示至少两次,“{2}”表示只匹配两次。 “{,2}”,正则错误,无意义

举个例子:正如上面的反面教程所说,如果想匹配一个正整数,那么应该如何来做

首先我们需要明确:我不想匹配0123,只想匹配123这样的数字,0不能开头,第二个要求就是除了数字不能有其他字符了

之前我们学过字符组了,“[0-9]”可以表示0至9中任意一个数字,那么根据上面的量词,我们改正则为“[0-9]+”,表示至少有一个数字,至多没有限制。但是0123这样的数字也会满足要求。那么我们再修改一下,首先第一位不能为0,那么这一位可以写为“[1-9]”,表示匹配1到9的任何一个数字,之后呢?后面的数字有没有都无所谓了,有,那就是多位数,没有,那就是一位数。所以正则为“[1-9][0-9]*”。

常见字符范围缩写

深入入门正则表达式(java)-编程知识网

贪婪与懒惰

我们再来看一个量词的例子。比如我想匹配一个单词,正则可以这么写“[a-zA-Z]+”,或者“w+”

 1 /**
 2  * 测试 正则表达式
 3  * @ClassName: regexTest_1
 4  * @Description:
 5  * @author xingle
 6  * @date 2014-4-21 上午11:15:09
 7  */
 8 public class regexTest_1 {
 9     public static void main(String[] args) {
10         String input = "there is a book on the desk.";
11         // 正则表达式
12         String regex = "\w+";
13         Pattern p = Pattern.compile(regex);
14         Matcher m = p.matcher(input);
15         boolean found = false; 
16         while (m.find()) {
17             found = true;
18             System.out.println("输入:"+input);
19             System.out.printf("匹配的字符: "%s" 索引开始为  %d and 结束索引为  %d.%n",
20                             m.group(), m.start(), m.end());
21             System.out.println();
22         }
23         if(found==false){
24             System.out.println("没有找到匹配字符串!");
25         }
26         
27     }
28 
29 }

 执行结果:

输入:there is a book on the desk.
匹配的字符: “there” 索引开始为 0 and 结束索引为 5.

输入:there is a book on the desk.
匹配的字符: “is” 索引开始为 6 and 结束索引为 8.

输入:there is a book on the desk.
匹配的字符: “a” 索引开始为 9 and 结束索引为 10.

输入:there is a book on the desk.
匹配的字符: “book” 索引开始为 11 and 结束索引为 15.

输入:there is a book on the desk.
匹配的字符: “on” 索引开始为 16 and 结束索引为 18.

输入:there is a book on the desk.
匹配的字符: “the” 索引开始为 19 and 结束索引为 22.

输入:there is a book on the desk.
匹配的字符: “desk” 索引开始为 23 and 结束索引为 27.

有个问题就出来了:“w+”表示至少一个“w”,那么为什么结果不是“t”、“h”、“e”、“r”、“e”,而是“there”。

上面的量词,除了“{times}”这种指定匹配次数的,其余默认均为贪婪匹配。也就是说尽可能多的匹配。

相对的就有惰性匹配,那么惰性匹配如何使用?

下面修改一下例子:“w*e”表示以e结尾的单词,现在这里的*还是贪婪匹配。

 1 public class regexTest_1 {
 2     public static void main(String[] args) {
 3         String input = "there is a book on the desk.";
 4         // 正则表达式
 5         String regex = "\w*e";
 6         Pattern p = Pattern.compile(regex);
 7         Matcher m = p.matcher(input);
 8         int c = 0;
 9         boolean found = false; 
10         System.out.println("输入:"+input);
11         while (m.find()) {
12             c++;
13             found = true;
14             System.out.println("第 "+c+"个");
15             System.out.printf("匹配的字符: "%s" 索引开始为  %d and 结束索引为  %d.%n",
16                             m.group(), m.start(), m.end());
17             System.out.println();
18         }
19         if(found==false){
20             System.out.println("没有找到匹配字符串!");
21         }        
22     }
23 }

执行结果:

输入:there is a book on the desk.
第 1个
匹配的字符: “there” 索引开始为 0 and 结束索引为 5.

第 2个
匹配的字符: “the” 索引开始为 19 and 结束索引为 22.

第 3个
匹配的字符: “de” 索引开始为 23 and 结束索引为 25.

如果我想匹配到单词中的第一个e,那么如何修改呢?

 1 public class regexTest_1 {
 2     public static void main(String[] args) {
 3         String input = "there is a book on the desk.";
 4         // 正则表达式  匹配到每个单词的第一个e结束
 5         String regex = "\b\w*?e";
 6         Pattern p = Pattern.compile(regex);
 7         Matcher m = p.matcher(input);
 8         int c = 0;
 9         boolean found = false; 
10         System.out.println("输入:"+input);
11         while (m.find()) {
12             c++;
13             found = true;
14             System.out.println("第 "+c+"个");
15             System.out.printf("匹配的字符: "%s" 索引开始为  %d and 结束索引为  %d.%n",
16                             m.group(), m.start(), m.end());
17             System.out.println();
18         }
19         if(found==false){
20             System.out.println("没有找到匹配字符串!");
21         }        
22     }
23 }

执行结果:

输入:there is a book on the desk.
第 1个
匹配的字符: “the” 索引开始为 0 and 结束索引为 3.

第 2个
匹配的字符: “the” 索引开始为 19 and 结束索引为 22.

第 3个
匹配的字符: “de” 索引开始为 23 and 结束索引为 25.

还是来看there,这回“w+”只匹配了“th”,并没有匹配到“ther”才停止。

惰性匹配就是尽可能少的匹配,使用方法就是在量词后面加上“?”

如果量词后面没有“?”等其他量词,那么就是默认的贪婪匹配。

要是匹配整个单词,结尾加单词分隔符“”

 1 public class regexTest_1 {
 2     public static void main(String[] args) {
 3         String input = "there is a book on the desk.";
 4         // 正则表达式  匹配到以e结束的整个单词 
 5         String regex = "\b\w*?e\b";
 6         Pattern p = Pattern.compile(regex);
 7         Matcher m = p.matcher(input);
 8         int c = 0;
 9         boolean found = false; 
10         System.out.println("输入:"+input);
11         while (m.find()) {
12             c++;
13             found = true;
14             System.out.println("第 "+c+"个");
15             System.out.printf("匹配的字符: "%s" 索引开始为  %d and 结束索引为  %d.%n",
16                             m.group(), m.start(), m.end());
17             System.out.println();
18         }
19         if(found==false){
20             System.out.println("没有找到匹配字符串!");
21         }        
22     }
23 }

执行结果:

输入:there is a book on the desk.
第 1个
匹配的字符: “there” 索引开始为 0 and 结束索引为 5.

第 2个
匹配的字符: “the” 索引开始为 19 and 结束索引为 22.

“?”“*”“+”:也叫匹配优先量词

“*?”“+?”“??”:也叫忽略优先量词

其实还有一种量词:

“?+”“*+”“++”:占有优先量词  (支持这种量词的正则引擎很少,java支持)

这节不讨论这种类型量词,之后的章节讨论

() :将括号里面的内容作为一个独立的单元,理解为一组。

二 、正则表达式进阶
1.捕获组

  捕获组(capturing group)是将多个字符作为单独的单元来对待的一种方式。构建它们可以通过把字符放在一对圆括号中而成为一组。例如,正则表达式(dog)建了单个的组,包括字符“d”“o”和“g”。匹配捕获组输入的字符串部分将会存放于内存中,稍后通过反向引用再次调用。
1.编号方式

  在 Pattern 的 API 描述中,捕获组通过从左至右计算开始的圆括号进行编号。例如,在表达式((A)(B(C)))中,有下面的四组:
  1. ((A)(B(C)))
  2. (A)
  3. (B(C))
  4. (C)
  要找出当前的表达式中有多少组,通过调用 Matcher 对象的 groupCount 方法。groupCount 方法返回 int 类型值,表示当前 Matcher 模式中捕获组的数量。例如,groupCount 返回 4 时,表示模式中包含有 4 个捕获组。
  有一个特别的组——组 0,它表示整个表达式。这个组不包括在 groupCount 的报告范围内。以(?开始的组是纯粹的非捕获组(non-capturing group),它不捕获文本,也不作为组总数而计数
  Matcher 中的一些方法,可以指定 int 类型的特定组号作为参数,因此理解组是如何编号的是尤为重要的。
  public int start(int group):返回之前的匹配操作期间,给定组所捕获的子序列的初始索引。
  public int end(int group):返回之前的匹配操作期间,给定组所捕获子序列的最后字符索引加 1。
  public String group (int group):返回之前的匹配操作期间,通过给定组而捕获的输入子序列。
 
 2.非捕获组
一些表达式中,不得不使用( ),但又不需要保存( )中子表达式匹配的内容,这时可以用非捕获组来抵消使用( )带来的副作用。
深入入门正则表达式(java)-编程知识网
 

“(?:)” :非捕获型括号。“(?:desk)”会匹配到desk这个字符串,但是如果你企图使用反向引用“(?:desk) 1”,那么就会出现错误。这样的操作是非法的。

注意:非捕获型括号不影响捕获计数

好处:

1.提高效率,很容易理解,不记住捕获的内容也就不占用内存了

2.结构清晰

3.反向引用

1  概述

捕获组捕获到的内容,不仅可以在正则表达式外部通过程序进行引用,也可以在正则表达式内部进行引用,这种引用方式就是反向引用。

反向引用的作用通常是用来查找或限定重复、查找或限定指定标识配对出现等等。

对于普通捕获组和命名捕获组的引用,语法如下:

普通捕获组反向引用:k<number>,通常简写为
umber

命名捕获组反向引用:k<name>或者k’name’

普通捕获组反向引用中number是十进制的数字,即捕获组的编号;命名捕获组反向引用中的name为命名捕获组的组名。

2  反向引用匹配原理

捕获组(Expression)在匹配成功时,会将子表达式匹配到的内容,保存到内存中一个以数字编号的组里,可以简单的认为是对一个局部变量进行了赋值,这时就可以通过反向引用方式,引用这个局部变量的值。一个捕获组(Expression)在匹配成功之前,它的内容可以是不确定的,一旦匹配成功,它的内容就确定了,反向引用的内容也就是确定的了。

反向引用必然要与捕获组一同使用的,如果没有捕获组,而使用了反向引用的语法,不同语言的处理方式不一致,有的语言会抛异常,有的语言会当作普通的转义处理。

2.1  从一个简单例子说起

源字符串:abcdebbcde

正则表达式:([ab])1

对于正则表达式“([ab])1”,捕获组中的子表达式“[ab]”虽然可以匹配“a”或者“b”,但是捕获组一旦匹配成功,反向引用的内容也就确定了。如果捕获组匹配到“a”,那么反向引用也就只能匹配“a”,同理,如果捕获组匹配到的是“b”,那么反向引用也就只能匹配“b”。由于后面反向引用“1”的限制,要求必须是两个相同的字符,在这里也就是“aa”或者“bb”才能匹配成功。

考察一下这个正则表达式的匹配过程,在位置0处,由“([ab])”匹配“a”成功,将捕获的内容保存在编号为1的组中,然后把控制权交给“1”,由于此时捕获组已记录了捕获内容为“a”,“1”也就确定只有匹配到“a”才能匹配成功,这里显然不满足,“1”匹配失败,由于没有可供回溯的状态,整个表达式在位置0处匹配失败。

正则引擎向前传动,在位置5之前,“([ab])”一直匹配失败。传动到位置5处时,,“([ab])”匹配到“b”,匹配成功,将捕获的内容保存在编号为1的组中,然后把控制权交给“1”,由于此时捕获组已记录了捕获内容为“b”,“1”也就确定只有匹配到“b”才能匹配成功,满足条件,“1”匹配成功,整个表达式匹配成功,匹配结果为“bb”,匹配开始位置为5,结束位置为7。

扩展一下,正则表达式“([a-z])1{2}”也就表达连续三个相同的小写字母。



  

常用空白字符

“s” :表示所有空白字符。

“ ” :制表符。


 
:换行符。

“” :回车。

一些其他常用的缩略表示

“S” :除“s”之外的任何字符

w” :等同于[a-zA-Z0-9_]

W  :除“w”之外的任何字符

d” :等同于[0-9]

D” :除“d”之外的任何字符

有些工具不支持,比如EditPlus v3.10 中的查找就不支持d等。

环视(零宽断言)

环视分为顺序和逆序,肯定和否定,组合一下一共4种。下面就看看环视到底是什么

“(?=)” :顺序肯定环视:(从左至右)查看文本,如果能够匹配,就返回匹配成功信息。

“(?<=)” :逆序肯定环视:(从右至左)查看文本,如果能够匹配,就返回匹配成功信息。

“(?!)” :顺序否定环视:(从左至右)查看文本,如果不能够匹配,就返回匹配成功信息。

“(?<!)” :逆序否定环视:(从右至左)查看文本,如果不能够匹配,就返回匹配成功信息。

 

 下面看几个简单的实例

例:下面有两句话,加入你只想找到book,不想找到books

there is a book on the desk.
there are some books on the desk.

最简单的办法是:“book”,这很容易理解,book后面跟着单词分隔符,book后面如果是s,那么肯定被认为是一个单词,所以这样不会匹配到books。如果用环视,应该如何书写呢

“book(?!w)”

 1 public class regexTest_1 {
 2     public static void main(String[] args) {
 3         String input = "there is a book on the desk. there are some books on the desk.";
 4         // 正则表达式  等价于"book\b"
 5         String regex = "book(?!\w)";
 6         Pattern p = Pattern.compile(regex);
 7         Matcher m = p.matcher(input);
 8         int c = 0;
 9         boolean found = false; 
10         System.out.println("输入:"+input);
11         while (m.find()) {
12             c++;
13             found = true;
14             System.out.println("第 "+c+"个");
15             System.out.printf("匹配的字符: "%s" 索引开始为  %d and 结束索引为  %d.%n",
16                             m.group(), m.start(), m.end());
17             System.out.println();
18         }
19         if(found==false){
20             System.out.println("没有找到匹配字符串!");
21         }        
22     }
23 }

正则中的book很好理解,依次匹配b、o、o、k,然后呢,w在上面说过等同于[a-zA-Z0-9],“(?!w)”是说:我要找这样一个位置,这个位置的后面不能是w。

第一句话中,在匹配了book后,发现紧跟的是一个空格,恩,不是w中的内容,匹配成功。

 如果想匹配books的book怎么办,很简单“book(?=s)”

注意:环视不会占用字符!环视查找的是字符与字符之间的位置。

环视括号并没有捕获字符的功效,所以不能使用反向引用。

参考资料:

1.正则表达式学习参考

2.正则基础之——反向引用

3.java正则表达–非捕获组详解