系列文章目录
python爬虫目录
文章目录
系列文章目录前言一、正则表达式1、正则表达式常用匹配规则1、匹配某个字符串2、点(.)匹配任意的字符3、\d匹配任意的数字4、\D匹配任意的非数字5、\s匹配的是空白字符(包括:\n,\t,\r和空格)6、\w匹配的是a-z和A-Z以及数字和下划线:7、\W匹配的是和\w相反的:8、[]组合的方式,只要满足中括号中的某一项都算匹配成功: 2、匹配多个字符1、*2、+3、?4、{m}5、{m,n} 3、案例4、其他符号之 ^ $ |5、贪婪模式和非贪婪模式6、转义字符和原生字符串 二、re模块1、match2、search3、分组4、findall5、sub6、split7、compile 三、爬取 古诗文 网站的古诗前言
摘录自B站对应课程笔记
不愧是清华大佬!把Python网络爬虫讲得如此简单明了!从入门到精通保姆级教程(建议收藏)
以下是本篇文章正文内容,下面案例可供参考
一、正则表达式
正则表达式:通俗理解:按照一定的规则,从某个字符串中匹配出想要的数据。这个规则就是正则表达式。
1、正则表达式常用匹配规则
1、匹配某个字符串
text = 'hello'ret = re.match('he',text)print(ret.group())>> he
以上便可以在hello中,匹配出he。
2、点(.)匹配任意的字符
text = "ab"ret = re.match('.',text)print(ret.group())>> a
但是点(.)不能匹配不到换行符。示例代码如下:
>>> ret = re.match(".", "\n")>>> ret.group()Traceback (most recent call last):File "<stdin>", line 1, in <module>AttributeError: 'NoneType' object has no attribute 'group'
3、\d匹配任意的数字
>>> res = re.match('\d', '123')>>> res.group()'1'
4、\D匹配任意的非数字
>>> res = re.match('\d', '123')>>> res.group()'1'
而如果text是等于一个数字,那么就匹配不成功了。示例代码如下:
>>> res = re.match('\D', '1')>>> res.group()Traceback (most recent call last):File "<stdin>", line 1, in <module>AttributeError: 'NoneType' object has no attribute 'group'
5、\s匹配的是空白字符(包括:\n,\t,\r和空格)
>>> res = re.match('\s', '\t')>>> res.group()'\t'>>> print(res.group())>>>
6、\w匹配的是a-z和A-Z以及数字和下划线:
>>> res = re.match('\w', "_")>>> res.group()'_'>>>
而如果要匹配一个其他的字符,那么就匹配不到。示例代码如下:
>>> res = re.match('\w', "+")>>> res>>> print(type(res))<class 'NoneType'>>>>NoneType' object has no attribute
7、\W匹配的是和\w相反的:
>>> res = re.match("\W", "+")>>> res.group()'+'>>>
而如果你的text是一个下划线或者英文字符,那么就匹配不到了。示例代码如下:
>>> res = re.match("\W", "_")>>> print(type(res))<class 'NoneType'>>>>
8、[]组合的方式,只要满足中括号中的某一项都算匹配成功:
>>> res = re.match("[\d\-]+", "0767-1230021")>>> res.group()'0767-1230021'>>>
之前讲到的几种匹配规则,其实可以使用中括号的形式来进行替代:
\d:[0-9]
\D:[^0-9]
\w:[0-9a-zA-Z_]
\W:[^0-9a-zA-Z_]
2、匹配多个字符
1、*
#可以匹配0或者任意多个字符。示例代码如下:>>> res = re.match("\d*", "123")>>> res.group()'123'>>>
2、+
#可以匹配1个或者多个字符。最少一个。示例代码如下:>>> res = re.match("\w+", "123")>>> res.group()'123'>>>
因为匹配的是\w,那么就要求是英文字符,后面跟了一个加号,意味着最少要有一个满足\w的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符,那么就会报错。示例代码如下:
>>> res = re.match("\w+", "")>>> res.group()Traceback (most recent call last):File "<stdin>", line 1, in <module>AttributeError: 'NoneType' object has no attribute 'group'>>>eType' object has no attribute
3、?
#匹配的字符可以出现一次或者不出现(0或者1)。示例代码如下:>>> res = re.match("\d?", "123")>>> res.group()'1'>
4、{m}
#匹配m个字符。示例代码如下:>>> res = re.match("\d{2}", "123")>>> res.group()'12'>>>
5、{m,n}
#匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下:>>> res = re.match("\d{1,2}", "123")>>> res.group()'12'#如果只有一个字符,那么也可以匹配出来。示例代码如下:>>> res = re.match("\d{1,2}", "1")>>> res.group()'1'>>>
3、案例
#验证手机号码:手机号码的规则是以1开头,第二位可以是34587,后面那9位就可以随意了。>>> res = re.match("1[34578]\d{9}", "18814121213")>>> res.group()'18814121213'>>>#验证邮箱:邮箱的规则是邮箱名称是用数字、数字、下划线组成的,然后是@符号,后面就是域名了。>>> res =re.match("\w+@\w+[\w\.]+", "8888123@")>>> res.group()'8888123@'>>>#验证URL:URL的规则是前面是http或者https或者是ftp然后再加上一个冒号,再加上一个斜杠,再后面就是可以出现任意非空白字符了。>>> res = re.match("(http|https|ftp)://[^\s]+", "")>>> res.group()''>>>#验证身份证:身份证的规则是,总共有18位,前面17位都是数字,后面一位可以是数字,也可以是小写的x,也可以是大写的X。>>> res = re.match("\d{17}[\dxX]?", "31131118908123230X")>>> res.group()'31131118908123230X'>>>
4、其他符号之 ^ $ |
^(脱字号)
:表示以…开始:
# 使用 search 进行查找, match 就是从开始匹配>>> res = re.search("^he", "hello")>>> res.group()'he'>>>
如果是在中括号中,那么代表的是取反操作.
$
:表示以…结束:
# 匹配的邮箱>>> res = re.match("\w+@163\.com$", "123456@")>>> res.group()'123456@'>>>
|
:匹配多个表达式或者字符串:
>>> res = re.findall("11|22|33","11a22b33c")>>> res['11', '22', '33']>>>
5、贪婪模式和非贪婪模式
贪婪模式
:正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式
:正则表达式会尽量少的匹配字符。
text = "0123456"ret = re.match('\d+',text)print(ret.group())# 因为默认采用贪婪模式,所以会输出0123456>> 0123456#可以改成非贪婪模式,那么就只会匹配到0>>> res = re.match("\d+?", "012345")>>> res.group()'0'>>>
"""匹配0-100之间的数字:如果是两位数,第一位不能为0,如果是三位数,只能是 100 """>>> re.match("([1-9]?\d|100)$", "0").group()'0'>>> re.match("([1-9]?\d|100)$", "99").group()'99'>>> re.match("([1-9]?\d|100)$", "100").group()'100'>>>
匹配模式 : ([1-9]?\d|100)$ 或 [1-9]?\d ∣ 100 |100 ∣100
6、转义字符和原生字符串
在正则表达式中,有些字符是有特殊意义的字符。因此如果想要匹配这些字符,那么就必须使用反斜杠进行转义。比如 代 表 的 是 以 . . . 结 尾 , 如 果 想 要 匹 配 代表的是以...结尾,如果想要匹配 代表的是以...结尾,如果想要匹配,那么就必须使用$。示例代码如下:
>>> re.search("\$\d+", "apple paice is \$88").group()'$88'>>>
原生字符串:
在正则表达式中,\是专门用来做转义的。在Python中\也是用来做转义的。因此如果想要在普通的字符串中匹配出\,那么要给出四个\。示例代码如下:
text = "apple \c"ret = re.search('\\\\c',text)print(ret.group())
因此要使用原生字符串就可以解决这个问题:
text = "apple \c"ret = re.search(r'\\c',text)print(ret.group())
二、re模块
1、match
从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下:
text = 'hello'ret = re.match('h',text)print(ret.group())>> h
如果想要匹配换行的数据,那么就要传入一个flag=re.DOTALL,就可以匹配换行符了。示例代码如下:
>>> re.match("abc.*123", "abc\n123", re.DOTALL).group()'abc\n123'>>>
2、search
在字符串中找满足条件的字符。如果找到,就返回。说白了,就是只会找到第一个满足条件的。
text = 'apple price $99 orange price $88'ret = re.search('\d+',text)print(ret.group())>> 99
3、分组
在正则表达式中,可以对过滤到的字符串进行分组。分组使用圆括号的方式。
group
:和group(0)是等价的,返回的是整个满足条件的字符串。
groups
:返回的是里面的子组。索引从1开始。
group(1)
:返回的是第一个子组,可以传入多个。
示例代码如下:
import retext = "apple price is $99,orange price is $10"ret = re.search(r".*(\$\d+).*(\$\d+)", text)print(ret.group()) # apple price is $99,orange price is $10print(ret.group(0)) # apple price is $99,orange price is $10print(ret.group(1)) # $99print(ret.group(2)) # $10print(ret.groups()) # ('$99', '$10')
4、findall
找出所有满足条件的,返回的是一个列表。
text = 'apple price $99 orange price $88'ret = re.findall('\d+',text)print(ret)>> ['99', '88']
5、sub
用来替换字符串。将匹配到的字符串替换为其他字符串。
>>> re.sub("\d+", "0", "123abc45ef")'0abc0ef'>>>
sub函数的案例,获取拉勾网中的数据:
import rehtml = """<div><p>基本要求:</p><p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术,对html5页面适配充分了解,熟悉不同浏览器间的差异,熟练写出兼容各种浏览器的代码;</p><p>2、熟悉运用常见JS开发框架,如JQuery、vue、angular,能快速高效实现各种交互效果;</p><p>3、熟悉编写能够自动适应HTML5界面,能让网页格式自动适应各款各大小的手机;</p><p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面,实现HTML5模板化;</p><p>5、熟悉手机端和PC端web实现的差异,有移动平台web前端开发经验,了解移动互联网产品和行业,有在Android,iOS等平台下HTML5+CSS+JavaScript(或移动JS框架)开发经验者优先考虑;6、良好的沟通能力和团队协作精神,对移动互联网行业有浓厚兴趣,有较强的研究能力和学习能力;</p><p>7、能够承担公司前端培训工作,对公司各业务线的前端(HTML5\CSS3)工作进行支撑和指导。</p><p><br></p><p>岗位职责:</p><p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面,各类交互的实现;</p><p>2、持续的优化前端体验和页面响应速度,并保证兼容性和执行效率;</p><p>3、根据产品需求,分析并给出最优的页面前端结构解决方案;</p><p>4、协助后台及客户端开发人员完成功能开发和调试;</p><p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p></div>"""ret = re.sub('</?[a-zA-Z0-9]+>',"",html)print(ret)
6、split
使用正则表达式来分割字符串。
text = "hello world ni hao"ret = re.split('\W',text)print(ret)>> ["hello","world","ni","hao"]
7、compile
对于一些经常要用到的正则表达式,可以使用compile进行编译,后期再使用的时候可以直接拿过来用,执行效率会更快。而且compile还可以指定flag=re.VERBOSE,在写正则表达式的时候可以做好注释。示例代码如下:
text = "the number is 20.50"r = pile(r"""\d+ # 小数点前面的数字\.? # 小数点\d* # 小数点后面的数字""",re.VERBOSE)ret = re.search(r,text)print(ret.group())
三、爬取 古诗文 网站的古诗
"""需求:从古诗文网站下载古诗文信息使用 re 模块和 正则表达式 进行解析"""import reimport requestsHEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36",}def parse_page(url):# 获取页面数据response = requests.get(url, HEADERS)text = response.content.decode("utf-8")# re.S = re.DOTALL : 使特殊字符与任何字符都匹配,包括换行符。没有此标识,"." 将匹配换行符之外的任何内容titles = re.findall(r'<div\s*class="cont">.*?<b>(.*?)</b>', text, re.DOTALL) # 获取题目outhers = re.findall(r'<p\s*class="source">.*?<a.*?>(.*?)</a>', text, re.DOTALL) # 获取作者contents = re.findall(r'<div\s*class="contson".*?>(.*?)</div>', text, re.DOTALL) # 获取诗句contents = list(map(lambda data: re.sub(r'<.*?>', "", data).strip(), contents)) # 去掉换行# 组装成(title, outher, content)的列表poem_list = list(zip(titles, outhers, contents))poems_dict = []for p in poem_list:p_dict = {}p_dict["title"] = p[0]p_dict["outher"] = p[1]p_dict["content"] = p[2]poems_dict.append(p_dict)return poems_dictdef main():poems = []for i in range(1, 5):print(i)url = "/default_{}.aspx".format(i)sub_poems = parse_page(url)poems.extend(sub_poems)print("poems = ", poems)if __name__ == '__main__':main()