python爬取段子
爬取某个网页的段子
第一步
不管三七二十一我们先导入模块
#/s?id=1598724756013298998&wfr=spider&for=pc 段子所在的网址
import re
import requests #如果没这模块运行CMD pip install requests
第二步
获取网站的内容
#/s?id=1598724756013298998&wfr=spider&for=pc 段子所在的网址
import re
import requests #如果没这模块运行CMD pip install requests
response = requests.get(/s?id=1598724756013298998&wfr=spider&for=pc)
data = response.text
第三步
找到段子所在的位置
#/s?id=1598724756013298998&wfr=spider&for=pc 段子所在的网址
import re
import requests #如果没这模块运行CMD pip install requests
response = requests.get('/s?id=1598724756013298998&wfr=spider&for=pc') #这个编辑器的长度关系没法放一行
data = response.text
#按F12选择自己想要的内容所在的位置copy出来
new_list = re.findall('(.*?)
',data ) # (.*?)是我们要的内容
第四部
保存文件
#/s?id=1598724756013298998&wfr=spider&for=pc 段子所在的网址
import re
import requests #如果没这模块运行CMD pip install requests
response = requests.get('/s?id=1598724756013298998&wfr=spider&for=pc') #这个编辑器的长度关系没法放一行
data = response.text
#按F12选择自己想要的内容所在的位置copy出来
new_list = re.findall('(.*?)
',data ) # (.*?)是我们要的内容
for a in new_list:
with open(r'D:\图片\段子.txt', 'a') as fw:
fw.write(a)
fw.flush()
本文分享 CNBlog - 加载时间中.....。
如有侵权,请联系 support@ 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。