100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > Python-网络思维-5.2网页爬虫与信息提取实战

Python-网络思维-5.2网页爬虫与信息提取实战

时间:2021-11-17 02:42:14

相关推荐

Python-网络思维-5.2网页爬虫与信息提取实战

这是一个爬取电影票房的案例,主要是通过 中国电影票房 获取电影票房信息,将获得到的内容保存至 .txt 文件。

# 首先我们需要导入 requests 库import requests# 导入 BeautifulSoup 库from bs4 import BeautifulSoupurl = '/alltime?page='#网页基本url,需要在后面连接页面号headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'}aulist=[]#存放所有电影信息的二维列表def movie_get():#请在下面的 Begin-End 之间按照注释中给出的提示编写正确的代码####################### begin ############################ 通过 for 循环的方式,修改 url 的链接,使得程序可以访问多个页面# 爬取两个页面的内容,解析出排名、片名、年份,存入aulist列表for i in range(2):r = requests.get(url=url+str(i), headers=headers)r.encoding = 'utf-8'# 解析 requests 返回的响应结果soup=BeautifulSoup(r.text,"lxml")ltr=soup.find_all("tr")#找到所有电影(表格行)for tr in ltr:ltd=tr.find_all("td")#找到行内所有单元格if len(ltd)==0:#如果无内容,访问下一行continuesli=[]#初始化一维列表,用来存放一行数据for i in [1,2,6]:#只提取排名,片名,年份sli.append(ltd[i].text)#读取单元格内容aulist.append(sli)#二维列表增加一行######################## end #############################请在下面的 Begin-End 之间按照注释中给出的提示编写正确的代码def movie_write():########################begin############################保存到当前目录下的movies.txt文件, with open('movies.txt','w') as f1:for x in aulist:f1.write(x[0]+'|'+x[1]+'|'+x[2]+'\n')######################## end ###########################movie_get()movie_write()

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。