本实例还有另外的离线爬虫实现,有兴趣可点击离线爬取当当网畅销书Top500的图书信息
爬虫说明
1.使用requests和Lxml库爬取,(用BS4也很简单,这里是为了练习Xpath的语法)
2.爬虫分类为两种,一种是离线爬虫,即先将所爬取的网页保存到本地,再从本地网页中爬取信息;第二种是本实例使用的在线爬虫,即在网站中一边打开网页一边进行爬取.
3.在线爬虫的优点是:步骤少,不用保存文件和其他麻烦步骤;爬取速度快,代码短
4.离线爬虫的缺点是:在代码编写过程中,需要进行反复的修改,每次运行都要重新爬取在线网页,浪费资源,爬取速度受网络响应影响大,过快的爬取有可能收受到网站的限制等.
爬虫介绍
本次爬虫爬取的网页为:
图书畅销榜-10月畅销书排行榜-当当畅销图书排行榜
爬取的信息包括图书的排名,书名,作者,好评率,购买页面以及ISBN
如图:
其中,ISBN需要在购买页面链接中继续爬取,找到ISBN
爬取之后的结果整理好存放到csv文件中.
最终成果如图:
爬虫代码
观察需要爬取的第一页和最后一页:
/books/bestsellers/01.00.00.00.00.00-month--10-1-1
/books/bestsellers/01.00.00.00.00.00-month--10-1-25
发现只有最后一个数字改了,且每页显示20本图书,所以25*20=500,搞定.
这里自己了一个spider.py,里面写了一个小函数get_encoding()一个用于获取网站的编码格式
import requestsimport redef get_encoding(url, headers=None): # 一般每个网站自己的网页编码都是一致的,所以只需要搜索一次主页确定'To get website\'s encoding from tag<meta content=\'charset=\'UTF-8\'>'#从<meta>标签中获取res = requests.get(url, headers=headers)charset = re.search("charset=(.*?)>", res.text)if charset is not None:blocked = ['\'', ' ', '\"', '/']filter = [c for c in charset.group(1) if c not in blocked]return ''.join(filter) # 修改res编码格式为源网页的格式,防止出现乱码else:return res.encoding # 没有找到编码格式,返回res的默认编码
在dangdang_best_selling_online.py中,代码如下:
import spiderimport csvimport requestsimport timefrom lxml import etree# -10 前500的畅销书的书名 ,使用在线爬虫,思路和离线做了些修改# 爬取25页书单页面,对每个书单页面保存详细页的页面(一一对应)# 最后同时写入书单页的信息,每个列表保存一个信息和详细页的信息headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'} # 设置headersencoding = spider.get_encoding('', headers) # 获取主站编码urls = ['/books/bestsellers/01.00.00.00.00.00-month--10-1-{}'.format(i) for i inrange(1, 26)]# 在线爬虫的准备detail_url = []rank = []site = []name = []star = []author = []ISBN = []if __name__ == '__main__':for i in range(24): # 0~24 ->1~25res = requests.get(urls[i], headers)res.encoding = encodingselector = etree.HTML(res.text)booklist = selector.xpath('//ul[@class="bang_list clearfix bang_list_mode"]/li')book = [book for book in booklist]for i in range(len(book)):rank.append(book[i].xpath('div[1]/text()')[0]) # 排名site.append(book[i].xpath('div[2]/a/@href')[0]) # 购买/详细页面name.append(book[i].xpath('div[3]/a/text()')[0]) # 名字star.append(book[i].xpath('div[4]/span/span/@style')) # 以星星宽度决定好评author.append(book[i].xpath('div[5]/a/text()')) # 作者名time.sleep(0.5)for url in site:res = requests.get(url, headers)res.encoding = encodingpattern = '//ul[@class="bang_list clearfix bang_list_mode"]/li/div[2]/a/@href'ISBN.append(etree.HTML(res.text).xpath('//ul[@class="key clearfix"]/li[5]/text()')[0]) # 获取每一本书的详细页面time.sleep(0.5)
执行的流程是:按循环顺序依次获取页面中的排名,名字,详细页面等,存放到列表中
爬取完25个页面后,在详细页面的列表中取出地址,继续进行爬取ISBN.
格式化输出和保存:
将分别保存有各个维度信息的列表进行格式化处理(清洗),最后按相同的次序写入到csv中
tmp = []for s in star:tmp.append(''.join([c for c in str(s) if c.isdigit() or c == '.']))star = tmprank = [r.replace('.', '') for r in rank]author = [' '.join(a) for a in author]ISBN = [i.replace('国际标准书号ISBN：', '') + '\t' for i in ISBN]output = open('d:/dangdang/result.csv', 'w', encoding=encoding, newline='') # 将信息导出到csv,设置newline=""去除写一行空一行的影响writer = csv.writer(output) # csv writerwriter.writerow(('排名', '书名', '作者', '好评率', '购买页面', 'ISBN'))for i in range(len(rank)):writer.writerow((rank[i], name[i], author[i], star[i], site[i], ISBN[i])) # 保存到csv
不多赘述,有兴趣可以copy下来慢慢玩,最好就是打开畅销书的网页,然后对照审查元素慢慢研究lxml. 另外要注意的细节都以注释形式保存了.
