100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > python多线程爬虫爬取斗图啦网站表情包图片

python多线程爬虫爬取斗图啦网站表情包图片

时间:2021-11-14 04:27:16

相关推荐

python多线程爬虫爬取斗图啦网站表情包图片

如题:这次来个真正的多线程版本。

估计也没人看,如果有感兴趣的或者不懂的可以留言。有目前正在学爬虫的也可以交流。

import threadingimport requestsfrom lxml import etreeimport urllibimport refrom queue import Queuepath = D:/壁纸/python/斗图啦-多线程版本/ # 设置图片的存储路径class Producer(threading.Thread):headers = {User-Agent: "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36",}def __init__(self, page_queue, img_queue, *args, **kwargs):super(Producer, self).__init__(*args, **kwargs)self.page_queue = page_queueself.img_queue = img_queu

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。