100字范文 > 淘宝商品爬虫Ⅱ：根据店铺名爬取商品评论

淘宝商品爬虫Ⅱ：根据店铺名爬取商品评论

时间：2022-04-16 04:12:00

相关推荐

淘宝商品爬虫Ⅱ：根据店铺名爬取商品评论

根据商品id爬取商品评论

前言网页分析爬取流程代码和运行结果评论信息好评数和差评数后记

前言

上次的文章写了如何通过一个店铺名获得一个店铺所有的商品的基本信息，其中包括这次我们需要使用的id。这次我们就来使用商品id获取商品的评论

网页分析

我们首先打开一个商品的页面，然后打开开发者模式，没有显示包的话刷新一下。

我们需要注意的是这两个包。

其中第一个是商品评论，第二个是好评和差评。

先看一下评论。

而且最后面也可以看到有当前页数和总页数。

然后是好评和差评数，不过我们可以看到有红色和绿色的，这里红色为好评，绿色为差评。

我们需要把相同颜色的值加起来就是好评和差评数了。

这个只有一页

爬取流程

下面为本次的爬取流程，比较简陋。

代码和运行结果

这里使用的id是上一篇博客生成的数据，需要进行读取并格式化为id列表。

需要注意的是，如果数据最后一行是换行的话，读取可能会报错，这次我写了一个异常捕获来避免报错的发生，当然，你也可以直接把换行那个删掉将光标移动到上一行的最后的位置。建议加入异常捕获而不是去动文件内部。

这里给出文件内部示例。

每个字段分别是商品名，商品id，商品价格，商品销量和评价。

def _Get_ids():with open("shuangfeiyandata.csv", encoding='utf-8') as f:data = f.read()ids = []for da in data.split('\n'):try:ids.append(da.split(',')[1])except IndexError:print("IndexError"+str(da))return ids

这边是完整代码

# -*- coding: utf-8 -*-# @Time : /5/14 17:04# @Author : Leviathan_Sei# @File : from_id_get_comments.py# @Python : 3.7import requestsimport csvimport jsonimport timedef _Get_html(page, item_id):url = "/list_detail_rate.htm"header = {"referer": "/item.htm","user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:60.0)Gecko/0101 Firefox/60.0'",}params = {"itemId": str(item_id), "sellerId": "2616970885", "currentPage": "1", "order": "1","callback": "jsonp2359"}cookies = {}req = requests.get(url, params, headers=header, cookies=cookies, timeout=2).content.decode('utf-8');req = req[req.find('(') + 1:req.rfind(')')]return json.loads(req)def _Get_good_bad(item_id):url = "/listTagClouds.htm?itemId=" + str(item_id) + "&isAll=true&isInner=true&t=1620984765718&groupId=&_ksTS=1620984765718_1070&callback=jsonp1071"cookies = {}headers = {"Host": "","user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:60.0)Gecko/0101 Firefox/60.0'",}req = requests.get(url, cookies=cookies, headers=headers).textreturn reqdef _Format_data(item_id):gb_comments = _Get_good_bad(item_id)gb_comments = gb_comments[gb_comments.find('jsonp1071(') + 10:gb_comments.rfind('})') + 1]gb_comments = json.loads(gb_comments)gb_comments = gb_comments['tags']['tagClouds']good_comments = 0bad_comments = 0for gb_comment in gb_comments:if gb_comment['posi']:good_comments += gb_comment['count']else:bad_comments += gb_comment['count']with open('gb_comments.csv', 'a', encoding='utf-8-sig', newline='') as f:w = csv.writer(f)w.writerow([item_id, good_comments, bad_comments])IsLastPage = TruePage = 1with open(str(item_id) + '.csv', 'w', encoding='utf-8-sig', newline="") as f:write = csv.writer(f)write.writerow(['id', 'c1', 'v1', 'p1', 'c2', 'v2', 'p2'])_data = []while IsLastPage:html = _Get_html(Page, item_id)if html["rateDetail"]["paginator"]["lastPage"] == html["rateDetail"]["paginator"]["page"]:IsLastPage = FalsePage += 1for comment in html["rateDetail"]["rateList"]:data = [comment["id"], comment["rateContent"]]if comment["videoList"]:data.append(comment["videoList"])else:data.append("NULL")if comment["videoList"]:data.append(comment["pics"])else:data.append("NULL")try:data.append(comment["appendComment"]["content"])except KeyError:data.append("NULL")except TypeError:data.append("NULL")try:data.append(comment["appendComment"]["videoList"])except KeyError:data.append("NULL")except TypeError:data.append("NULL")try:data.append(comment["appendComment"]["pics"])except KeyError:data.append("NULL")except TypeError:data.append("NULL")_data.append(data)with open(str(item_id) + '.csv', 'a', encoding='utf-8-sig', newline="") as f:write = csv.writer(f)for data in _data:write.writerow(data)if IsLastPage:time.sleep(10)def _Get_ids():with open("shuangfeiyandata.csv", encoding='utf-8') as f:data = f.read()ids = []for da in data.split('\n'):try:ids.append(da.split(',')[1])except IndexError:print("IndexError" + str(da))return idsdef _Main():ids = _Get_ids()for item_id in ids:_Format_data(item_id)if __name__ == '__main__':_Main()