功能描述
目标：获取淘宝搜搜页面的信息，提取其中的商品名称和价格
理解：淘宝的搜索接口&翻页的处理
技术路线：requests&re
“书包”：
变量s代表下一页起始商品的信息
定向爬虫的可能性：查看robots协议
程序的结构设计：
步骤1：提交商品搜索请求，循环获取页面
步骤2：对于每个页面，提取商品名称和价值信息
步骤3：将信息输出到屏幕上
案例总结：
-采用了requests-re路线实现了淘宝商品比价定向爬虫
-熟练掌握正则表达式在信息提取方面的作用
代码：
import requestsimport redef getHTMLText(url):try:r=requests.get(url,timeout = 30)r.raise_for_statusr.encoding = r.apparent_encoding #是否使用，需要判断r.encoding是否能获取文件编码信息return r.textexcept:return ""def parsePage(ilt,html): #对所得页面进行解析try:plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)tlt = re.findall(r'\"raw_title\"\:\".*?\"',html) #.*?-最小匹配/匹配的内容是商品本身的名字for i in range(len(plt)):price = eval(plt[i].split(':')[1]) #通过split方法分割：后面的部分只取价格title = eval(tlt[i].split(':')[1]) #eval去掉双引号ilt.append([price,title]) except:print("")def printGoodsList(ilt): #将淘宝得商品信息输出到屏幕上tplt = "{:4}\t{:8}\t{:16}" #规定输出格式print(tplt.format("序号","价格","商品名称"))count = 0for g in ilt :count = count +1 print(tplt.format(count,g[0],g[1]))def main():goods = 'packbage'depth = 2start_url = '/search?q='+goodsinfoList = []for i in range(depth):try:url = start_url + '&s=' +str(44*i) #每页起始有s=44*ihtml = getHTMLText(url)parsePage(infoList,html)except:continueprintGoodsList(infoList)#爬取得最终结果保存在infoList列表中main()
