1. 数据建模
通常在做项目的过程中，在items.py中进行数据建模
1.1 为什么建模
定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类，百度搜索了解更多1.2 如何建模
在items.py文件中定义要提取的字段：
class MyspiderItem(scrapy.Item): name = scrapy.Field() # 讲师的名字title = scrapy.Field() # 讲师的职称desc = scrapy.Field() # 讲师的介绍
代码单独测试：
# Define here the models for your scraped items## See documentation in:# /en/latest/topics/items.htmlimport scrapyclass MyspiderItem(scrapy.Item):# define the fields for your item here like:# 讲师名字name = scrapy.Field()# 头衔title = scrapy.Field()# 详细描述desc = scrapy.Field()if __name__ == '__main__':item = MyspiderItem()item['name'] = '张老师'item['title'] = '高级讲师'item['desc'] = '清华大学毕业'print(item)
运行效果：
1.3 如何使用模板类
模板类定义以后需要在爬虫中导入并且实例化，之后的使用方法和使用字典相同
job.py：
from myspider.items import MyspiderItem # 导入Item，注意路径def parse(self, response)item = MyspiderItem() # 实例化后可直接使用item['name'] = node.xpath('./h3/text()').extract_first()item['title'] = node.xpath('./h4/text()').extract_first()item['desc'] = node.xpath('./p/text()').extract_first()print(item)
示例代码：
import scrapyfrom myspider.items import MyspiderItemclass ItcastSpider(scrapy.Spider):name = 'itcast'# 2.检查域名allowed_domains = ['']# start_urls = ['/']# 1.修改起始urlstart_urls = ['/channel/teacher.shtml#ajavaee']# 3.在parse方法中实现爬取逻辑# response是上面的url响应的结果def parse(self, response):# with open('itcast1.html', 'wb') as f:#f.write(response.body)# 获取所有老师的节点node_list = response.xpath('//div[@class="li_txt"]')print(len(node_list))# 遍历教师节点for node in node_list:# temp = {}item = MyspiderItem() # 实例化后可以直接使用# xpath方法返回的是选择器对象列表，extract()用于从选择器对象中提取数据item['name'] = node.xpath('./h3/text()').extract_first()item['title'] = node.xpath('./h4/text()')[0].extract()item['desc'] = node.xpath('./p/text()')[0].extract()# xpath结果为只含有一个值的列表，可以使用extract_first(),如果为多个值则使用extract()# print(temp)yield item
注意：
from myspider.items import MyspiderItem这一行代码中 注意item的正确导入路径，忽略pycharm标记的错误python中的导入路径要诀：从哪里开始运行，就从哪里开始导入
把上面代码补充完整后，运行代码后会出现下面的错误：
将输入的item转化为字典格式就好了
示例代码：
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: /en/latest/topics/item-pipeline.html# useful for handling different item types with a single interfacefrom itemadapter import ItemAdapterimport jsonclass Myspider2Pipeline:# 爬虫文件中提取数据的方法每yield一次item，就会运行一次def __init__(self):self.file = open('itcast2.json', 'w', encoding='UTF-8')# 该方法为固定名称函数def process_item(self, item, spider):# print('itcast:', item)# 将item对象强转成字典，该操作只能在scrapy中使用item = dict(item)# 将字典数据序列化json_data = json.dumps(item, ensure_ascii=False) + ",\n"# 将数据写入文件self.file.write(json_data)# 默认使用完管道之后需要将数据返回给引擎return itemdef __del__(self):self.file.close()
1.4 开发流程总结
创建项目scrapy startproject 项目名明确目标
在items.py文件中进行建模创建爬虫
3.1 创建爬虫
scrapy genspider 爬虫名 允许的域
3.2 完成爬虫
修改start_urls检查修改allowed_domains编写解析方法
保存数据
在pipelines.py文件中定义对数据处理的管道
在settings.py文件中注册启用管道
2. 翻页请求的思路
对于要提取如下图中所有页面上的数据该怎么办？
回顾requests模块是如何实现翻页请求的：
找到下一页的URL地址调用requests.get(url)
scrapy实现翻页的思路：
找到下一页的url地址构造url地址的请求对象，传递给引擎
3. 构造Request对象，并发送请求
3.1 实现方法
确定url地址构造请求，scrapy.Request(url,callback) callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析把请求交给引擎：yield scrapy.Request(url,callback)3.2 网易招聘爬虫
通过爬取网易招聘的页面的招聘信息,学习如何实现翻页请求
地址：职位搜索
思路分析：
获取首页的数据寻找下一页的地址，进行翻页，获取数据
注意：
可以在settings中设置ROBOTS协议
# False表示忽略网站的robots.txt协议，默认为TrueROBOTSTXT_OBEY = False
可以在settings中设置User-Agent：
# scrapy发送的每一个请求的默认UA都是设置的这个User-AgentUSER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
3.3 代码实现
在爬虫文件的parse方法中：
......# 提取下一页的hrefnext_url = response.xpath('//a[contains(text(),">")]/@href').extract_first()# 判断是否是最后一页if next_url != 'javascript:void(0)':# 构造完整urlurl = '/position/list.do' + next_url# 构造scrapy.Request对象，并yield给引擎# 利用callback参数指定该Request对象之后获取的响应用哪个函数进行解析yield scrapy.Request(url, callback=self.parse)......
3.4 scrapy.Request的更多参数
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
参数解释
中括号里的参数为可选参数callback：表示当前的url的响应交给哪个函数去处理meta：实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等 【用于解析方法之间的数据传递，常用在一条数据分散在不同结构的页面中的情况】dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化; start_urls中的地址会被反复请求，否则程序不会启动method：指定POST或GET请求headers：接收一个字典，其中不包括cookiescookies：接收一个字典，专门放置cookiesbody：接收json字符串，为POST的数据，发送payload_post请求时使用,下面博文会继续介绍post请求
示例代码：
items.py:
# Define here the models for your scraped items## See documentation in:# /en/latest/topics/items.htmlimport scrapyclass WangyiItem(scrapy.Item):# define the fields for your item here like:name = scrapy.Field()link = scrapy.Field()depart = scrapy.Field()category = scrapy.Field()type = scrapy.Field()address = scrapy.Field()num = scrapy.Field()date = scrapy.Field()
job.py:（创建的爬虫任务）
import scrapyfrom wangyi.items import WangyiItemclass JobSpider(scrapy.Spider):name = 'job'allowed_domains = ['']start_urls = ['/position/list.do']def parse(self, response):# 提取数据print(response.url)# 获取所有的职位节点列表node_list = response.xpath('//*[@class="position-tb"]/tbody/tr')print(len(node_list))# 遍历节点列表for num, node in enumerate(node_list):# 设置过滤条件，将目标节点获取出来if num % 2 == 0:item = WangyiItem()item['name'] = node.xpath('./td[1]/a/text()').extract_first()# response.urljoin()用于拼接相对路径的url,可以理解成自动补全item['link'] = response.urljoin(node.xpath('./td[1]/a/@href').extract_first())item['depart'] = node.xpath('./td[2]/text()').extract_first()item['category'] = node.xpath('./td[3]/text()').extract_first()item['type'] = node.xpath('./td[4]/text()').extract_first()item['address'] = node.xpath('./td[5]/text()').extract_first()item['num'] = node.xpath('./td[6]/text()').extract_first().strip()item['date'] = node.xpath('./td[7]/text()').extract_first()# print(item)yield item# 模拟翻页part_url = response.xpath('/html/body/div[2]/div[2]/div[2]/div/a[last()]/@href').extract_first()print(part_url)# 判断中止条件if part_url != 'javascript:void(0)':next_url = response.urljoin(part_url)# 构建请求对象，并且返回给引擎yield scrapy.Request(url=next_url,callback=self.parse # 这儿若不写也是默认用parse方法来解析的)
pipelinses.py:
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: /en/latest/topics/item-pipeline.html# useful for handling different item types with a single interfacefrom itemadapter import ItemAdapterimport jsonclass WangyiPipeline:def __init__(self):self.file = open('wangyi.json', 'w')def process_item(self, item, spider):item = dict(item)str_data = json.dumps(item, ensure_ascii=False) + ',\n'self.file.write(str_data)return itemdef __del__(self):self.file.close()
思路提示：
爬取效果：
4. meta参数的使用
meta的作用：meta可以实现数据在不同的解析函数中的传递
在爬虫文件的parse方法中，提取详情页增加之前callback指定的parse_detail函数：
def parse(self,response):...yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})...def parse_detail(self,response):#获取之前传入的itemitem = resposne.meta["item"]
特别注意
meta参数是一个字典meta字典中有一个固定的键proxy，表示代理ip，关于代理ip的使用将在scrapy的下载中间件中进行介绍
示例代码：
job.py:
import scrapyfrom wangyi.items import WangyiItemclass JobSpider(scrapy.Spider):name = 'job'allowed_domains = ['']start_urls = ['/position/list.do']def parse(self, response):# 提取数据print(response.url)# 获取所有的职位节点列表node_list = response.xpath('//*[@class="position-tb"]/tbody/tr')print(len(node_list))# 遍历节点列表for num, node in enumerate(node_list):# 设置过滤条件，将目标节点获取出来if num % 2 == 0:item = WangyiItem()item['name'] = node.xpath('./td[1]/a/text()').extract_first()# response.urljoin()用于拼接相对路径的url,可以理解成自动补全item['link'] = response.urljoin(node.xpath('./td[1]/a/@href').extract_first())item['depart'] = node.xpath('./td[2]/text()').extract_first()item['category'] = node.xpath('./td[3]/text()').extract_first()item['type'] = node.xpath('./td[4]/text()').extract_first()item['address'] = node.xpath('./td[5]/text()').extract_first()item['num'] = node.xpath('./td[6]/text()').extract_first().strip()item['date'] = node.xpath('./td[7]/text()').extract_first()# print(item)# yield item# 构建详情页面的请求yield scrapy.Request(url=item['link'],callback=self.parse_detail,meta={'item': item})# 模拟翻页part_url = response.xpath('/html/body/div[2]/div[2]/div[2]/div/a[last()]/@href').extract_first()print(part_url)# 判断中止条件if part_url != 'javascript:void(0)':next_url = response.urljoin(part_url)# 构建请求对象，并且返回给引擎yield scrapy.Request(url=next_url,callback=self.parse # 这儿若不写也是默认用parse方法来解析的)def parse_detail(self, response):# 将meta传参获取item = response.meta['item']# 提取剩余字段数据item['duty'] = response.xpath('/html/body/div[2]/div[2]/div[1]/div/div/div[2]/div[1]/div/text()').extract()item['require'] = response.xpath('/html/body/div[2]/div[2]/div[1]/div/div/div[2]/div[2]/div/text()').extract()# print(item)# 返回给引擎yield item
items.py:
# Define here the models for your scraped items## See documentation in:# /en/latest/topics/items.htmlimport scrapyclass WangyiItem(scrapy.Item):# define the fields for your item here like:name = scrapy.Field()link = scrapy.Field()depart = scrapy.Field()category = scrapy.Field()type = scrapy.Field()address = scrapy.Field()num = scrapy.Field()date = scrapy.Field()duty = scrapy.Field()require = scrapy.Field()
运行效果：
json数据解析：
