全文简介
使用python中简单的爬虫知识，对内涵段子的文章进行爬取。
需要用到的模块：requests模块和time模块。
需要的程序编辑软件：Pycharm
程序流程
1> 获取URL:进入内涵段子官网，动态网页信息获取使用F12,点击Network,确定显示灯为红色，使用all。点击“加载更多”，获取信息，找到json文件，获取文章网址。
2> 进行抓包，获取文章内容。
3> 翻页操作。时间戳max_time的存在，使得可以通过获取max_time来进行翻页功能。Unix时间戳(Unixtimestamp)，或称Unix时间(Unixtime)、POSIX时间(POSIXtime)，是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总毫秒数。
4> 添加headers。网站自己都会有反爬功能，当我们不添加headers时，网站不承认是内部访问，会出现爬取信息重复等问题。
程序复现
#导入模块
import requests
import time
#复制网址
url = '/joke/?is_json=1&app_name=neihanshequ_web&max_time=1521174524'
html = requests.get(url)
#获取max_time
maxTimeData = html.json()['data']['max_time']
#添加headers
header = {'Accept':'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding':'gzip, deflate, sdch, br',
'Accept-Language':'zh-CN,zh;q=0.8',
'Connection':'keep-alive',
'Cookie':'uuid="w:75f40cfa476b42f38467bdd14f4e8532"; __guid=101886750.3873194365346073600.1521180227278.0383; tt_webid=6533419315906250243; csrftoken=39829a188b3ab17a8a5a072b729345d3; monitor_count=7; _ga=GA1.2.1404692264.1521180230; _gid=GA1.2.1807126790.1521180230',
'Host':'',
'Referer':'/',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
'X-CSRFToken':'39829a188b3ab17a8a5a072b729345d3',
'X-Requested-With':'XMLHttpRequest'}
#进入循环，翻页功能，文章获取并写入
while type(maxTimeData) == float or type(maxTimeData) == int:
#使用tile模块进行延时
time.sleep(3)#延时3s
url = '/joke/?is_json=1&app_name=neihanshequ_web&max_time=' + str(maxTimeData)
html = requests.get(url,headers = header)
with open(r'C:\Users\Administrator\Desktop\data.txt','a',encoding='utf-8') as f:
for n in range (len(html.json()['data']['data'])):
data = (html.json()['data']['data'][n]['group']['content'])
f.write(data + '\n')
maxTimeData = html.json()['data']['max_time']
#输出max_time，提示翻页次数
print (maxTimeData)
结果展示
