以稀土掘金网站为例,
当我们写网络爬虫对/这个url发起请求时,即访问的下方这个名为的文件,对应的response一栏中,是我们能获取到的数据。
以网页上的“ 首次更文挑战”的字段,在这个response中是不存在的。即使用requests访问上边的url是获取不到该数据的,该数据即为动态加载的。
点击search进行搜索,
可以找到该数据所在的url。
使用selenium可以获取到动态加载的数据,但是动态加载的数据是动态的,所以每一次访问返回的数据未必相同,但是会有。
时间:2020-06-15 05:11:54
以稀土掘金网站为例,
当我们写网络爬虫对/这个url发起请求时,即访问的下方这个名为的文件,对应的response一栏中,是我们能获取到的数据。
以网页上的“ 首次更文挑战”的字段,在这个response中是不存在的。即使用requests访问上边的url是获取不到该数据的,该数据即为动态加载的。
点击search进行搜索,
可以找到该数据所在的url。
使用selenium可以获取到动态加载的数据,但是动态加载的数据是动态的,所以每一次访问返回的数据未必相同,但是会有。
Python爬虫:selenium动态加载HTML的常用方法【汇总笔记】
2019-11-25
【学习】03 淘宝爬虫-使用selenium采集关键词为电动车的数据
2024-05-27
使用selenium设置firefox不加载图片增加加载速度提高爬虫效率
2024-02-12
精编【外国名著中性描写片段】名著中有描写性的段落(100字左右)最好有好几段
2024-08-25