100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > 什么是动态加载的数据?(爬虫学习)举例 为什么使用selenium

什么是动态加载的数据?(爬虫学习)举例 为什么使用selenium

时间:2020-06-15 05:11:54

相关推荐

什么是动态加载的数据?(爬虫学习)举例 为什么使用selenium

以稀土掘金网站为例,

当我们写网络爬虫对/这个url发起请求时,即访问的下方这个名为的文件,对应的response一栏中,是我们能获取到的数据。

以网页上的“ 首次更文挑战”的字段,在这个response中是不存在的。即使用requests访问上边的url是获取不到该数据的,该数据即为动态加载的。

点击search进行搜索,

可以找到该数据所在的url。

使用selenium可以获取到动态加载的数据,但是动态加载的数据是动态的,所以每一次访问返回的数据未必相同,但是会有。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。