100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > webmagic模拟登陆获取cookie_Python3爬虫:selenium模拟登录获取cookie提取数据 存入数据库MySQL...

webmagic模拟登陆获取cookie_Python3爬虫:selenium模拟登录获取cookie提取数据 存入数据库MySQL...

时间:2023-03-20 06:08:15

相关推荐

webmagic模拟登陆获取cookie_Python3爬虫:selenium模拟登录获取cookie提取数据 存入数据库MySQL...

原文链接:

Python3爬虫:selenium模拟登录获取cookie提取数据,存入数据库MySQL

selenium模拟登录获取数据

如果不想自动化窗口弹出,添加option就可以实现,因为我是设置定时执行的,所以每次弹出很不方便。

这里遇到的第一个坑,是element定位账号密码输入框的时候一直出现错误,后面发现原来在iframe框架里面,直接定位是不成功的,需要转换并且注明框架对应的名称。

通过selenium的get_cookies得到cookie在转换成json格式保存下来,再通过for循环转换成headers里面cookie一样形式的字符串,就可以直接引用了。

我抓取的网站是json格式的,所以get请求之后就直接转换成json按照字典的规则提取就可以了。

保存数据可以多种形式,我一般是存到数据库,方便保存跟查询。

下面是源码,我都注释好了。

连接数据库MYSQL

插入数据

定时执行

如果需要脚本定时执行,可以导入threading包,调好时间即可。

从模拟登录保存cookie,数据存入数据库,设置定时执行就可以实现自动化抓取数据了。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。