原文链接:
Python3爬虫:selenium模拟登录获取cookie提取数据,存入数据库MySQL
selenium模拟登录获取数据
如果不想自动化窗口弹出,添加option就可以实现,因为我是设置定时执行的,所以每次弹出很不方便。
这里遇到的第一个坑,是element定位账号密码输入框的时候一直出现错误,后面发现原来在iframe框架里面,直接定位是不成功的,需要转换并且注明框架对应的名称。
通过selenium的get_cookies得到cookie在转换成json格式保存下来,再通过for循环转换成headers里面cookie一样形式的字符串,就可以直接引用了。
我抓取的网站是json格式的,所以get请求之后就直接转换成json按照字典的规则提取就可以了。
保存数据可以多种形式,我一般是存到数据库,方便保存跟查询。
下面是源码,我都注释好了。
连接数据库MYSQL
插入数据
定时执行
如果需要脚本定时执行,可以导入threading包,调好时间即可。