相信用别的语言只用14行是写不出来这样的效果的!而我们的Python 只需要区区的14行代码就能写出来哦!
这就是Python为什么是全球现在比较流行的语言之一了!因为简单 容易学! 比较上手! 现在就连某城市的小学生都已经开始学了! 生怕孩子输在了起跑线上了!
你也许可能会问我们 爬这些代理IP有什么用呢? 我可以告诉你 只要你学到爬虫这块 就必须要学会 反爬! 在这里有的同学可能又不懂了! 不知道什么是反爬! 反爬就是一个网站 为了防止别人写的爬虫去爬取上面的内容 做的一些措施! 比如 UA验证, 复杂一点的 就是IP验证了! 原理就是 如果有一个IP短时间内 请求很多次 不像一个人的正常请求 ! 这时候就会被服务器判定成机器人了! 也就是爬虫! 然后跳转一个特别的网页 比如给出一个403的错误页面! 那就是你的IP被服务器暂时封禁了!
下面的图就是一个很好的例子! 由于我在一定时间内 请求的次数非常的多! 所以被封禁了!
接下来开始我们的教程吧! 需要用的模块有 requests_html 没有安装的同学 赶紧安装! 安装方法 pip install 模块名称!
下面开始步入正题: 分析view-source:/nn/ 的源代码 ! class ='odd' 我们只需要抓取这个元素对象所有的文本内容!
r.html.find('.odd') find 查找的意思 .odd 就是 class的元素!
直接附上我们的源代码吧!from requests_html import HTMLSession
session = HTMLSession()
def ip():
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
url = '/nn/'
r = session.get(url, headers=headers)
r = r.html.find('.odd')
for x in r:
print(x.text.split())
if __name__ == '__main__':
ip()
以上就是爬取ip网站的源代码 如有不足的地方欢迎指出!
