100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > python搞笑动态图_python小爬虫抓取搞笑图片

python搞笑动态图_python小爬虫抓取搞笑图片

时间:2023-11-05 05:21:07

相关推荐

python搞笑动态图_python小爬虫抓取搞笑图片

大部分小程序都是基于py2.7的,我于是便想直接出一个py3.4最新版本的教程。大致看一下第一篇了解一下的一些概念性的东西以及bs4第三方库的使用。请参考文末。

我们的第一个小程序的相关要求:

目标:抓取一个网站的两千张搞笑图片。(本文先下载一张,多张的处理在这个过程中会出现一些麻烦,所以以后再说)

需要的工具:chrome浏览器,python3,第三方库BS4。Notepad++。至于安装方法,请移步到这里。

当然,实现一个非常牛逼的爬虫的理想是远大的,但是我们在跑之前,先要自己好好的修炼一下基本功——先从获取一张图片开始。

我们发现这个网站比较符合我的要求。

我们打开一个网页,按下f12,研究一番以后,发现如下规律。

每一个网页有一张图片。其图片质量不算高。

由于是一个网址对应一个图片地址,

而且网址链接有这样子的规律。

也就是我们可以从上面的链接中下载相关的html文件,进而我们从html这个文件中提取出相关图片的链接。接着把相关的图片内部数据下载到内存中,接着写成相关文件放在硬盘中。

由此看来,我们的获取一张图片的步骤分成这样的几步。

S1.发起含有图片链接的html。(urllib.request)

S2.解析出图片地址(通过bs4这个强大的html解析工具)

S3.发起图片数据的请求(urllib.request)

S4.把图片保存下来。(os)

我们从这个链接开始讲起。打开IDLE,调整成shell模式,逐行输入

from bs4 import BeautifulSoup

import os,urllib.request

pageUrl = '/tupian/1111.html'

htmlDoc = urllib.request.urlopen(pageUrl).read()

这条命令将链接的请求内容返回到htmlDoc

我们可以用print(htmlDoc)不过强力不推荐这种方法输出,太慢了.强烈建议另一种BeautifulSoup的prettify方法

打印出来的东西依稀可以看出这东西的确是html文件的具体内容。

当然,我们要这一堆垃圾是没有用的,我们要从中解析出所需的图片。用chrome浏览器打开相关网页,然后看到图片右击点击审查元素。我们在这里可以看出我们的具体链接位置。

这里采用的是相对地址,

身在远程的我们只能通过绝对地址来访问。

/d/file/middle/c/483368.jpg

而这个相对链接

/d/file/middle/c/483368.jpg则是藏在深深地html角落里,怎么获取?我勒个去,我总不能使用查找字符串的方式来查找这东西吧。正则表达式完全不懂啊有木有!

好吧,我们既然暂时没有办法使用正则表达式。那么我们猜想一下,会不会有这么一个第三方库之类的东西是专门用来操作这个html文件,进而提取其中的数据呢的呢?

有的,BeautifulSoup4.安装以及介绍方法请移步。

输入

Soup = BeautifulSoup(htmlDoc)

将htmlDoc的所有内容转换成BeautifulSoup对象,

我们这个时候可以输入

Print(soup.prettify())

查看格式化的html文件。

输入

soup.find_all("div",class_="pic_text")

我们便可以将我们需要的图片链接大致范围确定下来了。

Find_all返回一个list。

接着我们使用下面两行代码

divHtml = soup.find_all("div",class_="pic_text")

imgUrl = '' + divHtml[0].img.attrs['src']

输入以上代码便可以提取出我们需要的图片链接。可以print看一下内容

这时候我们发现了一件事情。就是html文档的标题可以用来做文件名。

于是请求,保存下来。

data = urllib.request.urlopen(imgUrl).read()

fileName = soup.title.contents[0] + '.jpg'

filePath = os.path.join('C:/img',fileName)

image = open(filePath,'wb')

image.write(data)

image.close()

所有有效代码如下。

【自写小脚本-抓取【】V0.1.py】-只能抓取一张图片

pageUrl = '/tupian/1111.html'

htmlDoc = urllib.request.urlopen(pageUrl).read()

soup = BeautifulSoup(htmlDoc)

#print (soup.prettify())

#print ("正在下载第(%d)"%(i))

divHtml = soup.find_all("div",class_="pic_text")

imgUrl = '' + divHtml[0].img.attrs['src']

data = urllib.request.urlopen(imgUrl).read()

fileName = soup.title.contents[0] + '.jpg'

filePath = os.path.join('C:/img',fileName)

image = open(filePath,'wb')

image.write(data)

image.close()

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。