100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > 干货福利!手把手教你获取上千张cosplay小姐姐的美照

干货福利!手把手教你获取上千张cosplay小姐姐的美照

时间:2022-05-10 16:01:26

相关推荐

干货福利!手把手教你获取上千张cosplay小姐姐的美照

公众号关注“菜鸟学Python”

设为 “星标”,带你一起学Python!

最近的一段时间里,小编喜欢上了CosPlay的展出,小姐姐们的CosPlay展真的是让我很是欣赏,于是,我回到家里就从网上来看展出,但是一个个网页查看太过繁琐~~

既然是玩Python,不如写个代码搞定!小编就自己写了一个爬虫的程序,仅仅只需要几十行的代码,就爬取了上千张CosPlay小姐姐的美照,小编特地拿出来跟大家分享一下,一步步的教大家如何来抓取cosplay的照片。

01.网页介绍

小编爬取的是抽妹网->图片专区->cosplay下的图片信息。网页链接为:

所以我们首先应该在程序中抓取每个页面下的全部的子网页链接,然后不断的翻页,来抓取到全部的子网页的链接。

进入到每个子网页中,如下图所示:

在每个子网页下面,就是我们想要抓取的cosplay图片。经过上面的分析之后,我们明白了整体的抓取的流程应该如下图所示。

程序应该不断的抓取子网页的链接,然后在子网页中不断的抓取每张图片,并保存到本地的文件夹中。

02.程序实现

程序的主逻辑有了,接下来就是如何来实现了。首先,我们来看一下,如何实现在主页面中抓取每个子页面的链接。

打开主页面的网页源代码发现,页面属于静态页面,所以每个子页面的网页链接都在网页源代码中能够找到,如下图所示:

所以,在程序中,只需要分析网页源代码并提取每个子网页的链接即可,程序如下图所示。

上述程序中,首先构造了主网页的链接,然后获取并分析主网页的源代码,并找到包含子网页的标签,对于每一个子网页的主题名称和url进行提取。创建主题名称的文件夹用来保存图片,然后再savePic的函数中对子网页进行处理。

03.子网页的图片提取

接下来就是对于子网页中图片的提取,也就是savePic函数的实现。子网页同样是采用的静态网页的形式,因此,程序的主逻辑同主页面的抓取非常的类似,程序如下所示:

上述的程序中,同样利用requests来请求网页源代码,并利用BeautifulSoup来进行分析,并提取包含图片url的标签,如果提取正确,那么就将图片保存到本地,如果提取失败,则换另外一种方式进行提取。

在实际程序编写的过程中,会发现某些文件夹中没有图片,经过分析后才会发现是第一种提取图片url的方式失败所导致的,因此才有了第二种url的提取方式。此外程序中,小编还多次的用到了try...except来对程序进行保护,提高了程序的容错性。

04.结果展示

程序完成后,大家只需要运行上述程序,就可以获得大量的cosplay照片,如下图所示。

以上就是小编为大家带来的干货分享,大家也赶快下载程序,自己来爬取小姐姐的cosplay照片,慢慢欣赏吧。

需要本篇源码的可以,如下获取:

1.扫描下面的公众号(非本公众号)

2.输入:cs1228

长按输入: cs1228

爆款文案“裂开了,苦涩了,翻白眼”!我用Python画出微信新出的表情包吃瓜群众,我用五行Python代码让微博热点动起来!抖音创始人张一鸣:10 年面试 2000 人,我发现混的好的人,全都有同一个特质卧槽!没想到,用Python竟能做五仁月饼Python 初学者进阶的九大技能终于,Flask 迎来了真正的对手!7个最佳的学习Python编程的开源库3287亿!我用20行Python代码预测双十一成交额,猜中送红包哦点这里,获取新手福利

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。