这次看完xpath章之后巩固练习
import reimport requestsfrom lxml import etreedef get_one_page(url):headers = {'User-Agent':'MOzilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/65.0.3325.162 Safari/537.36'}response =requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Nonehtml = get_one_page('/finish?chanId=21&action=hidden&orderId=&page=1&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=2')html = etree.HTML(html)#result = etree.tostring(html)#print(result.decode('utf-8'))#经过多次尝试#xpath一次只能获取一个属性值,即一次提取book_href=html.xpath('//div[@class="book-mid-info"]/h4/a/@href')book_name=html.xpath('//div[@class="book-mid-info"]/h4/a/text()')author=html.xpath('//div[@class="book-mid-info"]/p//a[@class="name"]/text()')intro=html.xpath('//div[@class="book-mid-info"]/p[@class="intro"]/text()')#处理元素删除空位符for index,i in enumerate(intro):intro[index]=i.strip()''''print(book_href)print(author)print(intro)print(len(book_href))'''#处理数据整合存储到一个list中data=[]for i in range(20):elmt=[]elmt.append(book_href[i])elmt.append(book_name[i])elmt.append(author[i])elmt.append(intro[i])data.append(elmt)#print(data)for index in range(20):for e in data[index]:print(e,end=' ')print('\n')
输出结果如下:
///info/1004073922 异世界的美食家 李鸿天 在武者举手可裂山川,甩腿可断长河的玄幻世界中,存在着这样一家小餐馆。小餐馆不大,但却是无数顶尖强者趋之若鹜之地。在那儿你可以品尝到用凤凰蛋和龙血米炒成的蛋炒饭。在那儿你可以喝到生命之泉配朱果酿制的烈酒 ///info/1005238666 万界天尊 二次元 天为何物?高高在上,威严莫测,是法则,是戒律,是无情,是冷酷。天意,何也?俯瞰众生,操持风云,褫夺赏罚,随性而为。故,天意不可测,苍天不可近。顺之应之,未必得其利;逆之叛之,福祸却难定。天,禁锢万物如 ///info/1115277 斗罗大陆 血红 唐门外门弟子唐三,因偷学内门绝学为唐门所不容,跳崖明志时却发现没有死,反而以另外一个身份来到了另一个世界,一个属于武魂的世界,名叫斗罗大陆。这里没有魔法,没有斗气,没有武术,却有神奇的武魂。这里的每个 ///info/3600493 神门 唐家三少 【超人气玄幻】这是一个诡异莫名的世界……山,水,石,花,草,树,木,太阳,月亮,星辰……天地万物都是力量的来源。这里有着前世所有的经典名著,但却有了一个新的名字《道典》!原来看书就能获得力量啊?方正直 ///info/1001730574 史上最强师兄 薪意 燕赵歌第一次穿越,穿到了武道文明繁盛至极的异世界,一头撞进包罗万象,遍收天下经典的神宫藏书楼里,但随后便是一场天地大劫,连神宫也破灭了。接下来居然第二次穿越,灵魂来到了同一个世界,不知多少年后的时代。 ///info/1209977 斗破苍穹 八月飞鹰 这里是属于斗气的世界,没有花俏艳丽的魔法,有的,仅仅是繁衍到巅峰的斗气!新书等级制度:斗者,斗师,大斗师,斗灵,斗王,斗皇,斗宗,斗尊,斗圣,斗帝。 ///info/2952453 完美世界 二次元 一粒尘可填海,一根草斩尽日月星辰,弹指间天翻地覆。群雄并起,万族林立,诸圣争霸,乱天动地。问苍茫大地,谁主沉浮?!一个少年从大荒中走出,一切从这里开始…… ///info/1005053720 穿越诸天当邪神 天蚕土豆 某宅男在玩一款黑暗系18禁养成类galgame时,意外穿越了,还随身带上了这款名为《邪神养成》游戏的面板……邪神的养成,需要他前往诸天位面副本完成黑暗任务,以及达成日常罪恶事件来实现。这是一个志向远大 ///info/1009602961 诸天仙武 辰东 龙蛇阳神,大唐双龙,破碎虚空,覆雨翻云,诛仙蜀山,完美遮天,雪中悍刀,风云霹雳,天子神兵,仙剑西游,洪荒封神,仙逆求魔,永生莽荒,吞噬星空……一切因神秘的诸天宝鉴开始。上一世凡人之躯,老迈垂死;这一生 ///info/2750457 大主宰 钦定 大千世界,位面交汇,万族林立,群雄荟萃,一位位来自下位面的天之至尊,在这无尽世界,演绎着令人向往的传奇,追求着那主宰之路。无尽火域,炎帝执掌,万火焚苍穹。武境之内,武祖之威,震慑乾坤。西天之殿,百战之 ///info/2083259 将夜 二次元 与天斗,其乐无穷。 ///info/1003892117 玄门败家子 亘古孤寂2 真命天子,寰宇称雄!他们有至尊老头当老师,神奇异宝随身行,古街捡漏变神兵……“然而这并没有什么卵用。”“外挂再好,一卡撂倒!真命再高,也怕钱烧!”楚天箫打开大败家系统,喃念道:“更何况,连这方大千世界 ///info/2048120 武动乾坤 天蚕土豆 修炼一途,乃窃阴阳,夺造化,转涅盘,握生死,掌轮回。武之极,破苍穹,动乾坤!……东方英雄传奇大剧《武动乾坤》8月7日登陆优酷视频和东方卫视周播剧场。由张黎执导,杨洋、张天爱、吴尊、王丽坤领衔主演。 ///info/1005015123 异世之召唤文臣猛将 猫腻 新纪元来临,天地异变。地星本土动植物疯狂变异、返祖,异界物种沦落地星,最终新纪元人类诞生一种全新的职业御使。收服怪物,培养怪物,训练怪物,这就是御使。新书《神宠进化》已发布~ ///info/1005031521 星武通神 逆运 玉河星系,物种亿万。有飘浮在虚空可以吞噬战舰的植物,也有大如山脉横渡星河的巨兽。有无边无尽湮灭一切的虫族,也有背生双翅可爱无害的精灵。人类从蓝星走出,建立联邦,依靠古武推广提升身体素质,适应星际环境, ///info/1223147 间客 天蚕土豆 世界上有两件东西能够深深地震撼人们的心灵,一件是我们心中崇高的道德准则,另一件是我们头顶上灿烂的星空——康德当许乐从这行字上收回目光,第一次真正看到尘埃后方那繁若芝麻的群星时,并没有被震撼,相反他怒了 ///info/2470949 武极天下 酒池醉 一个梦想进入武府圣地的普通少年,立志追求极致武学。然而面对竞争激烈的考核,又有世家子弟的借势压人,小小平凡少年如何立足?宗门传承严格保密,核心功法概不外传,在功法传承如此难得天衍大陆,即便进了武府和宗 ///info/3458639 人道至尊 蒜书 自盘古开天,三皇治世,五帝定伦,世界之间,人为天地灵长……此时正值三皇中的人皇末期,五帝未定,人族也不是天地灵长。这里是莽苍荒蛮的时代,妖神、邪神、天神,诸神林立,妖魔、邪魔、天魔,群魔乱舞;万族并存 ///info/63856 神墓 猫腻 一个死去万载岁月的平凡青年从远古神墓中复活而出…… ///info/2407162 武神空间 蚕茧里的牛 叶希文本只是地球上一个普通的大学生,却意外穿越到了一个名为真武界的世界!在这个世界中,强大的武者能翻山倒海,毁天灭地!本是资质平凡的他,因为得到了一个神秘的特殊空间!任何的武学都可以在神秘空间中推演,