这次看完xpath章之后巩固练习
import reimport requestsfrom lxml import etreedef get_one_page(url):headers = {'User-Agent':'MOzilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/65.0.3325.162 Safari/537.36'}response =requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Nonehtml = get_one_page('/finish?chanId=21&action=hidden&orderId=&page=1&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=2')html = etree.HTML(html)#result = etree.tostring(html)#print(result.decode('utf-8'))#经过多次尝试#xpath一次只能获取一个属性值，即一次提取book_href=html.xpath('//div[@class="book-mid-info"]/h4/a/@href')book_name=html.xpath('//div[@class="book-mid-info"]/h4/a/text()')author=html.xpath('//div[@class="book-mid-info"]/p//a[@class="name"]/text()')intro=html.xpath('//div[@class="book-mid-info"]/p[@class="intro"]/text()')#处理元素删除空位符for index,i in enumerate(intro):intro[index]=i.strip()''''print(book_href)print(author)print(intro)print(len(book_href))'''#处理数据整合存储到一个list中data=[]for i in range(20):elmt=[]elmt.append(book_href[i])elmt.append(book_name[i])elmt.append(author[i])elmt.append(intro[i])data.append(elmt)#print(data)for index in range(20):for e in data[index]:print(e,end=' ')print('\n')
输出结果如下：
///info/1004073922 异世界的美食家 李鸿天 在武者举手可裂山川，甩腿可断长河的玄幻世界中，存在着这样一家小餐馆。小餐馆不大，但却是无数顶尖强者趋之若鹜之地。在那儿你可以品尝到用凤凰蛋和龙血米炒成的蛋炒饭。在那儿你可以喝到生命之泉配朱果酿制的烈酒 ///info/1005238666 万界天尊 二次元 天为何物？高高在上，威严莫测，是法则，是戒律，是无情，是冷酷。天意，何也？俯瞰众生，操持风云，褫夺赏罚，随性而为。故，天意不可测，苍天不可近。顺之应之，未必得其利；逆之叛之，福祸却难定。天，禁锢万物如 ///info/1115277 斗罗大陆 血红 唐门外门弟子唐三，因偷学内门绝学为唐门所不容，跳崖明志时却发现没有死，反而以另外一个身份来到了另一个世界，一个属于武魂的世界，名叫斗罗大陆。这里没有魔法，没有斗气，没有武术，却有神奇的武魂。这里的每个 ///info/3600493 神门 唐家三少 【超人气玄幻】这是一个诡异莫名的世界……山，水，石，花，草，树，木，太阳，月亮，星辰……天地万物都是力量的来源。这里有着前世所有的经典名著，但却有了一个新的名字《道典》！原来看书就能获得力量啊？方正直 ///info/1001730574 史上最强师兄 薪意 燕赵歌第一次穿越，穿到了武道文明繁盛至极的异世界，一头撞进包罗万象，遍收天下经典的神宫藏书楼里，但随后便是一场天地大劫，连神宫也破灭了。接下来居然第二次穿越，灵魂来到了同一个世界，不知多少年后的时代。 ///info/1209977 斗破苍穹 八月飞鹰 这里是属于斗气的世界，没有花俏艳丽的魔法，有的，仅仅是繁衍到巅峰的斗气！新书等级制度：斗者，斗师，大斗师，斗灵，斗王，斗皇，斗宗，斗尊，斗圣，斗帝。 ///info/2952453 完美世界 二次元 一粒尘可填海，一根草斩尽日月星辰，弹指间天翻地覆。群雄并起，万族林立，诸圣争霸，乱天动地。问苍茫大地，谁主沉浮？！一个少年从大荒中走出，一切从这里开始…… ///info/1005053720 穿越诸天当邪神 天蚕土豆 某宅男在玩一款黑暗系18禁养成类galgame时，意外穿越了，还随身带上了这款名为《邪神养成》游戏的面板……邪神的养成，需要他前往诸天位面副本完成黑暗任务，以及达成日常罪恶事件来实现。这是一个志向远大 ///info/1009602961 诸天仙武 辰东 龙蛇阳神，大唐双龙，破碎虚空，覆雨翻云，诛仙蜀山，完美遮天，雪中悍刀，风云霹雳，天子神兵，仙剑西游，洪荒封神，仙逆求魔，永生莽荒，吞噬星空……一切因神秘的诸天宝鉴开始。上一世凡人之躯，老迈垂死；这一生 ///info/2750457 大主宰 钦定 大千世界，位面交汇，万族林立，群雄荟萃，一位位来自下位面的天之至尊，在这无尽世界，演绎着令人向往的传奇，追求着那主宰之路。无尽火域，炎帝执掌，万火焚苍穹。武境之内，武祖之威，震慑乾坤。西天之殿，百战之 ///info/2083259 将夜 二次元 与天斗，其乐无穷。 ///info/1003892117 玄门败家子 亘古孤寂2 真命天子，寰宇称雄！他们有至尊老头当老师，神奇异宝随身行，古街捡漏变神兵……“然而这并没有什么卵用。”“外挂再好，一卡撂倒！真命再高，也怕钱烧！”楚天箫打开大败家系统，喃念道：“更何况，连这方大千世界 ///info/2048120 武动乾坤 天蚕土豆 修炼一途，乃窃阴阳，夺造化，转涅盘，握生死，掌轮回。武之极，破苍穹，动乾坤！……东方英雄传奇大剧《武动乾坤》8月7日登陆优酷视频和东方卫视周播剧场。由张黎执导，杨洋、张天爱、吴尊、王丽坤领衔主演。 ///info/1005015123 异世之召唤文臣猛将 猫腻 新纪元来临，天地异变。地星本土动植物疯狂变异、返祖，异界物种沦落地星，最终新纪元人类诞生一种全新的职业御使。收服怪物，培养怪物，训练怪物，这就是御使。新书《神宠进化》已发布~ ///info/1005031521 星武通神 逆运 玉河星系，物种亿万。有飘浮在虚空可以吞噬战舰的植物，也有大如山脉横渡星河的巨兽。有无边无尽湮灭一切的虫族，也有背生双翅可爱无害的精灵。人类从蓝星走出，建立联邦，依靠古武推广提升身体素质，适应星际环境， ///info/1223147 间客 天蚕土豆 世界上有两件东西能够深深地震撼人们的心灵，一件是我们心中崇高的道德准则，另一件是我们头顶上灿烂的星空——康德当许乐从这行字上收回目光，第一次真正看到尘埃后方那繁若芝麻的群星时，并没有被震撼，相反他怒了 ///info/2470949 武极天下 酒池醉 一个梦想进入武府圣地的普通少年，立志追求极致武学。然而面对竞争激烈的考核，又有世家子弟的借势压人，小小平凡少年如何立足？宗门传承严格保密，核心功法概不外传，在功法传承如此难得天衍大陆，即便进了武府和宗 ///info/3458639 人道至尊 蒜书 自盘古开天，三皇治世，五帝定伦，世界之间，人为天地灵长……此时正值三皇中的人皇末期，五帝未定，人族也不是天地灵长。这里是莽苍荒蛮的时代，妖神、邪神、天神，诸神林立，妖魔、邪魔、天魔，群魔乱舞；万族并存 ///info/63856 神墓 猫腻 一个死去万载岁月的平凡青年从远古神墓中复活而出…… ///info/2407162 武神空间 蚕茧里的牛 叶希文本只是地球上一个普通的大学生，却意外穿越到了一个名为真武界的世界！在这个世界中，强大的武者能翻山倒海，毁天灭地！本是资质平凡的他，因为得到了一个神秘的特殊空间！任何的武学都可以在神秘空间中推演，
