一.XML基本概念
1.XML是什么?
XML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXML 的设计宗旨是传输数据，而非显示数据XML 标签没有被预定义。您需要自行定义标签。XML 被设计为具有自我描述性。XML 是 W3C 的推荐标准2.XML 与 HTML 的主要差异
XML 不是 HTML 的替代。XML 和 HTML 为不同的目的而设计：XML 被设计为传输和存储数据，其焦点是数据的内容。HTML 被设计用来显示数据，其焦点是数据的外观。HTML 旨在显示信息，而 XML 旨在传输信息内容参考：/xml/index.asp
二.XPthon基本概念
1.XPath是什么？
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。
XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath 是一个 W3C 标准
2.XPath节点
在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。
我主要学习前三种：元素，属性，文本
3.节点关系
父（Parent）每个元素以及属性都有一个父。
子（Children）
元素节点可有零个、一个或多个子。
同胞（Sibling）
拥有相同的父的节点
先辈（Ancestor）
某节点的父、父的父，等等。
后代（Descendant）
某个节点的子，子的子，等等。
4.选取节点
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。
下面列出了常用的路径表达式：
5.谓语（Predicates）
谓语用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号中。6.选取未知节点
XPath 通配符可用来选取未知的 XML 元素。内容参考：/xpath/xpath_syntax.asp
三.安装谷歌浏览器插件
网盘地址：链接：/s/1hGgbvfdTeZfR0oBn3p_2QA
提取码：kw68
1).在chrome右上角找到选项–》更多工具–》扩展程序。把crx文件拖拽，即可安装， 如果安装成功右上角都会有一个小叉叉。
2).如果安装失败，则打开开发者模式，再次拖拽安装。
3）.如果2）也失败，请将crx文件后缀修改为rar解压，点击开发者模式的 加载已解压的扩展程序，选择解压后的文件夹，点击确定
如果安装成功右上角都会有一个小叉叉
点击小叉叉会有黑框出现
测试：
查询前后对比：
四.XPath的简单使用
1.属性定位
1.1匹配搜索的文本框：//input[@id="kw"]
1.2匹配‘“百度一下”，要把属性值写全：//input[@class="btn self-btn bg s_btn"]
2.层级定位和索引定位结合使用（索引从1开始）
1.1匹配‘百度首页’：
先匹配：//div[@id="head"]节点
再匹配第五个div标签：//div[@id="head"]/div[5]
再匹配上一个标签下的第二div标签：//div[@id="head"]/div[5]/div[2]
最后匹配上一个标签下的第第一个a标签：//div[@id="head"]/div[5]/div[2]/a[1]
还有很多种表示方法，这里就不一一列举了。
3.逻辑运算
1.1 找出图中的文本框(如果一个条件不足以找出则可以用and再连接一个条件)：input[@class="s_ipt" and @name="wd"]
4.模糊匹配
1.1contains函数
~~~~(1)匹配图中的文本框：//input[contains(@class,"s")]所有的input，有class属性，并且属性中带有s的节点
~~~~1.2starts-with函数
~~~~匹配图中的文本框：//input[starts-with(@class,"s")]所有的input，有class属性，并且属性以s开头
5.取文本（text()）
~~~~1.1匹配文中“贴吧”两个字：//div[@id="u_sp"]/a[6]/text()
1.2匹配div中id=“u_sp”标签中a所有文本：//div[@id="u_sp"]/a//text()
6.取属性
~~~~匹配图中a标签的href属性：//div[@id="u_sp"]/a[6]/@href
五.两种使用方法
1.将html文档变成一个对象，然后调用对象的方法去查找指定的节点
（1）本地文件
tree = etree.parse(文件名)
测试1：找出“清明时节雨纷纷，路上行人欲断魂。”
html文件：
<!DOCTYPE html><html lang="en"><head><meta charset="UTF-8" /> # 要加/<title>xpath测试</title></head><body><div class="chi">零食<b>大白兔奶糖</b><b>德芙巧克力</b><b>可比克薯片</b>面包</div><div class="tang"><ul><li class="hun">清明时节雨纷纷，路上行人欲断魂。</li><li id="shuang">床前明月光，疑是地上霜。</li><li class="hun" name="lala">清时明月汉时关，万里长征人未还。</li><li id="jun">正是江南好风景，落花时节又逢君。</li><li><a href="/">百度一下</a></li></ul><ol><li class="hello">寻寻觅觅，冷冷清清，凄凄惨惨戚戚</li><li class="hily">葡萄美酒夜光杯，欲饮琵琶马上催</li><li class="home">君不见黄河之水天上来，奔流到海不复回</li><li>杨家有女初长成，养在深闺人未识</li><li>小时不识月，呼作白玉盘</li><li>春蚕到死丝方尽，蜡炬成灰泪始干</li></ol></div></body></html>
python文件：
方法一：
from lxml import etree# 生成对象tree = etree.parse("xpath.html")# print(tree)ret = tree.xpath('//div[@class="tang"]/ul/li[1]')print(ret[0].text)
方法二：
from lxml import etree# 生成对象tree = etree.parse("xpath.html")# print(tree)ret = tree.xpath('//div[@class="tang"]/ul/li[1]/text()')print(ret)
测试2：找出"百度一下"的href属性
from lxml import etree# 生成对象tree = etree.parse("xpath.html")# print(tree)ret = tree.xpath('//div[@class="tang"]/ul/li[last()]/a/@href')print(ret)
测试3：找出所有class=“hun”的所有节点
from lxml import etree# 生成对象tree = etree.parse("xpath.html")# print(tree)ret = tree.xpath('//div[@class="tang"]/ul/li[@class="hun"]')print(ret)
测试4：找出所有class=“hun”和name=“lala”的节点
from lxml import etree# 生成对象tree = etree.parse("xpath.html")# print(tree)ret = tree.xpath('//div[@class="tang"]/ul/li[@class="hun" and @name="lala"]')print(ret)
测试5：找出li标签下所有class中带有h的节点
from lxml import etree# 生成对象tree = etree.parse("xpath.html")# print(tree)ret = tree.xpath('//li[contains(@class,"h")]')print(ret)
（2）网络文件
tree = etree.HTML(网页字符串)ret = tree.xpath(路径表达式) # ret是一个列表
![[python 爬虫]Python爬虫抓取马蜂窝游记的照片 基于xpath](https://100zi.50zi.cn/uploadfile/img/15/331/edfffd4f5524557cf58de0402832d847.jpg)
