Python网络爬虫--scrapy的选择器Xpath

Xpath简介

创新互联,为您提供成都网站建设网站制作公司、网站营销推广、网站开发设计,对服务火锅店设计等多个行业拥有丰富的网站建设及推广经验。创新互联网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏心悦目的作品。 与客户共同发展进步,是我们永远的责任!

一般来说,使用id、name、class等属性就能对节点进行定位就能解决绝大部分解析需求,但有时候遇到以下情况,使用Xpath就更方便:

没有id、name、class等

标签的属性或者文本特征不显著

标签嵌套层次太复杂

Xpath是XMLPath的简介,基于XML树状结构,可以在整个树中寻找锁定目标节点。由于HTML文档本身就是一个标准的XML页面,因此我们可以使用XPath的语法来定位页面元素。

Xpath定位方法

一、Xpath路径

Python网络爬虫 -- scrapy的选择器Xpath

Xpath路径案例

定位节点

Python网络爬虫 -- scrapy的选择器Xpath

通配符*选择未知的节点

Python网络爬虫 -- scrapy的选择器Xpath

二、使用索引

如果筛选时元素时出现多个节点,但我们想确定唯一节点。可以使用类似于列表索引的方式精确定位。

案例

Python网络爬虫 -- scrapy的选择器Xpath

三、使用属性

为了让定位更精准,跟使用索引类似,我们要增加信息量,那么还可以使用属性。@符号是属性符

Python网络爬虫 -- scrapy的选择器Xpath

四、常用函数

除了索引、属性外,Xpath还可以使用便捷的函数来增强定位的准确性。下面试常用的几个函数:

Python网络爬虫 -- scrapy的选择器Xpath

应用推广

Python网络爬虫 -- scrapy的选择器Xpath

五、Xpath轴

这部分类似BeautifulSoup中的sibling、parents、children方法。

Python网络爬虫 -- scrapy的选择器Xpath


文章标题:Python网络爬虫--scrapy的选择器Xpath
本文来源:http://azwzsj.com/article/pgedeh.html