python爬虫时提取数据后跟踪到下一个链接报错怎么办
小编给大家分享一下python爬虫时提取数据后跟踪到下一个链接报错怎么办,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
成都创新互联,为您提供网站建设、网站制作公司、网站营销推广、网站开发设计,对服务OPP胶袋等多个行业拥有丰富的网站建设及推广经验。成都创新互联网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏心悦目的作品。 与客户共同发展进步,是我们永远的责任!
解决方法:不要将“NoneType”连接到 str。这意味着该next_page变量没有从response.xpath().get()上一行函数中提到的 xpath 中获取任何值。没有匹配的 xpath,因此get()返回None。
示例:
正在尝试制作一个爬虫,它可以从 SCP wiki 中获取信息并跟踪下一个 SCP 的链接并继续像这样。使用当前的代码,从第一个跟踪链接中提取数据后,爬虫停止跟踪到下一个链接。
import scrapyclass QuotesSpider(scrapy.Spider): name = "scp" start_urls = [ 'https://scp-wiki.wikidot.com/scp-002', ] def parse(self, response): for scp in response.xpath('//*[@id="main-content"]'): yield { 'title': scp.xpath('//*[@id="page-content"]/p[1]').get(), 'tags': scp.xpath('//*[@id="main-content"]/div[4]').get(), 'class': scp.xpath('//*[@id="page-content"]/p[2]').get(), 'scp': scp.xpath('//*[@id="page-content"]/p[3]').get(), 'desc': scp.xpath('//*[@id="page-content"]/p[6]').get(), } next_page = response.xpath('//*[@id="page-content"]/div[3]/div/p/a[2]/@href').get() next_page = 'https://scp-wiki.wikidot.com'+next_page print(next_page) next_page = response.urljoin(next_page) print(next_page) yield response.follow(next_page, callback=self.parse)
当我运行这个代码时,收到了以下错误:
next_page = ' TypeError: can only concatenate str (not "NoneType") to str
当出现以上错误时,可以使用本文开头提到的解决方法进行处理。
以上是“python爬虫时提取数据后跟踪到下一个链接报错怎么办”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
分享文章:python爬虫时提取数据后跟踪到下一个链接报错怎么办
文章网址:http://azwzsj.com/article/ppcpis.html