利用Python爬虫获取百度贴吧内容-创新互联
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
创新互联是一家专业的成都网站建设公司,我们专注网站制作、成都网站建设、网络营销、企业网站建设,外链,1元广告为企业客户提供一站式建站解决方案,能带给客户新的互联网理念。从网站结构的规划UI设计到用户体验提高,创新互联力求做到尽善尽美。这期内容当中小编将会给大家带来有关利用Python爬虫获取百度贴吧内容,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
Python版本 : 3.6
浏览器版本: Chrome
目标分析:
由于是第一个实验性质爬虫,我们要做的不多,我们需要做的就是:
1、从网上爬下特定页码的网页
2、对于爬下的页面内容进行简单的筛选分析
3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接
4、将结果保存到文本。
前期准备:
看到贴吧的url地址是不是觉得很乱?有那一大串认不得的字符?
其实这些都是中文字符,
%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C
开始写代码吧?
我们先写出抓取页面内人的函数:
这是前面介绍过的爬取框架,以后我们会经常用到。
import requests from bs4 import BeautifulSoup # 首先我们写好抓取网页的函数 def get_html(url): try: r = requests.get(url,timeout=30) r.raise_for_status() #这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用: # r.endcodding = r.apparent_endconding r.encoding='utf-8' return r.text except: return " ERROR "
接着我们摘取其中的详细信息:
我们来分一下每一个li标签内部的结构:
一个大的li标签内包裹着很多个 div标签
而我们要的信息就在这一个个div标签之内:
# 标题&帖子链接 【高淸】西部世界1-2季,中英字,未??删?减.??任性给 #发帖人: #回复数量:822#发帖日期: 7-20
分析完之后,我们就能很容易的通过soup.find()方法得到我们想要的结果
具体代码的实现:
''' 抓取百度贴吧---西部世界吧的基本内容 爬虫线路: requests - bs4 Python版本: 3.6 ''' import requests import time from bs4 import BeautifulSoup # 首先我们写好抓取网页的函数 def get_html(url): try: r = requests.get(url, timeout=30) r.raise_for_status() # 这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用: # r.endcodding = r.apparent_endconding r.encoding = 'utf-8' return r.text except: return " ERROR " def get_content(url): ''' 分析贴吧的网页文件,整理信息,保存在列表变量中 ''' # 初始化一个列表来保存所有的帖子信息: comments = [] # 首先,我们把需要爬取信息的网页下载到本地 html = get_html(url) # 我们来做一锅汤 soup = BeautifulSoup(html, 'lxml') # 按照之前的分析,我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。 liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'}) # 通过循环找到每个帖子里的我们需要的信息: for li in liTags: # 初始化一个字典来存储文章信息 comment = {} # 这里使用一个try except 防止爬虫找不到信息从而停止运行 try: # 开始筛选信息,并保存到字典中 comment['title'] = li.find( 'a', attrs={'class': 'j_th_tit '}).text.strip() comment['link'] = "http://tieba.baidu.com/" + \ li.find('a', attrs={'class': 'j_th_tit '})['href'] comment['name'] = li.find( 'span', attrs={'class': 'tb_icon_author '}).text.strip() comment['time'] = li.find( 'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip() comment['replyNum'] = li.find( 'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip() comments.append(comment) except: print('出了点小问题') return comments def Out2File(dict): ''' 将爬取到的文件写入到本地 保存到当前目录的 TTBT.txt文件中。 ''' with open('TTBT.txt', 'a+') as f: for comment in dict: f.write('标题: {} \t 链接:{} \t 发帖人:{} \t 发帖时间:{} \t 回复数量: {} \n'.format( comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum'])) print('当前页面爬取完成') def main(base_url, deep): url_list = [] # 将所有需要爬去的url存入列表 for i in range(0, deep): url_list.append(base_url + '&pn=' + str(50 * i)) print('所有的网页已经下载到本地! 开始筛选信息。。。。') #循环写入所有的数据 for url in url_list: content = get_content(url) Out2File(content) print('所有的信息都已经保存完毕!') base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8' # 设置需要爬取的页码数量 deep = 3 if __name__ == '__main__': main(base_url, deep)
代码里有详细的注释和思路,看不懂的话 多看几遍
下面是爬完的结果:
上述就是小编为大家分享的利用Python爬虫获取百度贴吧内容了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联-成都网站建设公司行业资讯频道。
分享名称:利用Python爬虫获取百度贴吧内容-创新互联
分享URL:http://azwzsj.com/article/iophj.html