这篇文章主要介绍了python爬虫框架Scrapy怎么安装使用的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇python爬虫框架Scrapy怎么安装使用文章都会有所收获，下面我们一起来看看吧。

建网站原本是网站策划师、网络程序员、网页设计师等，应用各种网络程序开发技术和网页设计技术配合操作的协同工作。创新互联公司专业提供网站设计、网站制作,网页设计,网站制作(企业站、成都响应式网站建设公司、电商门户网站)等服务,从网站深度策划、搜索引擎友好度优化到用户体验的提升,我们力求做到极致!

1.Scrapy框架结构示意图

官方示意图：

自制示意图：

2.安装 Scrapy 框架

直接在命令行pip即可，此外还需要安装一个依赖库pypiwin32，也是直接pip即可

pip install scrapy
pip install pypiwin32

3.创建项目和爬虫

1. 创建项目：

scrapy startproject [爬虫项目名称]

2. 创建爬虫

注意：要先进入到项目所在的路径，再执行命令

scrapy genspider [爬虫名称] "[爬取的域名]"

4.操作示意图：

打开pycharm以后即可看到：

5.项目目录结构

目录名称	作用
items.py	用来存放爬虫爬取下来数据的模型
middlewares.py	用来存放各种中间件的文件
pipelines.py	用来将items的模型存储到本地磁盘
settings.py	本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）
scrapy.cfg	项目的配置文件
spiders包	以后所有的爬虫都存放在这个里面

关于“python爬虫框架Scrapy怎么安装使用”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“python爬虫框架Scrapy怎么安装使用”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注创新互联行业资讯频道。

本文标题：python爬虫框架Scrapy怎么安装使用
本文网址：http://azwzsj.com/article/iichoh.html