python的爬虫框架有哪些？

1.Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中

网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、成都小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了布尔津免费建站欢迎大家使用！

2.pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

3.Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等

4.Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。

还有很多，比如Newspaper，Grab，Cola等等

爬虫框架学习可以看一下黑马程序员视频库的学习视频，免费学习哦！很高兴能为你提供帮助

[Django] celery的替代品 funboost

Django开发web应用的过程中，一个老大难问题是异步调度问题。例如用户传来一个非常耗时的请求，这时候最好的处理方式是先把这个操作请求记录下来，先响应请求，等后面有空的时候再去计算，而不是让用户干等着着急。

这种优化方式就是典型的生产者+消息队列+消费者设计模式，而Django框架本身并没有直接提供该设计模式的实现，大多教程都是利用第三方组件celery+redis来实现这个调度。

遗憾的是celery和redis官方都不支持windows，而我习惯的开发环境还是win10，所以需要找一个替代品。经过调研，发现了一个很好的【python分布式函数调度框架——funboost】. 它的优点很多，对Django开发来说，最大的亮点是完全无需启动第三方服务，即可实现生产消费设计模式。一个 pip install funboost 即可干活，开箱即用。它可以使用SQLite文件来做消息队列，足以应对小型应用开发。当然也可以使用Kafka这种高级的消息中间件，实现高可用。

要说缺点吧，这个组件的日志打印太啰嗦，而且没有提供关闭选项，控制台已被它刷屏。

python轻量框架--Flask(入门教程）

1.建立： F:\Python\flask文件夹路径

2.安装virtualenv,在此路径下打开命令行窗口输入：

3.新建一个目录，并在里边创建virtualenv环境，在DOS下

如图：

这时你创建的myproject文件夹里面就多了一个venv文件夹：

4.激活虚拟环境

现在命令行前面多了个(venv)表示你在venv环境内

5.在virtualenv里安装Flask

完成。如图：

6.验证是否安装，你可以进入 Python 解释器，尝试导入 Flask：

如果没有报错，那么就安装成功了~如图：

1.在myproject文件夹下打开命令行：

cd app #进入app文件夹

mkdir static

mkdir templates

我们的应用程序包是放置于 app 文件夹中。子文件夹 static 是我们存放静态文件像图片，JS文件以及样式文件。子文件夹 templates 显然是存放模板文件。

2.为我们的 app 包(文件 app/ init .py )创建一个简单的初始化脚本:

上面的脚本简单地创建应用对象，接着导入视图模块，该模块我们暂未编写。

视图是响应来自网页浏览器的请求的处理器。在 Flask 中，视图是编写成 Python 函数。每一个视图函数是映射到一个或多个请求的 URL。

3.让我们编写第一个视图函数(文件 app/views.py ):

其实这个视图是非常简单，它只是返回一个字符串，在客户端的网页浏览器上显示。两个 route 装饰器创建了从网址 / 以及 /index 到这个函数的映射。

4.能够完整工作的 Web 应用程序的最后一步是创建一个脚本，启动我们的应用程序的开发 Web 服务器。让我们称这个脚本为 run.py，并把它置于根目录:

这个脚本简单地从我们的 app 包中导入 app 变量并且调用它的 run 方法来启动服务器。请记住 app 变量中含有我们在之前创建的 Flask 实例。

5.要启动应用程序，您只需运行此脚本（run.py）

如图：

6.在服务器初始化后，它将会监听 5000 端口等待着连接。现在打开你的网页浏览器输入如下 URL:

另外你也可以使用这个 URL:

你看清楚了路由映射是如何工作的吗？第一个 URL 映射到 /，而第二个 URL 映射到 /index。这两个路由都关联到我们的视图函数，因此它们的作用是一样的。如果你输入其它的网址，你将会获得一个错误，因为只有这两个 URL 映射到视图函数。

你可以通过 Ctrl-C 来终止服务器

入门就到这里，比较简单的。

下一章：

python轻量框架--Flask(模板详细版）

当前名称：python函数调度框架 python调度脚本
当前URL：http://azwzsj.com/article/doigjoj.html