今天使用爬虫有些耗时较长，需要使用任务调度,Celery是Python开发的分布式任务调度模块，Celery本身不含消息服务，它使用第三方消息服务来传递任务，目前，Celery支持的消息服务有RabbitMQ、Redis甚至是数据库，当然Redis应该是最佳选择。
安装Celery
用pip管理工具安装Celery：
$ sudo pip install Celery
使用Redis作为Broker时，需要再安装一个celery-with-redis。
pip install celery-with-redis
开始编写tasks.py：
# -*- coding:utf8 -*-
import time
from celery import Celery
celery = Celery('tasks', broker='redis://localhost:6379/0')
# 如果有redis密码
# celery = Celery('tasks', broker='redis://:foobared@localhost:6379/0')
@celery.task
def sendmail(email):
print('sending mail to %s...' % email)
time.sleep(2.0)
print('mail sent.')
然后启动Celery处理任务：
$ celery -A tasks worker --loglevel=info
发布队列
>>> from tasks import sendmail
>>> sendmail.delay('test@')
可以看到，Celery的API设计真的非常简单。
然后，在Worker里就可以看到任务处理的消息：
[-08-27 19:20:23,363: WARNING/MainProcess] celery@MichaeliMac.local ready.
[-08-27 19:20:23,367: INFO/MainProcess] consumer: Connected to redis://localhost:6379/0.
[-08-27 19:20:45,618: INFO/MainProcess] Got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b]
[-08-27 19:20:45,655: WARNING/PoolWorker-4] sending mail to celery@...
[-08-27 19:20:47,657: WARNING/PoolWorker-4] mail sent.
[-08-27 19:20:47,658: INFO/MainProcess] Task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: None
Celery默认设置就能满足基本要求。Worker以Pool模式启动，默认大小为CPU核心数量，缺省序列化机制是pickle，但可以指定为json。由于Python调用UNIX/Linux程序实在太容易，所以，用Celery作为异步任务框架非常合适。
常见问题
Celery不能跨文件调用，会出现The message has been ignored and discarded.，这个可以使用如下方法使用
celery -A file.tasks worker --loglevel=info
原创文章，转载请注明 ：Python使用Celery分布式异步队列/任务调度(基于Redis) - pytorch中文网
原文出处： /news/162.html
问题交流群 ：168117787
