第七星尘

PHP使用swoole来实现实时异步任务队列

关于异步任务队列

用户打开了我们的网站。他要做的就是勾选需要发邮件的代理商列表,然后把结算邮件发出去。
假如我们需要发1封邮件,我们写个函数执行即可。考虑到网络可能会稍微有点延迟,但是是可以接受的,用户会乖乖等你的网页发完邮件了再关闭网页。
假如我们要发布10封邮件,用一个for循环,循环10遍执行发邮件操作。这时候,也许10倍的网络延迟会让用户稍微有点不耐烦,但勉强可以等吧。
假如要发100封邮件,for循环100遍,用户直接揭竿而起,什么破网站!
但实际上,我们很可能有超过1万的邮件。怎么处理这个延迟的问题?
答案就是用异步。把“发邮件”这个操作封装,然后后台异步地执行1万遍。这样的话,用户提交网页后,他所等待的时间只是“把发邮件任务请求推送进队列里”的时间。而我们的后台服务将在用户看不见的地方跑。
在实现“异步队列”这点上,有人采用mysql表或者redis来存放待发送的邮件,然后,每分钟定时读取待发送列表,然后处理。这便是定时异步任务队列。但当前提交的任务要一分钟后才能执行,在某些实时性要求应用场景里还是不快。有些场景要求,只有一提交任务,便马上执行,但用户不需要等待返回结果。
在云平台SAE和BAE上,都有taskqueue服务来解决上面的问题。而如果是自己假设服务器,则如何解决?本文将探讨用php扩展swoole实现实时异步任务队列的方案。

安装swoole

pecl 安装:
pecl install swoole

看命令行提示,如果它提示说没有写php.ini,则自己手动在PHP.ini后面加上:
extension = "swoole.so"

服务端

在打算放置脚本的目录(你也可以自行新建)新建Server.php,代码如下:


<?php class Server { private $serv; public function __construct() { $this->serv = new swoole_server("0.0.0.0", 9501); $this->serv->set(array( 'worker_num' => 1, //一般设置为服务器CPU数的1-4倍 'daemonize' => 1, //以守护进程执行 'max_request' => 10000, 'dispatch_mode' => 2, 'task_worker_num' => 8, //task进程的数量 "task_ipc_mode " => 3 , //使用消息队列通信,并设置为争抢模式 //"log_file" => "log/taskqueueu.log" ,//日志 )); $this->serv->on('Receive', array($this, 'onReceive')); // bind callback $this->serv->on('Task', array($this, 'onTask')); $this->serv->on('Finish', array($this, 'onFinish')); $this->serv->start(); } public function onReceive( swoole_server $serv, $fd, $from_id, $data ) { //echo "Get Message From Client {$fd}:{$data}n"; // send a task to task worker. $serv->task( $data ); } public function onTask($serv,$task_id,$from_id, $data) { $array = json_decode( $data , true ); if ($array['url']) { return $this->httpGet( $array['url'] , $array['param'] ); } } public function onFinish($serv,$task_id, $data) { //echo "Task {$task_id} finishn"; //echo "Result: {$data}n"; } protected function httpGet($url,$data){ if ($data) { $url .='?'.http_build_query($data) ; } $curlObj = curl_init(); //初始化curl, curl_setopt($curlObj, CURLOPT_URL, $url); //设置网址 curl_setopt($curlObj, CURLOPT_RETURNTRANSFER, 1); //将curl_exec的结果返回 curl_setopt($curlObj, CURLOPT_SSL_VERIFYPEER, FALSE); curl_setopt($curlObj, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt($curlObj, CURLOPT_HEADER, 0); //是否输出返回头信息 $response = curl_exec($curlObj); //执行 curl_close($curlObj); //关闭会话 return $response; } } $server = new Server();

由于服务端是异步、常驻内存的,因此必须通过命令行来启动。在命令行执行以上代码以启动服务
php Server.php
执行完毕后关闭命令行窗口即可。服务会在后台以守护进程运行

客户端

启动服务后,让我们看看如何调用服务。新建测试文件Client_test.php
代码如下:


<?php class Client { private $client; public function __construct() { $this->client = new swoole_client(SWOOLE_SOCK_TCP); } public function connect() { if( !$this->client->connect("127.0.0.1", 9501 , 1) ) { echo "Connect Error"; } $data = array( "url" => "http://192.168.10.19/send_mail" , "param" => array( "username"=>'test', "password" => 'test' ) ); $json_data = json_encode($data); $this->client->send( $json_data ); } } $client = new Client(); $client->connect();

在上面代码中,url即为任务所在地址,param为所需传递参数。
保存好代码,在命令行或者浏览器中执行Client_test.php,便实现了异步任务队列。你所填写的URL,将会在每次异步任务被提交后,以HTTP GET的方式异步执行。

查看与关闭

swoole好像没有很便捷的关闭方式。所以只能直接通过关闭进程来关闭。
查看命令:
ps -ef | grep php
结束单个进程:
kill -9 {进程号}
结束所有进程的命令:
killall -9 php

后期追加:

本人使用node 写了一个任务队列的开源项目HTQ。任务队列建议使用它 http://blog.star7th.com/2016/09/2114.html

分享到: 更多
码字很辛苦,转载请注明来自第七星尘的技术博客《PHP使用swoole来实现实时异步任务队列》

评论

  1. StringKE #1

    这里的curl是阻塞的么?

    回复
    2018-05-31
  2. 陈鹏 #2

    请问,我将这个队列用于抢红包,是不是也要客户端同步返回,如何返回服务端异步结果呢?貌似思路有问题,swoole_client->recv 我看见这个没有返回结果。

    回复
    2017-10-16
    • 第七星尘

      抢到的红包的结果写在数据库,另外写个接口给客户端定时查询数据更新了没

      回复
      2017-10-16
      • 陈鹏

        嗯嗯,目前是这样,但是我发现个问题,不知道什么原因,配置是常驻,但是隔了一天左右就不能用了,需要杀掉进程,然后重新启动才能正常,请问知道什么问题吗?

        回复
        2017-11-7
        • 第七星尘

          看一下是不是什么堵塞导致内存泡满了

          回复
          2017-11-7
  3. PHPer #3

    https://wiki.swoole.com/wiki/page/p-client.html
    这个链接上的介绍,好像这个客户端的链接方式是同步阻塞的,求教.

    回复
    2017-04-13
    • 第七星尘

      客户端是同步的。然后,你的问题是什么?

      回复
      2017-04-13
      • PHPer

        服务端是 异步任务队列 好像没什么影响.

        回复
        2017-04-14
  4. 小余 #4

    楼主在吗,问你一个问题 ,’task_worker_num’ => 8, //task进程的数量 这歌数量配置的是8,意思就是说默认开8个进程来处理是吧,但是我可能同一时间大概有100个异步任务来做,swoole内部是如何实现的,是每个进程里面开100个线程来处理吗

    回复
    2017-04-10
    • 第七星尘

      我也不清楚,没有去了解太底层的机制呢。我猜应该是这8个进程轮流执行这100个任务。哪个进程先执行完毕,新任务就进入哪个进程

      回复
      2017-04-13
    • 张大帅

      那也是异步的。只是执行的慢task少

      回复
      2017-06-6
  5. 刘欣 #5

    这个是max_request怎么理解。在https://wiki.swoole.com/wiki/page/300.html看文件说 纯异步的Server不应当设置max_request 这个server端是异步 但是client是同步阻塞。这个情况还需要设置max_request 吗

    回复
    2017-02-8
    • 第七星尘

      保守点的话设置吧。如果为了支持更多请求数,其实是可以改max_request的。至于设置为多少合适,得自己看自己服务器内存。我也没有认真去探讨不同内存下此值的推荐值

      回复
      2017-02-8
  6. 霭霭 #6

    你好 ,请问假设 我服务端不是发送邮件,我想做异步去读取一个 api接口,然后把接口的数据返回到 客户端 请问怎么做?

    回复
    2017-01-20
    • 第七星尘

      服务器要拥有向客户端发送数据的能力,可以客户端轮询。如果要实时,就是即时通讯的范围了。

      回复
      2017-01-20
  7. 眷海存枫 #7

    你好 怎么联系你呀,有东西要请教你

    回复
    2017-01-13
    • 第七星尘

      在这里问或者联系我邮箱,博客左边的关于页面有

      回复
      2017-01-13
  8. dada #8

    客户端如果是浏览器应该是不行的吧,cli模式就可以

    回复
    2016-05-16
    • 第七星尘

      客户端可以是浏览器。不知道你哪里配置可能不对。它是可以执行的。建议你想办法打印下日志来看。有个人出现浏览器不行是因为php版本问题

      回复
      2016-05-17
      • dada

        不行呢,,我复制你的代码,启动了server,浏览器访问192.168.1.23/swoole/client.php,浏览器直接返回ERR_EMPTY_RESPONSE..你是怎么访问的?

        回复
        2016-05-17
      • dada

        博主,你swoole是版本几的?

        回复
        2016-05-17
        • 第七星尘

          我是浏览器正常访问的。我估计你环境没装好。版本是1.7.22

          回复
          2016-05-18
  9. 不完整的心跳 #9

    楼主,client.php应该是不能再浏览器端进行触发的吧?我今天试过了,不能浏览器http触发,只能cli模式运行!

    回复
    2016-05-5
    • 第七星尘

      不知道你哪里配置可能不对。它是可以执行的。建议你想办法打印下日志来看

      回复
      2016-05-5
      • 不完整的心跳

        Fatal error: Uncaught Error: Class ‘swoole_client’ not found in /data/www/client.php:7 Stack trace: #0 /data/www/client.php(26): Client->__construct() #1 {main} thrown in /data/www/client.php on line 7 是报这个错误,弄了一个下午,就是整不对

        回复
        2016-05-5
        • 第七星尘

          出现这个错误证明你的php没加载上swoole。据我所知,命令行和网页执行所加载的php.ini是不同的。你新建phpinfo.php,然后在浏览器中打开并查看php.ini在哪,然后加载swoole插件

          回复
          2016-05-5
          • 不完整的心跳

            昨晚已经知道问题出在什么地方了,因为我是编译的PHP7,重新编译一次对应好配置文件就行了,已经解决了!!感谢!!

            2016-05-6
  10. 第七星尘 #10

    你的评论进垃圾评论堆里了,一直没看到。今天翻看了才发现。如果对性能要求高,要求减少一切延迟、启动关闭开销,那么写在task里面好。如果要求没那么高,那不如解耦来得更灵活方便。用GET的方式去触发脚本,比较灵活。

    回复
    2016-04-5
  11. 雪宝儿Mm_73690 #11

    怎么查看我的URL请求是否被执行?

    回复
    2016-03-29
    • 第七星尘

      你可以在sever.php里增加相应的打日志功能以观察

      回复
      2016-03-29
  12. hua #12

    博主你好,你的博客坚持更新好多年实在难得。我觉得整个系统需要依赖其它的消息队列服务

    回复
    2016-03-23
    • 第七星尘

      看使用场景吧,不同业务需求有不同解决方案。像上面的,用来做任务队列是个不错的选择方案

      回复
      2016-03-24
  13. weijer #13

    客户端浏览器运行不行

    回复
    2016-02-22
    • 第七星尘

      由于服务端是异步、常驻内存的,因此必须通过命令行来启动。浏览器执行不行的

      回复
      2016-02-23
      • weijer

        不是服务端,是客户端

        回复
        2016-02-23
        • 第七星尘

          客户端是可以的

          回复
          2016-02-24
          • weijer

            估计是我环境没编译好,你用的也是apache么

            2016-02-24
          • 第七星尘

            是apache;我在上面写的Server.php有些注释你可以打开,这样可以看到错误。如果看不到可能你还没安装好swoole

            2016-02-24
  14. 小白 #14

    博客左边的那个菜单是怎么实现的

    回复
    2016-01-31
    • 第七星尘

      我用的是这个博客主题http://www.im050.com/posts/180

      回复
      2016-02-1