基于HTTP协议的轻量级开源简单队列服务：HTTPSQS

[文章作者：张宴 本文版本：v1.0 最后修改：2009.12.30 转载请注明原文链接：http://blog.s135.com/httpsqs/
]

　　HTTPSQS（HTTP Simple
Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree
Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/

　　使用环境：Linux（推荐使用x86_64环境）

　　软件作者：张宴

　　队列（Queue）又称先进先出表（First
In First
Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　1、HTTPSQS
具有以下特征：

　　● 非常简单，基于 HTTP GET/POST
协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。

　　●
非常快速，入队列、出队列速度超过10000次/秒。

　　● 高并发，支持上万的并发连接，C10K
不成问题。

　　●
支持多队列。

　　● 单个队列支持的最大队列数量高达10亿条。

　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。

　　●
可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。

　　●
可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。

　　● 查看队列内容时，支持多字符集编码。

　　●
源代码不超过700行，适合二次开发。

　　


　　2、HTTPSQS 压力测试：

　　采用Apache
ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:

　　使用HTTP Keep-Alive时：15446
requests/sec

　　关闭HTTP Keep-Alive时：10515 requests/sec

　　采用Apache
ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:

　　使用HTTP Keep-Alive时：16817
requests/sec

　　关闭HTTP Keep-Alive时：10823 requests/sec

　　详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生产环境应用：金山逍遥网
新闻、视频、论坛“搜索引擎索引更新”队列，既有来自Web服务器的入队列操作，也有来自命令行脚本的批量入、出队列操作，2009-12-18上线至今，运行稳定。

　　3、HTTPSQS 编译安装：

ulimit
-SHn 65535

wget http://httpsqs.googlecode.com/files/libevent-1.4.13-stable.tar.gz

tar zxvf libevent-1.4.13-stable.tar.gz

cd libevent-1.4.13-stable/

./configure --prefix=/usr

make

make install

cd ../

wget
http://httpsqs.googlecode.com/files/tokyocabinet-1.4.41.tar.gz

tar zxvf tokyocabinet-1.4.41.tar.gz

cd tokyocabinet-1.4.41/

./configure

make

make install

cd ../

/sbin/ldconfig

wget http://httpsqs.googlecode.com/files/httpsqs-1.1.tar.gz

tar
zxvf httpsqs-1.1.tar.gz

cd httpsqs-1.1/

make

make install

cd
../

　　4、HTTPSQS 服务器使用文档：

　　


　　[root@xoyo ~]# httpsqs -h

-l
<ip_addr> 监听的IP地址，默认值为 0.0.0.0

-p <num> 监听的TCP端口（默认值：1218）

-x
<path> 数据库目录，目录不存在会自动创建（例如：/opt/httpsqs/data）

-t <second>
HTTP请求的超时时间（默认值：1）

-d 以守护进程运行

-h 显示这个帮助

　　示例：

ulimit
-SHn 65535

httpsqs -d -p 1218 -x
/data0/search/queue

　　请使用命令“killall httpsqs”、“pkill httpsqs”和“kill
httpsqs的进程ID”来停止httpsqs。

　　注意：请不要使用命令“pkill
-9 httpsqs”和“kill
-9 httpsqs的进程ID”来结束httpsqs，否则，内存中尚未保存到磁盘的数据将会丢失。

　　5、HTTPSQS
客户端使用文档：

　　(1)、入队列（将文本消息放入队列）：

　　HTTP
GET 协议（以curl命令为例）：

curl
"http://host:port/?name=your_queue_name&opt=put&data=经过URL编码的文本消息"

　　HTTP
POST 协议（以curl命令为例）：

curl
-d "经过URL编码的文本消息"
"http://host:port/?name=your_queue_name&opt=put"

　　以浏览器为例：

　　


　　如果入队列成功，返回：

HTTPSQS_PUT_OK

　　如果入队列失败，返回：

HTTPSQS_PUT_ERROR

　　(2)、出队列（从队列中取出文本消息）：

　　HTTP GET 协议（以curl命令为例）：

curl
"http://host:port/?charset=utf-8&name=your_queue_name&opt=get"

curl
"http://host:port/?charset=gb2312&name=your_queue_name&opt=get"

　　以浏览器为例：

　　


　　返回消息队列的内容给客户端。如果没有未取出的消息队列，则返回：

HTTPSQS_GET_END

　　参数charset说明（例如：/?charset=utf-8）：

　　指定HTTP输出Header头的字符编码，即：

　　Content-Type:
text/plain; charset=utf-8

　　任何在IANA注册的字符编码
均可使用，但是，并不是所有的浏览器都能解析全部的字符编码。对于中文，常用的字符编码有：utf-8、gb2312、gbk、gb18030、big5等。

　　(3)、查看队列状态：

　　HTTP GET 协议（以curl命令为例）：

curl
"http://host:port/?name=your_queue_name&opt=status"

　　返回（示例）：

HTTP
Simple Queue Service v1.0

------------------------------

Queue Name:
xoyo

Maximum number of queues: 1000000

Put position of queue (1st lap):
45

Get position of queue (1st lap): 6

Number of unread queue:
39

　　如果“队列写入点值”大于“最大队列数量值”，将重置“队列写入点”为1，即又从1开始存储新的队列内容，覆盖原来队列位置点的内容：

HTTP
Simple Queue Service v1.0

------------------------------

Queue Name:
xoyo

Maximum number of queues: 1000000

Put position of queue (2st lap):
4562

Get position of queue (1st lap): 900045

Number of unread queue:
104517

　　以浏览器为例：

　　


　　(4)、查看指定队列位置点的内容：

　　根一般的队列系统不同的是，HTTPSQS
可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。可以方便地观测进入队列的内容是否正确。

　　另外，假设有一个发送手机短信的队列，由客户端守护进程从队列中取出信息，并调用“短信网关接口”发送短信。但是，如果某段时间“短信网关接口”有故障，而这段时间队列位置点300~900的信息已经出队列，但是发送短信失败，我们还可以在位置点300~900被覆盖前，查看到这些位置点的内容，作相应的处理。

　　HTTP
GET 协议（以curl命令为例）：

curl
"http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5"

curl
"http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19"

　　pos
>=1 并且 <= 1000000000

　　返回指定队列位置点的内容。

　　(5)、重置指定队列：

　　HTTP GET 协议（以curl命令为例）：

curl
"http://host:port/?name=your_queue_name&opt=reset"

　　如果重置成功，返回：

HTTPSQS_RESET_OK

　　如果重置失败，返回：

HTTPSQS_RESET_ERROR

　　(6)、更改指定队列的最大队列数量：

　　默认的最大队列长度（100万条）：1000000

　　HTTP
GET 协议（以curl命令为例）：

curl
"http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000"

　　num
>=10 并且 <= 1000000000

　　如果更改最大队列数量成功，则返回：

HTTPSQS_MAXQUEUE_OK

　　更改的最大队列数量必须大于当前的“队列写入点”。另外，当“队列写入点”小于“队列读取点”时（即PUT位于圆环的第二圈，而GET位于圆环的第一圈时），本操作将被取消，然而返回给客户端以下信息：

HTTPSQS_MAXQUEUE_CANCEL

　　(7)、全局错误：

　　如果发送全局错误（即指令、参数错误等），将返回以下信息：

HTTPSQS_ERROR

　　6、客户端 PHP Class 说明文档：

　　Class
文件路径：httpsqs-1.1/client/php/httpsqs_client.php

　　查看 PHP Class 源代码：httpsqs_client.php

　　用法：

view plain
copy to clipboard
print
?

<?php

......

include_once
(
"httpsqs_client.php"
);

$httpsqs
=
new
httpsqs;

/* -----不使用Keep-Alive的短连接方式----- */

/*

1. 将文本信息放入一个队列

如果入队列成功，返回布尔值：true

如果如队列失败，返回布尔值：false

*/

$result
=
$httpsqs
->put(
$host
,
$port
,
$charset
,
$name
,
$data
);

/*

2. 从一个队列中取出文本信息

返回该队列的内容

如果没有未被取出的队列，则返回文本信息：HTTPSQS_GET_END

*/

$result
=
$httpsqs
->get(
$host
,
$port
,
$charset
,
$name
);

/*

3. 查看队列状态

*/

$result
=
$httpsqs
->status(
$host
,
$port
,
$charset
,
$name
);

/*

4. 查看指定队列位置点的内容

返回指定队列位置点的内容。

*/

$result
=
$httpsqs
->view(
$host
,
$port
,
$charset
,
$name
,
$pos
);

/*

5. 重置指定队列

如果重置队列成功，返回布尔值：true

如果重置队列失败，返回布尔值：false

*/

$result
=
$httpsqs
->reset(
$host
,
$port
,
$charset
,
$name
);

/*

6. 更改指定队列的最大队列数量

如果更改成功，返回布尔值：true

如果更改操作被取消，返回布尔值：false

*/

$result
=
$httpsqs
->maxqueue(
$host
,
$port
,
$charset
,
$name
,
$num
);

/* -----使用Keep-Alive的长连接方式 (在 PHP FastCGI 模式和命令行模式下速度非常快)----- */

$result
=
$httpsqs
->pput(
$host
,
$port
,
$charset
,
$name
,
$data
);

$result
=
$httpsqs
->pget(
$host
,
$port
,
$charset
,
$name
);

$result
=
$httpsqs
->pstatus(
$host
,
$port
,
$charset
,
$name
);

$result
=
$httpsqs
->pview(
$host
,
$port
,
$charset
,
$name
,
$pos
);

$result
=
$httpsqs
->preset(
$host
,
$port
,
$charset
,
$name
);

$result
=
$httpsqs
->pmaxqueue(
$host
,
$port
,
$charset
,
$name
,
$num
);

?>

<?php
......
include_once("httpsqs_client.php");
$httpsqs = new httpsqs;

/* -----不使用Keep-Alive的短连接方式----- */
/*
1. 将文本信息放入一个队列
如果入队列成功，返回布尔值：true
如果如队列失败，返回布尔值：false
*/
$result = $httpsqs->put($host, $port, $charset, $name, $data);

/*
2. 从一个队列中取出文本信息
返回该队列的内容
如果没有未被取出的队列，则返回文本信息：HTTPSQS_GET_END
*/
$result = $httpsqs->get($host, $port, $charset, $name);

/*
3. 查看队列状态
*/
$result = $httpsqs->status($host, $port, $charset, $name);

/*
4. 查看指定队列位置点的内容
返回指定队列位置点的内容。
*/
$result = $httpsqs->view($host, $port, $charset, $name, $pos);

/*
5. 重置指定队列
如果重置队列成功，返回布尔值：true
如果重置队列失败，返回布尔值：false
*/
$result = $httpsqs->reset($host, $port, $charset, $name);

/*
6. 更改指定队列的最大队列数量
如果更改成功，返回布尔值：true
如果更改操作被取消，返回布尔值：false
*/
$result = $httpsqs->maxqueue($host, $port, $charset, $name, $num);

/* -----使用Keep-Alive的长连接方式 (在 PHP FastCGI 模式和命令行模式下速度非常快)----- */
$result = $httpsqs->pput($host, $port, $charset, $name, $data);
$result = $httpsqs->pget($host, $port, $charset, $name);
$result = $httpsqs->pstatus($host, $port, $charset, $name);
$result = $httpsqs->pview($host, $port, $charset, $name, $pos);
$result = $httpsqs->preset($host, $port, $charset, $name);
$result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num);
?>

Tags: httpsqs
, http
, queue
, queues
, sqs
, memcacheq
, activemq
, starling
, amazonsqs
, tokyocabinet
,
simple
, service
, 队列
,
简单队列
, 消息队列