Advanced Message Queuing Protocol ( 4 ) over InfiniBand
2009-11-11 05:41
267 查看
<Design and Evaluation of Benchmarks for Financial Applications using Advanced Message Queuing Protocol (AMQP) over InfiniBand>
Hari Subramoni, Gregory Marsh, Sundeep Narravula, Ping Lai, and Dhabaleswar K. Panda
Department of Computer Science and Engineering, The Ohio State University
InfiniBand 是近几年新兴的网络传输技术, 具有高带宽,低延迟的特点.通过一种长缆线的连接方式, 组成统一的互连结构, 既可以处理存储I/O, 网络I/O, 也能够处理进程间通信(IPC)。 他可以消除目前阻碍服务器和存储系统的瓶颈问题, 是一种致力于服务器端而不是PC端的高性能I/O技术, 主要应用于数据中心。
InfiniBand 支持两种传输模型, 通道方式(Channel Semantics)和 内存方式(Memory Semantics)。通道方式主要是离散收发数据, 内存方式使用RDMA技术, 允许进程存取远程进程的内存, 而不经过CPU。InfiniBand有两种方式支持TCP/IP协议,IP over IB (IPoIB)和 Socket Direct Protocol(SDP)。
AMQP性能测试
测试环境:
节点:
CPU:Intel Xeon Quad dual-core processor, 6GB RAM
操作系统:Red Hat Enterprise Linux 4U4.
网卡:1 GigE Network Interface Controller(NIC) with InfiniBand Host Channel Adapter(HCA)
BROKER 版本
Qpid Version M3 Alpha
运行参数:TCP no delay
基础环境测试:
测试网络最大流量(使用socket):
IPoIB:550 MBps
SDP:650 MBps
Direct Exchange - Single Publisher Single Consumer (DE-SPSC)
(a) DE-SPSC Small Message Latency
(b) DE-SPSC Large Message Latency
(c) DE-SPSC Message Rate, and
(d) MPI Level Message Rate
Direct Exchange - Multiple Publishers Multiple Consumers (DE-MPMC)
(a) DE-MPMC Bandwidth
(b) DE-MPMC CPU Utilization over IPoIB
(c) DE-PP Small Message Latency
(d) DE-PP Large Message Latency
Fanout Exchange - Single Publisher Multiple Consumers (FE-SPSC)
(a) Bandwidth
(b) IPoIB Message Rate
(c) 1 GigE Message Rate
(d) SDP Message Rate
Topic Exchange - Single Publisher Single Consumer (TE-SPSC) Benchmark
(a) Bandwidth
(b) IPoIB Message Rate
(c) 1 GigE Message Rate
(d) SDP Message Rate
结论:
IPoIB 对小的消息的处理性能比较好, SDP对于大的数据处理性能表现良好.
Borker的CPU占有率和producer和consumer的数量成正比.
IPoIB对于信息传输率(message rate)非常敏感, 这个与IPoIB的栈开销有关,如果使用RDMA技术, 性能将进一步提升.
测试数据表明, 最好将这些技术混合运用, 另外加入多个Broker的来解决Broker 的瓶颈问题
Hari Subramoni, Gregory Marsh, Sundeep Narravula, Ping Lai, and Dhabaleswar K. Panda
Department of Computer Science and Engineering, The Ohio State University
InfiniBand 是近几年新兴的网络传输技术, 具有高带宽,低延迟的特点.通过一种长缆线的连接方式, 组成统一的互连结构, 既可以处理存储I/O, 网络I/O, 也能够处理进程间通信(IPC)。 他可以消除目前阻碍服务器和存储系统的瓶颈问题, 是一种致力于服务器端而不是PC端的高性能I/O技术, 主要应用于数据中心。
InfiniBand 支持两种传输模型, 通道方式(Channel Semantics)和 内存方式(Memory Semantics)。通道方式主要是离散收发数据, 内存方式使用RDMA技术, 允许进程存取远程进程的内存, 而不经过CPU。InfiniBand有两种方式支持TCP/IP协议,IP over IB (IPoIB)和 Socket Direct Protocol(SDP)。
AMQP性能测试
测试环境:
节点:
CPU:Intel Xeon Quad dual-core processor, 6GB RAM
操作系统:Red Hat Enterprise Linux 4U4.
网卡:1 GigE Network Interface Controller(NIC) with InfiniBand Host Channel Adapter(HCA)
BROKER 版本
Qpid Version M3 Alpha
运行参数:TCP no delay
基础环境测试:
测试网络最大流量(使用socket):
IPoIB:550 MBps
SDP:650 MBps
Direct Exchange - Single Publisher Single Consumer (DE-SPSC)
(a) DE-SPSC Small Message Latency
(b) DE-SPSC Large Message Latency
(c) DE-SPSC Message Rate, and
(d) MPI Level Message Rate
Direct Exchange - Multiple Publishers Multiple Consumers (DE-MPMC)
(a) DE-MPMC Bandwidth
(b) DE-MPMC CPU Utilization over IPoIB
(c) DE-PP Small Message Latency
(d) DE-PP Large Message Latency
Fanout Exchange - Single Publisher Multiple Consumers (FE-SPSC)
(a) Bandwidth
(b) IPoIB Message Rate
(c) 1 GigE Message Rate
(d) SDP Message Rate
Topic Exchange - Single Publisher Single Consumer (TE-SPSC) Benchmark
(a) Bandwidth
(b) IPoIB Message Rate
(c) 1 GigE Message Rate
(d) SDP Message Rate
结论:
IPoIB 对小的消息的处理性能比较好, SDP对于大的数据处理性能表现良好.
Borker的CPU占有率和producer和consumer的数量成正比.
IPoIB对于信息传输率(message rate)非常敏感, 这个与IPoIB的栈开销有关,如果使用RDMA技术, 性能将进一步提升.
测试数据表明, 最好将这些技术混合运用, 另外加入多个Broker的来解决Broker 的瓶颈问题
相关文章推荐
- Advanced Message Queuing Protocol (AMQP) 简介
- AMQP - Advanced Message Queuing Protocol
- Advanced Message Queuing Protocol ( 1 ) 概述
- AMQP――Advanced Message Queuing Protocol(高级消息队列协议)小结
- Advanced Message Queuing Protocol ( 2 ) 逻辑模型
- Advanced Message Queuing Protocol ( 3 ) 逻辑模型
- Microsoft Message Queuing介绍
- VOIP研究系列1 ------ VOIP(Voice over Internet Protocol) 是什么 ?
- ICMP协议(Internet Control Message Protocol)
- Oracle Advanced Queuing
- Error : Unexpected protocol character/message
- ICMP是“Internet Control Message Protocol”
- python每日一错——Protocol message RewriterConfig has no "layout_optimizer" field
- 日志带参输出 The Art of Logging: Advanced message formatting
- PAT (Advanced Level) Practise 1013 Battle Over Cities (25)
- voip (Voice over Internet Protocol)--模拟信号数字化
- Internet Control Message Protocol (ICMP) Parameters
- the server has disconnected with an error. server message reads: a protocol error occurred.chang of username or service not allowedroot, (root,ssh-con
- ICMP(Internet Control Message Protocol)协议简介
- Microsoft Message Queuing介绍