您的位置：首页 > 大数据 > 云计算

我对分布式计算框架的理解与设计

2017-12-06 12:07 267 查看

谢谢大家来看这篇文章，我想花点时间分享一下我对分布式计算的理解。

分布式服务有很多，比如hbase, hadoop, spark等，我所要讲述的重点不是这些服务的原理，而是用更浅显的话讲述更深刻的设计。

如何把多个的机器组合起来完成一件简单的计算任务，所以这方面的架构设计更多的关注服务器间的关系。

下面我们来设计一个框架，以进行简单的分布式计算。

我们假设计算目标有三类：

1.分布计算能力，简单多节点计算，计算1万以内的质数。

2.map-reduce，以wordcount为例。

3.资源查询，分布式查询数据库

模块设计

在架构上，可以将服务中的服务器分三个模块：


模块	含义
config	配置服务
service	对外接口服务
server	工作服务（worker)

我想让service接受请求，server进行计算，流程会是怎样的呢。

流程设计

一条简单的请求过来，可能经过的处理过程：

实际的处理比这个要复杂，比如请求过期处理等。

抽象设计

在框架内通个上，service与server都会向config注册，通信以及获取节点情况等，因此会有很多

相似的逻辑实现，所以很自然地，我把节点的关系重新定义为 config-node

为了简单处理，抽象了一个node，service与server共同继承node, 由node负责与config通信。

功能设计

config在框架里起到分配资源与注册服务的功能。

node功能

整体功能

下面我将对系统设计的协议进行设计。

协议设计

为了简单方便，我将模块间的通信采用protobuf。

（实际上在通用对外服务是不能用protobuf的，请大家思考为什么。）

config:

message ConfigRequest{
optional ConfigAuthReq auth= 1;
optional ConfigGetNodesReq get_nodes= 2;
}
message ConfigResponse{
optional ConfigAuthRsp auth = 1;
optional ConfigGetNodesRsp  get_nodes= 2;
optional ConfigNotifyNodes  notify_nodes= 3;
}

server

message ServerRequest{
required ServerDiag               diags = 1;
required ServerDiagNodeType       diag_type = 2;

optional ServerAuthReq            auth = 3;

optional PrimeQueryReq            prime = 4;
optional ServerWordCountReq       wc = 5;
optional ServerQueryReq           query = 6;
optional ServerBGReq              bg = 7;

}

message ServerResponse{
optional ServerAuthRsp               auth = 1;
optional PrimeQueryRsp               prime = 2;
optional ServerWordCountRsp          wc = 3;
optional ServerQueryRsp              query = 4;
optional ServerBGResponse            bg = 5;
}

下面来定义我们的代码结构

代码架构

下面的代码架构主要争对config-node而设计。

config请求处理：

class Config{
public:
void OnRequest(const TcpConnPtr& con, ConfigRequest& request);
}

相应的node接口

class Node{
protected:
virtual void onConfigResponse(const TcpConnPtr& con,ConfigResponse& response);

protected:
void sendToConfig(const TcpConnPtr& con,ConfigResponse& response);
};

service与server继承node后实现onConfigResponse即可。