thrift 小结

概述

Thrift是一个跨语言的服务部署框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码（C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）,并由生成的代码负责RPC协议层和传输层的实现。

相关资料

official-github

thrift指南

thrift demo

thrift wiki

thrift-tutorial

thrift安装

windows

1.安装thrift.exe

2.配置maven，通过maven执行IDL生成代码工作

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>

<groupId>thriftTest</groupId>
<artifactId>simplecConsole</artifactId>
<version>1.0-SNAPSHOT</version>

<name>thrift-demo-console</name>
<description>A maven project to study thrift.</description>

<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<compiler-plugin.version>2.3.2</compiler-plugin.version>
<thrift.version>0.9.3</thrift.version>
</properties>

<dependencies>
<dependency>
<groupId>org.apache.thrift</groupId>
<artifactId>libthrift</artifactId>
<version>${thrift.version}</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.6.1</version>
</dependency>
</dependencies>

<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>${compiler-plugin.version}</version>
<configuration>
<encoding>${project.build.sourceEncoding}</encoding>
</configuration>
</plugin>
<!--   <plugin>
<groupId>org.apache.thrift.tools</groupId>
<artifactId>maven-thrift-plugin</artifactId>
<version>0.1.11</version>
<configuration>
<thriftExecutable>D:\Thrift\thrift.exe</thriftExecutable>
<generator>java</generator>
<outputDirectory>src/main/java/thrift/demo</outputDirectory>
<thriftSourceRoot>${project.basedir}/src/main/resources</thriftSourceRoot>
</configuration>
<executions>
<execution>
<id>thrift-sources</id>
<phase>generate-sources</phase>
<goals>
<goal>compile</goal>
</goals>
</execution>
<execution>
<id>thrift-test-sources</id>
<phase>generate-test-sources</phase>
<goals>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>-->
<plugin>
<artifactId>maven-antrun-plugin</artifactId>
<executions>
<execution>
<id>compile-thrift</id>
<phase>generate-sources</phase>
<configuration>
<tasks>
<mkdir dir="src/main/java/com/anjuke/demo/thrift/auto"/>
<path id="thrift.path">
<fileset dir="${project.basedir}/src/main/resources">
<include name="**/*.thrift"/>
</fileset>
</path>
<pathconvert pathsep=" " property="thrift.files"
refid="thrift.path"/>
<exec executable="D:\Thrift\thrift">
<arg value="-r --gen"/>
<arg value="java"/>
<arg value="-out"/>
<arg value="src/main/java"/>
<arg line="${thrift.files}"/>
</exec>
</tasks>
<sourceRoot>src/main/java/thrift/demo/thrift</sourceRoot>
</configuration>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<artifactId>maven-clean-plugin</artifactId>
<configuration>
<verbose>true</verbose>
<filesets>
<fileset>
<directory>${project.basedir}/src/main/java/com/anjuke/demo/thrift/auto</directory>
</fileset>
</filesets>
</configuration>
</plugin>
</plugins>
</build>

</project>

linux

ReferenceLink

基本概念

开发流程

定义thrift的IDL文件

生成对应语言的代码

代码生成服务的所有数据协议转换，并提供接口调用系统的传输方式（TSocket，THttpTransport,TFileTransport）,以及同步\异步客户端，Processor负责Client请求的响应

实现服务端

有阻塞，非阻塞，线程池，半同步半异步，Selector多种服务端实现模式。

TSimpleServer – 简单的单线程服务模型，常用于测试
TThreadedServer – 多线程服务模型，使用阻塞式IO，每个请求创建一个线程。(java 不支持)
TThreadPoolServer – 多线程服务模型，使用标准的阻塞式IO，预先创建一组线程处理请求。
TThreadedSelectorServer 允许你用多个线程来处理网络I/O。它维护了两个线程池，一个用来处理网络I/O，另一个用来进行请求的处理
TNonblockingServer – 多线程服务模型，使用非阻塞式IO（需使用TFramedTransport数据传输方式）,只有一个线程来处理消息
THsHaServer - 半同步半异步的服务模型，一个单独的线程用来处理网络I/O，一个worker线程池用来进行消息的处理

服务端流程

基于服务的具体实现类，实现processor

TProcessor tprocessor = new HelloWorldService.Processor<HelloWorldService.Iface>(
new HelloWorldImpl());

create 服务端socket（Transport）

TServerSocket　阻塞型socket, 用于服务器端,　accecpt到的socket类型都是TSocket（即阻塞型socket）；
TNonblockingServerSocket 非阻塞型socket, 用于服务器端(NIO)

create Protocol 必须与客户端的Protocol一致

基于以上信息create Server

对于客户端使用封装了基本TTransport的Transport的例如（TZlibTransport，TFramedTransport），需要对Server设置该TTransport的工厂类

Sever demo

TProcessor tprocessor = new HelloWorldService.Processor<HelloWorldService.Iface>(
new HelloWorldImpl());

TNonblockingServerSocket tnbSocketTransport = new TNonblockingServerSocket(
SERVER_PORT);
TNonblockingServer.Args tnbArgs = new TNonblockingServer.Args(
tnbSocketTransport);
tnbArgs.processor(tprocessor);
tnbArgs.transportFactory(new TFramedTransport.Factory());
tnbArgs.protocolFactory(new TCompactProtocol.Factory());

// 使用非阻塞式IO，服务端和客户端需要指定TFramedTransport数据传输的方式
TServer server = new TNonblockingServer(tnbArgs);
server.serve();

实现客户端

包括同步，异步两种客户端形式

客户端流程

create Socket

TSocket：采用TCP Socket进行数据传输，阻塞型socket,用于客户端，采用系统函数read和write进行读写数据；(BIO)
TNonblockingSocket (NIO) 异步客户端使用

create Transport

TSocket：采用TCP Socket进行数据传输，阻塞型socket,用于客户端，采用系统函数read和write进行读写数据；(BIO)
TNonblockingSocket (NIO) 异步客户端使用
TSSLSocket 继承TSocket，阻塞型socket,　用于客户端；采用openssl的接口进行读写数据。
THttpTransport：采用Http传输协议进行数据传输
TFileTransport – 以文件形式进行传输。
TMemoryTransport – 将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream。
TZlibTransport – 使用zlib进行压缩， 与其他传输方式联合使用。当前无java实现。
TFramedTransport – 以frame为单位进行传输，非阻塞式服务中使用。类似于Java中的NIO。
TFastFramedTransport 与TFramedTransport相比，始终使用相同的Buffer，提高了内存的使用率。
TSaslClientTransport与TSaslServerTransport， 提供SSL校验

create Protocol must same as service based on transport

TBinaryProtocol – 二进制格式.
TCompactProtocol – 压缩格式
TDenseProtocol -继承TCompactProtocol，不包含meta信息
TJSONProtocol – JSON格式
TSimpleJSONProtocol –提供JSON只写协议, 生成的文件很容易通过脚本语言解析。

create Client based on Transport and Protocol

open transport

client.method call service

client demo

transport = new TSocket(SERVER_IP, SERVER_PORT, TIMEOUT);
// 协议要和服务端一致
TProtocol protocol = new TBinaryProtocol(transport);
HelloWorldService.Client client = new HelloWorldService.Client(protocol);
transport.open();
String result = client.sayHello(userName);

async client demo

TAsyncClientManager clientManager = new TAsyncClientManager();
TNonblockingTransport transport = new TNonblockingSocket(SERVER_IP,SERVER_PORT, TIMEOUT);

TProtocolFactory tprotocol = new TCompactProtocol.Factory();
HelloWorldService.AsyncClient asyncClient = new HelloWorldService.AsyncClient(tprotocol, clientManager, transport);
System.out.println("Client start .....");

CountDownLatch latch = new CountDownLatch(1);
AsynCallback callBack = new AsynCallback(latch);
System.out.println("call method sayHello start ...");
asyncClient.sayHello(userName, callBack);
System.out.println("call method sayHello .... end");
boolean wait = latch.await(30, TimeUnit.SECONDS);

Thrift框架

框架和时序图

thrift Type

base type

bool: 布尔值 (true or false), one byte

byte: 有符号字节

i16: 16位有符号整型

i32: 32位有符号整型

i64: 64位有符号整型

double: 64位浮点型

string: 编码无关的文本

struct

struct是定义为一种对象，和面向对象语言的class差不多.,但是struct有以下一些约束：

struct不能继承，但是可以嵌套，不能嵌套自己。

其成员都是有明确类型

成员是被正整数编号过的，其中的编号使不能重复的，这个是为了在传输过程中编码使用。

成员分割符可以是逗号（,）或是分号（;），而且可以混用，但是为了清晰期间，建议在定义中只使用一种，比如C++学习者可以就使用分号（;）。

字段会有optional和required之分和protobuf一样，但是如果不指定则为无类型—可以不填充该值，但是在序列化传输的时候也会序列化进去，optional是不填充则部序列化，required是必须填充也必须序列化。

每个字段可以设置默认值

同一文件可以定义多个struct，也可以定义在不同的文件，进行include引入。

struct demo

struct Report
{
1: required string msg, //改字段必须填写
2: optional i32 type = 0; //默认值
3: i32 time //默认字段类型为optional
}

Containers

如protobuf 通过 repeated 标识实现 Containers 不同

list<t>: 元素类型为t的有序表，容许元素重复。对应c++的vector，java的ArrayList或者其他语言的数组（官方文档说是ordered list不知道如何理解？排序的？c++的vector不排序

set<t>:元素类型为t的无序表，不容许元素重复。对应c++中的set，java中的HashSet,python中的set，php中没有set，则转换为list类型了

map<t,t>: 键类型为t，值类型为t的kv对，键不容许重复。对用c++中的map, Java的HashMap, PHP 对应 array, Python/Ruby 的dictionary。

Container demo

struct Test {
1: map<Numberz, UserId> user_map,
2: set<Numberz> num_sets,
3: list<Stusers> users
}

Enum

不同于protocal buffer，thrift不支持枚举类嵌套，枚举常量必须是32位的正整数

编译器默认从0开始赋值

可以赋予某个常量某个整数

允许常量是十六进制整数

末尾没有分号

给常量赋缺省值时，使用常量的全称

Enumeration demo

enum EnOpType {
CMD_OK = 0, // (0) 　　
CMD_NOT_EXIT = 2000, // (2000)
CMD_EXIT = 2001, // (2001)  　　
CMD_ADD = 2002 // (2002)
}

struct StUser {
1: required i32 userId;
2: required string userName;
3: optional EnOpType cmd_code = EnOpType.CMD_OK; // (0)
4: optional string language = “english”
}

Exception

Thrift结构体将会被转换成面向对象语言的类。异常在语法和功能上类似于结构体，差别是异常使用关键字exception，而且异常是继承每种语言的基础异常类。

Exception demo

exception Extest {
1: i32 errorCode,
2: string message,
3: StUser userinfo
}

Services

服务的定义方法在语义(semantically)上等同于面向对象语言中的接口。Thrift编译器会产生执行这些接口的client和server stub。具体参见下一节。在流行的序列化/反序列化框架（如protocal buffer）中，Thrift是少有的提供多语言间RPC服务的框架。这是Thrift的一大特色。

services demo

service SeTest {
void ping(),
bool postTweet(1: StUser user);
StUser searchTweets(1:string name);
oneway void zip()

}

Namespace

Thrift中的命名空间类似于C++中的namespace和java中的package，它们提供了一种组织（隔离）代码的简便方式。名字空间也可以用于解决类型定义中的名字冲突。

Namespace demo

namespace cpp com.example.test
namespace java com.example.test
namespace php com.example.test

Includes

便于管理、重用和提高模块性/组织性，常常分割Thrift定义在不同的文件中。包含文件搜索方式与c++一样。Thrift允许文件包含其它thrift文件，用户需要使用thrift文件名作为前缀访问被包含的对象

Include demo

include "test.thrift"
...
struct StSearchResult {
1: in32 uid;
...
}

Thrift IDL

基于Thrift Type 书写IDL,文件后缀名thrift

IDL demo

struct User{
1:i64 id,
2:string name,
3:i64 timestamp,
4:bool vip
}

service UserService{
User getById(1:i64 id)
}

My demo

demo-github-link