presto 0.180初体验

presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker。目前版本已到0.180，详细文档见英文网站：https://prestodb.io/docs/current/index.html

安装环境
centos 6.6

jdk 1.8+

python 2.7

集群规划

192.168.11.1(hostname为presto1，coordinator node，协调节点)

192.168.11.2(hostname为presto2，worker node，工作节点)

192.168.11.3(hostname为presto3，worker node，工作节点)

安装步骤
1、root账号登录presto1节点（coordinator node）

2、下载最新版的presto，当前版本号为0.180

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.180/presto-server-0.180.tar.gz[/code] 
3、解压缩presto-server-0.180.tar.gz到目录/usr下，将presto-server-0.180目录改名为presto, 进入presto

tar -zxvf presto-server-0.180.tar.gz -C /usr
cd /usr
mv presto-server-0.180 presto
cd presto


4、配置协调节点presto1

1) 创建etc目录，进入etc
mkdir etc
cd etc

2) 配置node.properties，执行命令:

vim node.properties


在文件中添加
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffff1
node.data-dir=/data/presto


其中node.id必须设置成集群里面唯一，node.data-dir目录在各个节点必须事先创建好

3）配置jvm.properties，执行命令:

vim jvm.properties

在文件中添加
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError


4）配置config.properties，执行命令: 
vim config.properties


在文件中添加
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8090
query.max-memory=50GB
query.max-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://presto1:8090


其中coordinator=true表示当前节点为coordinator node,   node-scheduler.include-coordinator=false表示不向本节点派发任务

5）配置log.properties，打开命令:
vim log.properties


在文件中添加
com.facebook.presto=INFO


6) 配置catalog

a、创建子目录catalog并进入
mkdir catalog
cd catalog


b、配置jmx.properties,执行命令:

vim jmx.properties

在文件中添加
connector.name=jmx


c、配置hive.properties,执行命令:
vim hive.properties


在文件中添加
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hive-address:9083
hive.config.resources=/etc/hadoop/2.6.0.3-8/0/core-site.xml, /etc/hadoop/2.6.0.3-8/0/hdfs-site.xml


其中thrift://hive-address:9083为hive开放的thrift地址, core-site.xml、hdfs-site.xml要设置为正确的hadoop配置路径

5、启动presto1, 检查日志，协调节点启动成功

启动presto
cd /usr/presto
bin/launcher start


查看日志,
tail -f /data/presto/var/log/server.log


6、配置worker node, 依次安装配置presto2、presto3

1）将presto整个拷贝到presto2中的/usr目录中

scp -r /usr/presto presto2:/usr/


2) root登录presto2，创建/data/presto,进入/usr/presto，
ssh presto2
mkdir /data/presto
cd /usr/presto


3）修改配置

a、修改etc/node.properties，执行命令：
vim etc/node.properties


修改node.id为
node.id=ffffffff-ffff-ffff-ffff-fffffffffff2


b、修改etc/config.properties，执行命令:
vim etc/config.properties

将原来的配置全部替换为

coordinator=false
http-server.http.port=8090
query.max-memory=20GB
query.max-memory-per-node=2GB
discovery.uri=http://presto1:8090


4) 启动presto2(worker节点), 并查看日志，确保启动成功

启动presto2
cd /usr/presto
bin/launcher start


查看日志
tail -f /data/presto/var/log/server.log


5) 配置presto3，重复上述过程

7、在节点presto1上进行测试

1）在presto1测试，进入presto1，下载presto-cli-0.181-executable.jar，改名presto-cli
ssh presto1
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.181/presto-cli-0.181-executable.jar mv presto-cli-0.181-executable.jar presto-cli


2) 给presto-cli添加执行权限
chmod +x presto-cli


3) 连接presto-server
./presto-cli --server localhost:8090 --catalog hive --schema default


4) 执行sql，sql涉及的表必须在hive中已经定义
select * from test_db.test_table limit 10;


8、python调用presto

1) python调用presto必须安装pyhive, 目前版本是0.4.0
pip install pyhive[hive]
pip install pyhive[presto]


2) 编写python测试脚本，并执行 


from pyhive import presto
import pandas as pd

#连接presto数据库, 执行sql
conn = presto.connect(host='192.168.11.1',port=8090)
cursor = conn.cursor()
cursor.execute('select * from test_db.test_table limit 10')

# 使用pandas展示结果
cols=[a[0] for a in cursor.description]
df=pd.DataFrame.from_records(cursor.fetchall(),columns=cols)
df.head(20)


9、测试结果

a、lzo格式的hive表查询失败，估计是不兼容
b、parquet格式的hive表查询成功，在早期的版本0.100有问题，0.180有改进了

c、orc格式的hive表查询成功, 性能比parquet的要好，但是使用spark sql时性能正好相反

10、presto和spark sql比较（个人观点）

个人感觉presto更像是一个关系型的数据库，连接后传入sql，直接返回结果；而spark sql有很多spark的基因，每次查询都需要考虑需要使用多少个节点，每个节点使用多少内存，多少个核，无法大大增加了分析人员的使用难度。