使用TPC-H 对hive进行基准测试

前言：由于实验的需要，需用TPC-H 对hive进行基准测试，过程记录如下 
系统环境介绍：
    centos7.4.1708
    hadoop2.8.3 一个NameNode 四个DataNode
    hive       1.2.2
    mysql  5.7.20
    TPC-H  2.17.3
 
A：安装配置
a.  下载TPC-H源码tpch_2_17_3.zip，用来生成测试数据
网址如下（需要填写自己的相关信息之后会收到邮件给你发下载地址）：
http://www.tpc.org/tpc_documents_current_versions/download_programs/tools-download-request.asp?bm_type=TPC-H&bm_vers=2.17.3&mode=CURRENT-ONLY
 
b.  将TPC-H压缩包解压，本文中解压目录为：/opt/
    命令：unzip tpch_2_17_3.zip -C /opt/
 
c.  进入tpch目录下的dbgen子目录下，将makefile.suite文件拷贝为makefile，并对makefile进行修改
    cpmakefile.suite makefile
    vimakefile
在makefile文件中的相应行进行如下修改（hive 部署的时候集成的是mysql）：
CC     = gcc
# Current values for DATABASE are:INFORMIX, DB2, TDAT (Teradata)
#                                  SQLSERVER,SYBASE, ORACLE, VECTORWISE
# Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS,
#                                  SGI, SUN, U2200, VMS, LINUX, WIN32
# Current values for WORKLOAD are:  TPCH
DATABASE = MYSQL
MACHINE = LINUX
WORKLOAD = TPCH
DATABASE设为MYSQL（注意注释里写的提供的数据库格式没有mysql，所以要自己写一个格式）
 
d.  修改dbgen文件夹下的tpcd.h文件#ifdef MYSQL
#defineGEN_QUERY_PLAN  ""
#defineSTART_TRAN      "STARTTRANSACTION"
#defineEND_TRAN        "COMMIT"
#defineSET_OUTPUT      ""
#defineSET_ROWCOUNT    "limit %d;\n"
#defineSET_DBASE       "use %s;\n"
#endif
 
e.  在目录/opt/TPCH2.17.3/dbgen下执行makefile
[hadoop@dn1 dbgen]$ make
 
f.  生成需要用的数据
     [hadoop@dn1 dbgen]$ ./dbgen -s 1
    说明：-s 代表数据规模因子，1 代表产生1G的数据量
    在当前文件夹下生成的8个.tbl文件就是我们所需要的数据。
 
B： 测试
    在hive上建8个表
   下载最新的TPC-H_on_Hive命令包
   网址：https://issues.apache.org/jira/secure/attachment/12416615/TPC-H_on_Hive_2009-08-14.tar.gz
   解压后，将之前生成的8个表（在/opt/TPCH2.17.3/dbgen目录下）( 即.tbl文件) 复制或者放在/opt/TPC-H_on_Hive/data目录下
[hadoop@dn1/]$ cp /opt/TPCH2.17.3/dbgen/*.tbl  /opt/TPCH_on_Hive/data/
先对tpch目录下的命令试着执行一下自动生成hive 表
在目录/opt/TPC-H_on_Hive下新建一个脚本并执行，内容如下:
 
#!/bin/bash
for var in `ls /opt/TPC-H_on_Hive/tpch`
do
       echo hive -f /opt/TPC-H_on_Hive/tpch/${var}
       echo
       hive -f /opt/TPC-H_on_Hive/tpch/${var}
       echo
       echo
done
 
hive 中表建好以后开始导入数据，命令如下（要导入八个表中）：
hive> LOAD DATA LOCAL INPATH'/opt/TPC-H_on_Hive/data/customer.tbl' INTO TABLE customer;
 
导入完数据以后，就可以真正的跑一遍脚本进行TPC-H 基准测试了