您的位置：首页 > 产品设计 > UI/UE

HUE配置文件hue.ini 的hive和beeswax模块详解（图文详解）（分HA集群）

2017-05-06 18:27 691 查看
不多说，直接上干货！

　　我的集群机器情况是bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然后，安装目录是在/home/hadoop/app下。

　　官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

　Hue版本：hue-3.9.0-cdh5.5.4

需要编译才能使用（联网）

　说给大家的话：大家电脑的配置好的话，一定要安装clouderamanager。毕竟是一家人的。
同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，做好心里准备。废话不多说，因为我目前读研，自己笔记本电脑最大8G，只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的！但我已经在实验室机器群里搭建好clouderamanager以及ambari都有。

大数据领域两大最主流集群管理工具Ambari和ClouderaManger

Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

　　首先，在这里，先给大家普及知识。

对于hive的安装是有3种方式的:

1.本地derby

2.本地mysql（比如master、slave1、slave2集群。hive一般我是安装在master上）（也叫作hive单用户模式）

　　当然，你也来个master、slave1、slave2集群，外加client专门来安装hive、sqoop、azkaban这样的。

　　或者，你也来个master、slave1、slave2、slave3、slave4集群，hive一般我也是安装在master上。

3..远端mysql（在主从上配）（也叫作hive多用户模式）

　　（比如master、slave1、slave2集群。hive一般我是安装在master和slave1上）

　　或者，你也来个master、slave1、slave2、slave3、slave4集群，hive一般我也是安装在master和slave1上。

HadoopHive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建（五）

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl




[b]一、以下是默认的配置文件[/b]

[b]二、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的hive和beeswax模块）（本地mysql模式）[/b]

[b][b]三、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的hive和beeswax模块）（本地mysql模式）[/b][/b]

[b]　　都是如下哈。因为hive说白了，是可以安装在集群之外，它就是一个客户端。[/b]

　　其实啊，目前Hue里的beeswax和hive模块是一起的。为什么叫[beeswax]而不是[hive]这是历史原因！！！





　　

　　同时，是还要将hive-default.xml.template里的hive.server2.thrift.port默认属性和hive.server2.thrift.bind.host默认属性，

拷贝到hive-site.xml里进行修改。



<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>bigdatamaster</value>
</property>




###########################################################################
#SettingstoconfigureBeeswaxwithHive
###########################################################################

[beeswax]

#HostwhereHiveServer2isrunning.
#IfKerberossecurityisenabled,usefully-qualifieddomainname(FQDN).
hive_server_host=bigdatamaster

#PortwhereHiveServer2Thriftserverrunson.
hive_server_port=10000

#Hiveconfigurationdirectory,wherehive-site.xmlislocated
hive_conf_dir=/home/hadoop/app/hive/conf

#TimeoutinsecondsforthriftcallstoHiveservice
##server_conn_timeout=120

#ChoosewhethertousetheoldGetLog()thriftcallfrombeforeHive0.14toretrievethelogs.
#Iffalse,usetheFetchResults()thriftcallfromHive1.0ormoreinstead.
##use_get_log_api=false

#SetaLIMITclausewhenbrowsingapartitionedtable.
#ApositivevaluewillbesetastheLIMIT.If0ornegative,donotsetanylimit.
##browse_partitioned_table_limit=250

#ThemaximumnumberofpartitionsthatwillbeincludedintheSELECT*LIMITsamplequeryforpartitionedtables.
##sample_table_max_partitions=10

#Alimittothenumberofrowsthatcanbedownloadedfromaquery.
#Avalueof-1meanstherewillbenolimit.
#Amaximumof65,000isappliedtoXLSdownloads.
##download_row_limit=1000000

#HuewilltrytoclosetheHivequerywhentheuserleavestheeditorpage.
#ThiswillfreeallthequeryresourcesinHiveServer2,butalsomakeitsresultsinaccessible.
##close_queries=false

#ThriftversiontousewhencommunicatingwithHiveServer2.
#Newcolumnformatisfromversion7.
##thrift_version=7


　　启动hive（在bigdatamaster节点）

$HIVE_HOME/bin/hive--servicehiveserver2

或者

$HIVE_HOME/bin/hiveserver2


　　得到









　　其他，不多赘述，大家自己去看自己机器！

[b]四、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的hive和beeswax模块）（远端mysql模式）[/b]

[b]五、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的hive和beeswax模块）（远端mysql模式）[/b]

　　都是如下哈。因为hive说白了，是可以安装在集群之外，它就是一个客户端。

　　其实啊，目前Hue里的beeswax和hive模块是一起的。





　　比如，我这里是master、slave1和slave2组成的集群，在master和slave1上搭建的是hive的Remote模式。

看hive的官方文档

http://hive.apache.org/










　　master机器上

将hive-site.xml配置文件拆为如下两部分
1）、服务端配置文件（比如在master）
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<configuration>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.80.10:3306/hive?createDatabaseIfNotExist=true</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>


　　slave1机器上

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<configuration>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>

<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>

<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.80.11:9083</value>
</property>

</configuration>


　　注意，在客户端slave1，有个属性，hive.metastore.local为false。



　　在master节点上启动hive服务端程序
hive--servicemetastore

或者

hive--serviemetastore-9083

　[b]　注意啦[/b]，是还要将hive-default.xml.template里的hive.metastore.uris默认属性，

拷贝到hive-site.xml里进行修改。

　　hive.metastore.uris（在slave1机器上）

<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.80.11:9083</value>
</property>




###########################################################################
#SettingstoconfigureBeeswaxwithHive
###########################################################################

[beeswax]

#HostwhereHiveServer2isrunning.
#IfKerberossecurityisenabled,usefully-qualifieddomainname(FQDN).
hive_server_host=bigdatamaster

#PortwhereHiveServer2Thriftserverrunson.
hive_server_port=10000

#Hiveconfigurationdirectory,wherehive-site.xmlislocated
hive_conf_dir=/home/hadoop/app/hive/conf

#TimeoutinsecondsforthriftcallstoHiveservice
##server_conn_timeout=120

#ChoosewhethertousetheoldGetLog()thriftcallfrombeforeHive0.14toretrievethelogs.
#Iffalse,usetheFetchResults()thriftcallfromHive1.0ormoreinstead.
##use_get_log_api=false

#SetaLIMITclausewhenbrowsingapartitionedtable.
#ApositivevaluewillbesetastheLIMIT.If0ornegative,donotsetanylimit.
##browse_partitioned_table_limit=250

#ThemaximumnumberofpartitionsthatwillbeincludedintheSELECT*LIMITsamplequeryforpartitionedtables.
##sample_table_max_partitions=10

#Alimittothenumberofrowsthatcanbedownloadedfromaquery.
#Avalueof-1meanstherewillbenolimit.
#Amaximumof65,000isappliedtoXLSdownloads.
##download_row_limit=1000000

#HuewilltrytoclosetheHivequerywhentheuserleavestheeditorpage.
#ThiswillfreeallthequeryresourcesinHiveServer2,butalsomakeitsresultsinaccessible.
##close_queries=false

#ThriftversiontousewhencommunicatingwithHiveServer2.
#Newcolumnformatisfromversion7.
##thrift_version=7


　

　　　最后的界面




                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航