在CDH5.14.2 中启用kudu的配置与验证
2018-06-11 13:30
225 查看
在CDH5.14.2 中启用kudu的配置
标签(空格分隔): 大数据平台构建
- 一: 系统平台介绍
- 二: 安装kudu的集成
一: 系统平台介绍
1.1. 关于kudu的介绍
Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的新成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。 Hadoop生态系统有很多组件,每一个组件有不同的功能。在现实场景中,用户往往需要同时部署很多Hadoop工具来解决同一个问题,这种架构称为混合架构 (hybrid architecture)。比如,用户需要利用Hbase的快速插入、快读random access的特性来导入数据,HBase也允许用户对数据进行修改,HBase对于大量小规模查询也非常迅速。同时,用户使用HDFS/Parquet + Impala/Hive来对超大的数据集进行查询分析,对于这类场景, Parquet这种列式存储文件格式具有极大的优势。 很多公司都成功地部署了HDFS/Parquet + HBase混合架构,然而这种架构较为复杂,而且在维护上也十分困难。首先,用户用Flume或Kafka等数据Ingest工具将数据导入HBase,用户可能在HBase上对数据做一些修改。然后每隔一段时间(每天或每周)将数据从Hbase中导入到Parquet文件,作为一个新的partition放在HDFS上,最后使用Impala等计算引擎进行查询,生成最终报表。
二: 安装kudu的集成
2.1 kudu 准备与下载
CDH从5.10开始,打包集成Kudu1.2,并且Cloudera正式提供支持。这个版本开始Kudu的安装较之前要简单很多,省去了Impala_Kudu,安装完Kudu,Impala即可直接操作Kudu。 CSD 包下载 软件下载: http://archive.cloudera.com/kudu/csd/ KUDU-5.10.2.jar parcel 包: http://archive.cloudera.com/kudu/parcels/5.12.2.8/ KUDU-1.4.0-1.cdh5.12.2.p0.8-el7.parcel KUDU-1.4.0-1.cdh5.12.2.p0.8-el7.parcel.sha1 manifest.json
2.2 开始安装kudu
mv KUDU-5.10.2.jar /opt/cloudera/csd/ chown cloudera-scm:cloudera-scm /opt/cloudera/csd/KUDU-5.10.2.jar cd /opt/cloudera/csd/ chmod 644 KUDU-5.10.2.jar
配置httpd-server yum install -y httpd* service httpd start chkconfig httpd on mv KUDU-1.4.0-1.cdh5.12.2.p0.8-el7.parcel* /var/www/html/kudu mv manifest.json /var/www/html/kudu/ cd /var/www/html/kudu/ mv KUDU-1.4.0-1.cdh5.12.2.p0.8-el7.parcel.sha1 KUDU-1.4.0-1.cdh5.12.2.p0.8-el7.parcel.sha
2.3 通过CM界面配置Kudu的Parcel地址,并下载,分发,激活Kudu
2.4 kudu的验证: 使用impala 直接创建读取kudu上面的数据
impala-shell -i 172.17.100.11 create database kudu_test;
use kudu_test; CREATE TABLE my_first_table ( id BIGINT, name STRING, PRIMARY KEY(id) ) PARTITION BY HASH PARTITIONS 16 STORED AS KUDU;
INSERT INTO my_first_table VALUES (99, "sarah"); INSERT INTO my_first_table VALUES (100, "zhangyy"); INSERT INTO my_first_table VALUES (200, "spark");
update my_first_table set name='hadoop' where id=99;
相关文章推荐
- 转:回发或回调参数无效。在配置中使用 <pages enableEventValidation="true"/> 或在页面中使用 <%@ Page EnableEventValidation="true" %> 启用了事件验证。出于安全目的
- 回发或回调参数无效。在配置中使用 或在页面中使用 启用了事件验证。出于安全目的,此功能验证回发或回调事件的参数是否来源于最初呈现这些事件的服务器控件。如果数据有效并且是预期的,则使用 ClientSc
- asp.net 回发或回调参数无效。在配置中使用 或在页面中使用 启用了事件验证。出于安全目的
- 配置SQL Server 2005 Express的身份验证方式,以及如何启用sa登录名
- 回发或回调参数无效。在配置中使用 enableEventValidation=true或在页面中启用了事件验证...(转)
- 回发或回调参数无效。在配置中使用 pages enableEventValidation=true 或在页面中使用 %@ Page EnableEventValidation=true % 启用了事件验证
- aspx 报错:回发或回调参数无效。在配置中使用 或在页面中使用 启用了事件验证。.....
- 回发或回调参数无效,在配置中使用或在页面中使用启用了事件验证
- 回发或回调参数无效。在配置中使用 enableEventValidation=true或在页面中使用 启用了事件验证。
- 回发或回调参数无效。在配置中使用 enableEventValidation=true或在页面中使用 启用了事件验证。
- 配置SQL Server 2005 Express的身份验证方式,以及如何启用sa登录名
- 配置SQL Server 2005 Express的身份验证方式,以及如何启用
- 回发或回调参数无效。在配置中使用 enableEventValidation=true或在页面中使用 启用了事件验证。
- 配置SQL Server 2005 Express的身份验证方式,以及如何启用sa登录名
- 回发或回调参数无效,在配置中使用或在页面中使用启用了事件验证
- 回发或回调参数无效。在配置中使用 或在页面中使用 启用了事件验证。出于安全目的,此功能验证回发或回调事件的参数是否来源于最初呈现这些事件的服务器控件。
- 回发或回调参数无效。在配置中使用 或在页面中使用 启用了事件验证。出于安全目的,此功能验证回发或回调事件的参数是否来源于最初呈现这些事件的服务器控件。如果数据有效并且是预期的,则使用 ClientScriptManager.RegisterForEvent
- AJAX: 回发或回调参数无效,在配置中使用或在页面中使用启用了事件验证
- 配置SQL Server 2005 Express的身份验证方式,以及如何启用sa登录名(转)
- 回发或回调参数无效。在配置中使用 <pages enableEventValidation="true"/> 或在页面中使用 <%@ Page EnableEventValidation="true" %> 启用了事件验证。