只是记录一下怕忘记的东西(-持续)
2017-05-18 09:31
246 查看
10.96.50.102:9092, 10.96.50.103:9092, 10.96.50.104:9092, 10.96.50.18:9092, 10.96.50.19:9092
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 2 --topic test
./kafka-console-consumer.sh --zookeeper 192.168.3.101:2181 --topic tcpflume
bin/flume-ng agent --conf conf --conf-file conf/tcp-agent-kafka-temp.properties --name a1 -Dflume.root.logger=info,console &
create table xar_test1(id int,price int,name string)
create table xar_test2(subId int,sex int,address string) row format delimited fields terminated by '\t';
10.9.115.35,10.9.135.47
load data local inpath 'wyp.txt' into table wyp;
Copying data from file:/home/wyp/wyp.txt
Copying file: file:/home/wyp/wyp.txt
/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hbase/bin sh hbase-daemon.sh start thrift2 -f -hsha --infoport 9096 -p 8090 -w 10
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_id,cf:usr_name,cf:cert_id,cf:cert_id_enc,cf:cert_type,cf:cert_chk_flag,cf:cert_prov,cf:cert_area,cf:usr_sex,cf:usr_age' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|'
-Dcreate.table=no ns_ink:DIM_TRUST_USER_BASE_INFO /user/admin/ink/data/credit/raw/DIM_TRUST_USER_BASE_INFO.csv
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_mp,cf:usr_mp_enc,cf:mp_prov,cf:mp_area,cf:mp_operators,cf:mp_chk_flag,cf:usr_email,cf:usr_email_enc,cf:usr_addr' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|'
-Dcreate.table=no ns_ink:DIM_TRUST_USER_ADD_INFO /user/admin/ink/data/credit/raw/DIM_TRUST_USER_ADD_INFO_20170221.csv
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_id,cf:ord_id,cf:ord_date,cf:dep_date,cf:org_city_name,cf:des_city_name,cf:flight_no,cf:cabin_name,cf:tick_amt,cf:airpt_amt' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|'
-Dcreate.table=no ns_ink:FACT_TRUST_USER_FLIGHT_LOG /user/admin/ink/data/credit/raw/FACT_TRUST_USER_FLIGHT_LOG_20170222.csv
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_id,cf:index_id,cf:index_value' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|' -Dcreate.table=no ns_ink:FACT_TRUST_USER_TRADE_COLLECT /user/admin/ink/data/credit/raw/FACT_TRUST_USER_TRADE_COLLECT_20170221.csv
{NAME => 'cf', VERSIONS => '2147483647'},{NAME => 'ecf1',VERSIONS => '2147483647'}
FROM centos
MAINTAINER fengwan.blog.iyunv.com
RUN rm -rf /etc/localtime && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改时区
RUN yum -y install kde-l10n-Chinese && yum -y reinstall glibc-common #安装中文支持
RUN localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 #配置显示中文
ENV LC_ALL zh_CN.utf8 #设置环境变量
RUN yum -y install python-setuptools && easy_install pip && pip install supervisor #安装supervisor多进程管理工具,用于启动多进程
docker run -d -p 8002:8090 -v /app/docker/war/:/app/wildfly-10.1.0.Final/standalone/deployments/ -v /app/docker/etc/:/app/etc/ -v /app/docker/logs/:/app/mdpasv2/logs -v /app/docker/jbosslog/:/app/log -v /etc/localtime/:/etc/localtime.ro --privileged=true
--name=testing huifu/jbossandjdk:v10.8 sh -c 'sh /app/startjboss.sh'
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 2 --topic test
./kafka-console-consumer.sh --zookeeper 192.168.3.101:2181 --topic tcpflume
bin/flume-ng agent --conf conf --conf-file conf/tcp-agent-kafka-temp.properties --name a1 -Dflume.root.logger=info,console &
create table xar_test1(id int,price int,name string)
create table xar_test2(subId int,sex int,address string) row format delimited fields terminated by '\t';
10.9.115.35,10.9.135.47
load data local inpath 'wyp.txt' into table wyp;
Copying data from file:/home/wyp/wyp.txt
Copying file: file:/home/wyp/wyp.txt
/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hbase/bin sh hbase-daemon.sh start thrift2 -f -hsha --infoport 9096 -p 8090 -w 10
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_id,cf:usr_name,cf:cert_id,cf:cert_id_enc,cf:cert_type,cf:cert_chk_flag,cf:cert_prov,cf:cert_area,cf:usr_sex,cf:usr_age' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|'
-Dcreate.table=no ns_ink:DIM_TRUST_USER_BASE_INFO /user/admin/ink/data/credit/raw/DIM_TRUST_USER_BASE_INFO.csv
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_mp,cf:usr_mp_enc,cf:mp_prov,cf:mp_area,cf:mp_operators,cf:mp_chk_flag,cf:usr_email,cf:usr_email_enc,cf:usr_addr' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|'
-Dcreate.table=no ns_ink:DIM_TRUST_USER_ADD_INFO /user/admin/ink/data/credit/raw/DIM_TRUST_USER_ADD_INFO_20170221.csv
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_id,cf:ord_id,cf:ord_date,cf:dep_date,cf:org_city_name,cf:des_city_name,cf:flight_no,cf:cabin_name,cf:tick_amt,cf:airpt_amt' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|'
-Dcreate.table=no ns_ink:FACT_TRUST_USER_FLIGHT_LOG /user/admin/ink/data/credit/raw/FACT_TRUST_USER_FLIGHT_LOG_20170222.csv
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,cf:usr_id,cf:index_id,cf:index_value' -Dimporttsv.skip.bad.lines=false '-Dimporttsv.separator=|' -Dcreate.table=no ns_ink:FACT_TRUST_USER_TRADE_COLLECT /user/admin/ink/data/credit/raw/FACT_TRUST_USER_TRADE_COLLECT_20170221.csv
{NAME => 'cf', VERSIONS => '2147483647'},{NAME => 'ecf1',VERSIONS => '2147483647'}
FROM centos
MAINTAINER fengwan.blog.iyunv.com
RUN rm -rf /etc/localtime && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改时区
RUN yum -y install kde-l10n-Chinese && yum -y reinstall glibc-common #安装中文支持
RUN localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 #配置显示中文
ENV LC_ALL zh_CN.utf8 #设置环境变量
RUN yum -y install python-setuptools && easy_install pip && pip install supervisor #安装supervisor多进程管理工具,用于启动多进程
docker run -d -p 8002:8090 -v /app/docker/war/:/app/wildfly-10.1.0.Final/standalone/deployments/ -v /app/docker/etc/:/app/etc/ -v /app/docker/logs/:/app/mdpasv2/logs -v /app/docker/jbosslog/:/app/log -v /etc/localtime/:/etc/localtime.ro --privileged=true
--name=testing huifu/jbossandjdk:v10.8 sh -c 'sh /app/startjboss.sh'
相关文章推荐
- 发博客只是为了记录自己学习过程的东西,到时候要使用的时候忘记 免得在寻找
- 开始写点东西,记录一下自己学习 .net
- 整理一下之前工作中记录过的一些东西——informix
- 记录一下jstl的报错问题,很容易忘记
- 怕忘记了。记录一下要采购的元件----1
- 记录一下学习JAVA过程中所遇到的问题(持续更新)
- 经常忘记windws和linux中调用JAVA的class的区别,记录一下。
- 杂记,记录一些容易忘记的代码技巧之类的东西。
- IIS部署SSL,.crt .key 的证书,怎么部署到IIS,记录一下,以免忘记。
- 其实只是想开个博客记录一下自己的成长历程
- centos7更换YUM源为163源(记录一下以防忘记)
- 只是记录一些东西在上面,不是为了炫耀,也不是为了。。。。
- 每一个有理想的程序员都应该读的一本书-《rework》(属于博客园 meng-meng(萌萌),我只是记录一下 怕以后找不到了)
- ViewPager自定义indicator指示器,这里是做一下记录,以免忘记
- iOS下完美编译ffmpeg+x264(我只是记录一下)
- 记录一下ios app中模拟http请求的东西
- WCF Service 如何向客户端传输复杂类型(尚未成功, 只是记录一下不可行的方案, 以后再了解).
- 一个sql例子,分组,查询,统计等操作,老忘记,记录一下
- 记录一下最近接触到的一些奇奇怪怪的东西
- 『C#基础』一些零碎东西的记录(持续更新)