您的位置:首页 > 运维架构

kettle版本对应hadoop平台等问题

2017-11-27 15:23 357 查看
1.kettle版本支持状况
http://wiki.pentaho.com/display/BAD/4.4+Configuring+Pentaho+for+your+Hadoop+Distro+and+Version
c:\Users\Desktop\data-integration\plugins\pentaho-big-data-plugins\plugin.properties里面的

# For more configuration options specific to the Hadoop configuration choosen

# here see the config.properties file in that configuration's directory.

active.hadoop.configuration=hdp24   <-----这里添加hdp24

kettle 6.0版本对应hortworks2.2   配置写为hdp22

kettle 6.1版本对应hortworks2.3   配置写为hdp23

kettle 7.0版本对应hortworks2.4   配置写为hdp24

kettle 7.1版本对应hortworks2.5   配置写为hdp25

2.本地导入hdfs的配置
http://blog.csdn.net/cdmamata/article/details/56846895
3.kettle的问题集合,(动态抽取)
http://blog.sina.com.cn/s/blog_664558d30100q2p6.html
4.1 set/getfacl Linux赋予权限给某个用户组/用户到指定文件夹                                            ----------------------------->Linux权限问题
https://www.ibm.com/developerworks/cn/linux/l-acl/index.html     --------->IBM官方

命令一:

[root@FC3-vm mnt]# setfacl -m u:testu1:rwx,g:testg1:r file1

[root@FC3-vm mnt]# getfacl file1

# file: file1

# owner: root

# group: root

user::rw-

user:testu1:rwx

group::r--

group:testg1:r--

mask::rwx

other::r-

命令二:删除/覆盖/添加并且限制最大权限给指定用户和指定文件   ------->见IBM网页

4.2 chown -R 用户名:组名 文件名

$ hdfs dfs -chown lisa:input /input    ------ 修改input目录的owner为lisa,group从supergroup改为input

4.3chmod 777/421 文件名 u:所有者  g:所属组  o:其他人 

4.4 增添一个已有用户到已有用户组

usermod -a -G apache cnzhx  次要组

usermod -g apache cnzhx  主要组

gpasswd -d user group   如果要将一个用户从某个组中删除,则需要保证 group 不是 user 的主组。

5. hdfs权限管理控制
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html
6.所属组与附属组区别与联系

在使用useradd命令创建用户的时侯可以用-g 和-G 指定用户所属组和附属组。

基本组:如果没有指定用户组,创建用户的时候系统会默认同时创建一个和这个用户名同名的组,这个组就是基本组,不可以把用户从基本组中删除。在创建文件时,文件的所属组就是用户的基本组。

附加组:除了基本组之外,用户所在的其他组,都是附加组。用户是可以从附加组中被删除的。

用户不论为与基本组中还是附加组中,就会拥有该组的权限。一个用户可以属于多个附加组。但是一个用户只能有一个基本组。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  ETL