您的位置：首页 > 其它

CDH遇到问题点滴记录

2017-10-20 10:59 141 查看
关于CDH和ClouderaManager

CDH(Cloudera'sDistribution,includingApache Hadoop)，是hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。

 

ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

Ubuntu安装cdh集群：启动server节点出错，可以查看
/opt/cloudera-manager/cm-5.6.0/log
里的日志，或者/var/log/cloudera-scm-server/下面的日志。

 

安装步骤：

http://blog.csdn.net/blackkey2008/article/details/50763097

http://www.jianshu.com/p/57179e03795f

http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop

 

卸载oracle-j2sdk1.7方法

查看dpkg--list|grep-ijdk

sudoapt-getremoveoracle-j2sdk1.6

或者sudoapt-getremoveoracle-*

安装主节点master：

1.     修改文件sudovi/etc/network/interfaces，将默认生成的
autoeth0
ifaceeth0inetdhcp
改为：

2. 重启网卡，使配置生效：

sudoservicenetworkingrestart

3. 运行ifconfig-a查看网络配置信息。 

4. 通过ping-c2www.baidu.com测试能否正常访问外网。若不能，可sudoreboot重启节点试试。

5. 配置完成后，可在其他主机，通过Xshell连接master节点。 

6. 关闭防火墙

sudoufwdisable

配置hosts文件 

以[code]master
节点为例 
要求所有的节点主机之间都是通过host互信的，编辑所有节点主机的
/etc/hosts
文件，配置完成后在每台主机上ping通其他主机名。 [/code]

注：[code]slave
节点配置方法类似[/code]
配置ubuntu的更新源 
①备份源列表
1. sudocp/etc/apt/sources.list/etc/apt/sources.list_backup

②选择一个更新源，修改配置文件
sudovi/etc/apt/sources.list
，添加新的源，国内推荐使用阿里源：
1. debhttp://mirrors.aliyun.com/ubuntu/trustymainrestricteduniversemultiverse

2. debhttp://mirrors.aliyun.com/ubuntu/trusty-securitymainrestricteduniversemultiverse

3. debhttp://mirrors.aliyun.com/ubuntu/trusty-updatesmainrestricteduniversemultiverse

4. debhttp://mirrors.aliyun.com/ubuntu/trusty-proposedmainrestricteduniversemultiverse

5. debhttp://mirrors.aliyun.com/ubuntu/trusty-backportsmainrestricteduniversemultiverse

6. deb-srchttp://mirrors.aliyun.com/ubuntu/trustymainrestricteduniversemultiverse

7. deb-srchttp://mirrors.aliyun.com/ubuntu/trusty-securitymainrestricteduniversemultiverse

8. deb-srchttp://mirrors.aliyun.com/ubuntu/trusty-updatesmainrestricteduniversemultiverse

9. deb-srchttp://mirrors.aliyun.com/ubuntu/trusty-proposedmainrestricteduniversemultiverse

10.deb-srchttp://mirrors.aliyun.com/ubuntu/trusty-backportsmainrestricteduniversemultiverse

更新系统
①更新系统
1. sudoaptupdate

2. sudoaptupgrade

3. sudoaptdist-upgrade

4. sudoaptautoremove

jdk的安装 apt-get-oDpkg::Options::=--force-confdef-oDpkg::Options::=--force-confold-yinstalloracle-j2sdk1.6 

 


 

参考：http://blog.csdn.net/u012348345/article/details/51451455

 

 

 

172.18.25.5和159.226.178.106做的改动：安装ntp 修改了配置文件/etc/ntp.conf 修改server Ubuntubp-001

                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航