20170311技术积累

1.CDH集群中包含包含时钟同步模块，根据etc/ntp.conf中server同步

2.spark shell中操作hive中的表格，可能需要将hive中的/etc/hive/hive-site.xml 拷至spark  的/etc/spark/conf/下，但需要对所有节点都进行这个操作。

   由此推想，是否在spark中设置hive-site.xml文件路径就可以了？！

3.CDH中zookeeper目录： /opt/cloudera/parcels/CDH/lib/zookeeper/

4.idea使用gradle开发时，在gradle中添加Scala包。不使用gradle的话，可以添加本地的Scala sdk。

5.使用gradle下载jar包时

  （1）国外的mave，jar包下载太慢，添加国内的maven下载地址：

    repositories{

     maven{

                  url 'http://maven.aliyun.com/nexus/content/repositories/central/'

                }

     }

    (2)怎样把jar包copy到本地lib中

    task copyToLib(type: Copy) {

          into "$buildDir/libs/lib"

          from configurations.runtime

    }

    jar { dependsOn copyToLib }   //  这句很重要！

    （3）dependencies 表示各种依赖包

             为什么我们可以使用 compile 和 testCompile ，而不能写成别的？它们是两个方法吗？

             这两个是gradle的java plugin中定义的configuration。除了它们以外，另外还有 runtime , testRuntime , archives , default 。

             tasks.withType(Compile) { options.encoding = "UTF-8" }       

6.spark-hive包

  compile ‘org.apache.spark:spark-hive_2.10:1.3.0-cdh5.4.2'没找到该包，下面的包可以替换

  compile 'org.apache.spark-hive_2.10:1.3.0'

7.idea中设置工程编码方式为UTF-8

   File->Settings->Editor->File Encodings->UTF-8  (可以尝试着在gradle中设置UTF-8)

8.Idea添加本地的Scala包sdk

   file->project Structure->libraries "+"->Scala SDK

9.linux 下查看系统下的进程

   ps -A  或者  ps -e

10.linux 下指出运行在指定端口的进程

    netstat -an | grep 7077

    列出所有端口 (包括监听和未监听的)

    netstat -a 

11.idea 创建Scala工程

     1.创建Scala工程

     2.创建一个包

     3.然后再包内添加Object类型的入口类，不是class类型。

12.spark提交spark任务

      spark-submit --class sparkTest --master spark://localhost:7077   /home/sparkPi.jar

      sparkTest 为main函数的类名， 最后为jar包所在地址

13.spark可以读取oracle，hbase（ok），hive（ok）中的数据

14.Windows下查看端口号

    netstat -a | grep 5050

15.windows下不能使用telnet命令

    控制面板-》程序-》打开或关闭windows功能 -》功能-》添加telnet客户端

16.开发时遵循由简到难的过程，比如可以先从shell操作，然后再编写代码

17.Java学习，看完Java编程思想后，尽快开始设计模式。