miner大后端配置步骤
2015-11-15 22:38
232 查看
一. 环境介绍
部门有5台服务器分别为192.168.2.(201~204,207),分别运行HDFS(201),YARN(202),HIVE(203)。SPARK集群运行在201~204这4台服务器上。具体信息可登陆Ambari查看,地址为192.168.2.201,账号密码。二.常用软件及源码下载、更新、上传
2.1常用软件
Foxmail:管理办公邮箱,一般每天早上收取邮件XShell:访问服务器,上传代码,个人测试代码用
IntelliJ IDEA:编写代码用的IDE,可去jetbrains.com下载
JDK:1.7以上
Git:配合IDEA管理代码版本
2.2源码下载
安装好JDK并配置好环境变量。安装好Git,打开IDEA,选择File-->Setting-->Version Control-->Git,选择安装路径并Test,出现如下信息及Git配置成功
选择File àClose Project 然后点击Check out from Version Control—>Git
选择右上角HTTP,并复制链接
将链接复制到IDEA窗口的URL框,并Test,输入你的公司邮箱账号密码,Test成功后即可下载项目源码(注意设置本地的项目路径)
2.3源码更新
在Project窗口右键单击项目,选择Git -> Repository -> Fetch第一个要求输Master Password界面点击右上角X
第二个要求输账号密码界面输入gitlab的账号(公司邮箱)
第三个要求输Mster Password界面点击右上角X
此时左下角会出现如下提示
表示Fetch成功,即已将gitlab上各版本源码拉取过来
点击右下角Git:XXX 可以看到目前gitlab上各个icloudunion的版本
单击某版本(如current)点击Merge可与本地版本合并,点击Compare可对比该版本与本地版本的区别。
关于Git版本控制的具体原理可参考:
http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000
2.4源码上传
在项目或所修改文件上右键,选择Git -> Commit File 选择已修改文件并填写Commit Message,点击CommitCommit后再右键选择Git -> Push 选择项目并Push到gitlab上自己的分支
最后登录gitlab申请将自己的分支合并到current分支。
三.
三.代码测试
3.1测试代码
测试每个小模块时最好写一个TestXXX类,用于向所测试模块传入参数(包括源文件和输出文件的路径等),并向Spark提交Job。样例测试文件如下:public class TestReadCSV {
public static void main(String args[])
{
OperatorService operatorService = MinerRpcClient.getService(OperatorService.class);
String operator = "com.szl.miner.operator.load.ReadCSV";
Map<String, Object> param;
param = new HashMap<String, Object>();
param.put("include_column_name", "false");
param.put("hdfs_file", "miner://hdfs?path=/home/xxc/pca.csv");
param.put("hive_out", "miner://hive?schema=miner_db;type=table;name=z_xxc_dt_input");
try {
operatorService.executeOperator(operator, param);
} catch (Throwable throwable) {
throwable.printStackTrace();
}
}
}
3.2项目上传
在Maven Project下选择funsion-miner下的Lifecycle,先clean,再package打包打包后在\miner-server\miner-server-core\target下找到miner-server-core-0.1-SNAPSHOT.tar.gz复制到某目录(如D盘下)
用XShell连接192.168.2.201:22 账号XXXX密码XXXXX用SSH和SFTP协议分别建立一个链接,如图所示
在/home下建立一个自己的文件夹,在SFTP协议下将刚才打完的包传到自己的文件夹下。
3.3项目测试
在SSH协议连接下进入自己的目录,并用如下命令启动服务,然后运行本地的TestXXX测试文件Java -cp miner-server-core-0.1-SNAPSHOT/lib/miner-server-core-0.1-SNAPSHOT.jar:miner-server-core-0.1-SNAPSHOT/lib/* com.szl.miner.server.MinerServer /home/yourname/miner-server-core-0.1-SNAPSHOT &
相关文章推荐
- 【区域赛总结】2015ACM-ICPC北京区域赛
- 银行家算法简洁版
- 1035. Password (20)
- ITU-T E.800
- 短信平台接入的加密联想
- 测试职业发展如何做-1
- 1035. Password (20)
- Java如何集成支付宝即时到账接口
- UpdateData(TRUE)与 UpdateData(FALSE);
- 设计模式实例学习-责任链模式
- 黑马程序员——OC基础05—Foundation框架
- java基础的学习
- 初学python转义字符
- 【Loadrunner】检查点设置
- iOS Crash: dwarfdump 检查 UUID
- linux系统vi命令编辑后Ctrl+s“死机”
- TCP:传输控制协议
- DelegatingActionProxy
- HDU ACM 1050 Moving Tables
- 解决VS2010链接错误:LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏