linux、Hadoop相关的常用东西总结
2013-07-23 21:40
246 查看
总结一下最近的工作,如下,且会不断更新:
1、window远程登录linux 、windows与linux共享文件资源
1)下载软件SecureCRT或者putty(or pietty),可用来在windows远程登录(ssh1、ssh2)到linux服务器。
SecureCRT和pietty各有优缺点,两个都用过,体会后的总结如下:
pietty安装使用直接方便,不怎么需要配置,直接拿来用即可,且默认设置挺漂亮。而SecureCRT安装后根据使用习惯需要设置字体等
SecureCRT的好处是,可以多tab来回切换、可以clone(putty通过插件,也可以同时多个tab)。还有一个好处就是在下面这种情形下:如果登陆线上服务器,首先登陆跳板机,然后再ssh到线上服务器,正常需要两个手工操作的步骤,输入两次密码,而SecureCRT的好处就是可以保存多个session,每个session配置下登陆跳板机后再要的ssh信息。这样的话用户通过跳板机登陆线上服务器的时候,只需要输入一次跳板机的密码,简单方便。
secureCRT还有一个好处就是可以设置上传下载目录,直接通过命令rz、sz即可上传下载windows和linux之间的文件。
2)可通过在linux下装samba,之后再window下通过 ” 映射网络驱动器 “ 来使得window和linux共享文件资源。这样做的好处就是,可以直接在windows下打开、编辑 大的工程;另外的好处就是如果linux下没有装svn,则可用windows下的svn来同步code。
2、常用linux命令
1)find、grep、awk、wc、cut、top、df、free、du、uptime、du、chown、chgrp、tar、su、ldd、涉及到字体export LC_CTYPE...,还有让命令后台运行 & ,若果想退出shell的时候命令仍然执行,则还可在前面加上nohup,使其忽略shell退出时的hunup信号等等
2)定时调度 crontab
3) vim 写c++时格式化:gg->shift+V->shift+G->=
3、使用hadoop的时候,随机选择一台datanode登陆,如果用java写Mapreduce,最好还是本地装个myeclipse(带注册机破解的),看着好多牛人vim 命令行写代码溜得很,虽然自己也用过vim写c++,但写的可没那么溜,还是觉得用myeclipse这样工具在本地写java效率更高。装完myeclipse后再装个fat jar 插件,方便打jar包(最开始用它是@晓风_机器学习 推荐的,确实好用哈),然后可以通过安装的winscp来上传打包好的jar包到linux机器,但最好用的觉得还是secureCRT
的rz命令,方面快捷。之后就可通过hadoop jar。。。等命令来运行MR job了。
4、google下很多fat jar的下载资源,我下了这个:http://sourceforge.net/projects/fjep/。解压后将net.sf.fjep.fatjar_0.0.31.jar:1)MyEclipse
6.5 的话就放到plugins 文件夹下面。2)MyEclipse 8.6 的话就当道dropins文件夹下面。重启Myeclipse,右击工程就会出现
Build Fat Jar。
1、window远程登录linux 、windows与linux共享文件资源
1)下载软件SecureCRT或者putty(or pietty),可用来在windows远程登录(ssh1、ssh2)到linux服务器。
SecureCRT和pietty各有优缺点,两个都用过,体会后的总结如下:
pietty安装使用直接方便,不怎么需要配置,直接拿来用即可,且默认设置挺漂亮。而SecureCRT安装后根据使用习惯需要设置字体等
SecureCRT的好处是,可以多tab来回切换、可以clone(putty通过插件,也可以同时多个tab)。还有一个好处就是在下面这种情形下:如果登陆线上服务器,首先登陆跳板机,然后再ssh到线上服务器,正常需要两个手工操作的步骤,输入两次密码,而SecureCRT的好处就是可以保存多个session,每个session配置下登陆跳板机后再要的ssh信息。这样的话用户通过跳板机登陆线上服务器的时候,只需要输入一次跳板机的密码,简单方便。
secureCRT还有一个好处就是可以设置上传下载目录,直接通过命令rz、sz即可上传下载windows和linux之间的文件。
2)可通过在linux下装samba,之后再window下通过 ” 映射网络驱动器 “ 来使得window和linux共享文件资源。这样做的好处就是,可以直接在windows下打开、编辑 大的工程;另外的好处就是如果linux下没有装svn,则可用windows下的svn来同步code。
2、常用linux命令
1)find、grep、awk、wc、cut、top、df、free、du、uptime、du、chown、chgrp、tar、su、ldd、涉及到字体export LC_CTYPE...,还有让命令后台运行 & ,若果想退出shell的时候命令仍然执行,则还可在前面加上nohup,使其忽略shell退出时的hunup信号等等
2)定时调度 crontab
3) vim 写c++时格式化:gg->shift+V->shift+G->=
3、使用hadoop的时候,随机选择一台datanode登陆,如果用java写Mapreduce,最好还是本地装个myeclipse(带注册机破解的),看着好多牛人vim 命令行写代码溜得很,虽然自己也用过vim写c++,但写的可没那么溜,还是觉得用myeclipse这样工具在本地写java效率更高。装完myeclipse后再装个fat jar 插件,方便打jar包(最开始用它是@晓风_机器学习 推荐的,确实好用哈),然后可以通过安装的winscp来上传打包好的jar包到linux机器,但最好用的觉得还是secureCRT
的rz命令,方面快捷。之后就可通过hadoop jar。。。等命令来运行MR job了。
4、google下很多fat jar的下载资源,我下了这个:http://sourceforge.net/projects/fjep/。解压后将net.sf.fjep.fatjar_0.0.31.jar:1)MyEclipse
6.5 的话就放到plugins 文件夹下面。2)MyEclipse 8.6 的话就当道dropins文件夹下面。重启Myeclipse,右击工程就会出现
Build Fat Jar。
相关文章推荐
- Linux常用命令总结1(用户操作相关)
- Hadoop2.7.0 以及相关linux知识(自己总结经验)
- hadoop的hdfs相关的常用命令总结
- 总结四:Linux与时间相关的常用命令
- 对于LINUX中常用压缩格式以及相关命令的总结
- Linux用户以及权限相关常用命令总结
- linux常用命令总结相关实例
- Linux系统常用命令总结
- linux 常用命令 自己总结
- Linux常用命令以及常遇问题总结
- Linux常用命令总结(1)
- linux常用命令总结
- Linux常用命令总结——文件管理
- linux 相关配置操作 待总结
- [048]linux常用命令总结
- Linux 系统的常用命令总结
- linux常用命令-----(自己常用的总结,待续)
- linux中常用技巧总结
- LINUX常用命令总结(一)--VI的使用
- linux常用命令总结