您的位置:首页 > 其它

Mapr与Mapreduce配合工作(五)——独立操作

2013-12-31 00:34 246 查看
MAPR支持独立模式下执行工作。要使用独立模式下,您必须安装MAPR核心软件包-具体而言,
MAPR芯
封装。您不需要安装或运行任何服务,包括典狱长。在独立模式下,一个单一的Java进程内执行本身使用本地文件系统中一个完整的Hadoop的工作。这个部署到集群节点数量较多之前是代码开发和调试很有用。请注意,MAPR客户端不支持独立模式下,您必须安装
MAPR核心


在独立模式下运行MAPR,包括使用本地文件系统的,设置
fs.default.name
FILE :/ / /
mapred.job.tracker
本地


另外,也可以在使用独立模式存取MAPR-FS数据。在这种情况下仍然只有一个正在运行的工作过程,但无论是输入或输出数据为MAPR-FS。在这种情况下,你当然必须有一个完全配置的群集,你不会设置
fs.default.name
如上图所示而是会离开它采用MAPR-FS默认值。

要设置只对当前作业的参数,指定它们在命令行上。例如:

要使参数更改永久,编辑配置文件:

添加参数
fs.default.name
核心的site.xml
并将其值设置为
FILE
:/ / /
重写默认的。
设置
mapred.job.tracker
当地
mapred-site.xml中



示例


输入和输出上的本地文件系统


输入从MAPR-FS


输出到MAPR-FS

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: