Mapr与Mapreduce配合工作(五)——独立操作
2013-12-31 00:34
246 查看
MAPR支持独立模式下执行工作。要使用独立模式下,您必须安装MAPR核心软件包-具体而言,
在独立模式下运行MAPR,包括使用本地文件系统的,设置
另外,也可以在使用独立模式存取MAPR-FS数据。在这种情况下仍然只有一个正在运行的工作过程,但无论是输入或输出数据为MAPR-FS。在这种情况下,你当然必须有一个完全配置的群集,你不会设置
要设置只对当前作业的参数,指定它们在命令行上。例如:
要使参数更改永久,编辑配置文件:
添加参数
设置
MAPR芯封装。您不需要安装或运行任何服务,包括典狱长。在独立模式下,一个单一的Java进程内执行本身使用本地文件系统中一个完整的Hadoop的工作。这个部署到集群节点数量较多之前是代码开发和调试很有用。请注意,MAPR客户端不支持独立模式下,您必须安装
MAPR核心。
在独立模式下运行MAPR,包括使用本地文件系统的,设置
fs.default.name到
FILE :/ / /和
mapred.job.tracker到
本地。
另外,也可以在使用独立模式存取MAPR-FS数据。在这种情况下仍然只有一个正在运行的工作过程,但无论是输入或输出数据为MAPR-FS。在这种情况下,你当然必须有一个完全配置的群集,你不会设置
fs.default.name如上图所示而是会离开它采用MAPR-FS默认值。
要设置只对当前作业的参数,指定它们在命令行上。例如:
添加参数
fs.default.name在
核心的site.xml并将其值设置为
FILE :/ / /重写默认的。
设置
mapred.job.tracker到
当地的
mapred-site.xml中。
示例
输入和输出上的本地文件系统
输入从MAPR-FS
输出到MAPR-FS
相关文章推荐
- Mapr与Mapreduce配合工作(三)——容量调度
- Mapr与Mapreduce配合工作(四)——公平调度
- Mapr与Mapreduce配合工作(六)——调整您的MAPR安装
- Mapr与Mapreduce配合工作(七)——MAPR提供快速通道(称为ExpressLane)
- Mapr与Mapreduce配合工作(八)——编译程序管道
- Mapr与Mapreduce的工作(一)
- Mapr与Mapreduce的工作(二)——配置Mapreduce
- Mapr与Mapreduce的工作(三)——配置Mapreduce
- Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
- 真实工作经验总结——案例解析企业选型操作步骤
- MapReduce程序的工作过程
- mapreduce操作HBase
- 多步 OLE DB 操作产生错误。如果可能,请检查每个 OLE DB 状态值。没有工作被完成。
- Fragment UI与工作分离操作
- HDFS 的工作机制:写操作
- 独立主机discuz 7.0论坛备份和恢复相关操作
- 多步 OLE DB 操作产生错误。如果可能,请检查每个 OLE DB 状态值。没有工作被完成
- JVM内存模型 - 主内存和线程独立的工作内存
- 【Hadoop权威指南】MapReduce的工作机制
- 用mapreduce来操作hbase的两点优化