Hadoop pipes
2015-06-30 16:31
239 查看
4. 总结
Hadoop pipes给C++程序员提供了一个编写MapReduce作业的方案,它使用socket让Java和C++之间进行通信,这类似于thrift RPC的原理,也许Hadoop Pipes用thrift编写会更加简单。
Hadoop pipes使用Java代码从HDFS上读写数据,并将处理逻辑封装到C++中,数据会通过socket从Java传输给C++,这虽然增加了数据传输的代价,但对于计算密集型的作业,其性能也许会有改进。
Hadoop pipes给C++程序员提供了一个编写MapReduce作业的方案,它使用socket让Java和C++之间进行通信,这类似于thrift RPC的原理,也许Hadoop Pipes用thrift编写会更加简单。
Hadoop pipes使用Java代码从HDFS上读写数据,并将处理逻辑封装到C++中,数据会通过socket从Java传输给C++,这虽然增加了数据传输的代价,但对于计算密集型的作业,其性能也许会有改进。
相关文章推荐
- Linux档案权限
- 用Apache Kafka构建流数据平台
- SVN设置pre-commit和pre-revprop-change钩子
- nginx启动脚本
- Linux定时修改MySQL慢查询日志文件名
- Postback回发事件的真实感触
- linux命令行编辑快捷键
- 什么是Docker? 为什么要用Docker?
- Linux下汇编语言------找出最大数
- Centos Denyhosts 一键安装配置脚本
- linux 查看大文件
- 如何处理Tomcat日志catalina.out日志文件过大的问题
- RunLoop 原理和核心机制
- centos6 安装mysql5.77(开发版)
- dubbo学习笔记-关于架构
- CDH(Cloudera)与hadoop(apache)对比
- Linux嵌入式开发中常用的两个工具
- 虚拟机安装centos系统时候,为什么有时候可以出现图文界面,有时候不能?
- nginx配置www.conf
- centos通过桥接模式配置静态IP