map reduce解决数据不平衡问题
2017-11-03 16:59
232 查看
hadoop数据不平衡有两种情况
第一种情况是某个NN的数据量很大
可以通过hadoop的balance进行数据平衡，可以多开几个map
第二种情况是某个key的数据很多，reduce过程很慢
可以把key分成多个key进行reduce,然后再进行合并。
第一种情况是某个NN的数据量很大
可以通过hadoop的balance进行数据平衡，可以多开几个map
第二种情况是某个key的数据很多，reduce过程很慢
可以把key分成多个key进行reduce,然后再进行合并。
https://www.zhihu.com/question/32054214
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 分类中数据不平衡问题的解决经验
- 如何解决机器学习中数据不平衡问题
- 分类中数据不平衡问题的解决经验（转）
- 分类中数据不平衡问题的解决经验
- 分类中数据不平衡问题的解决经验[转载]
- 如何解决机器学习中的数据不平衡问题
- 如何解决机器学习中数据不平衡问题
- 如何解决机器学习中的数据不平衡问题
- 如何解决机器学习中数据不平衡问题
- 如何解决机器学习中数据不平衡问题
- 如何解决机器学习中数据不平衡问题
- 如何解决机器学习中的数据不平衡问题
- 如何解决机器学习中数据不平衡问题
- 如何解决机器学习中数据不平衡问题
- 分类中数据不平衡问题的解决经验
- 如何解决机器学习中数据不平衡问题
- 分类中样本数据不平衡问题的解决方法
- 在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
- 分类中数据不平衡问题的解决经验
- 分类中数据不平衡问题的解决经验