对spark中RDD的理解

update at 2016.1.25

RDD作者的论文链接
https://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf
论文的理解：

spark要解决的问题：

1、有些数据要多次读写，磁盘速度很慢

2、没有交互的界面，不能看到中间结果

适用的应用：
1、机器学习：多个迭代次运算，逼近（优化问题）。==》是不是三维重建中优化也可以用到这个
2、计算结果还要用的：pagerank

解决办法==》数据抽象成RDD+memory-cache

其中提到finer- grained shared memory abstractions ，那么coarse又是什么呢

没看懂RDD是怎么实现的

继续学习