spark学习笔记：考察集群的文件读取机制

在master与三台从机上分别新建test.txt文件，每台机器上的文件内容写入“主机名+相同文本”，示例如下：

master:hello

slave1:hello

slave2:hello

slave3:hello

进入集群spark-shell：

spark-shell --master spark://master:7077

执行以下语句：

sc.textFile("/home/daya/test.txt")
res0.first

发现输出为：



集群下的spark读取文件默认是从集群上读取，具体从哪一个节点上读取文件是未知的