spark学习笔记:考察集群的文件读取机制

来源:互联网 发布:2017年度人工智能报告 编辑:程序博客网 时间:2024/06/09 12:10

在master与三台从机上分别新建test.txt文件,每台机器上的文件内容写入“主机名+相同文本”,示例如下:
master:hello
slave1:hello
slave2:hello
slave3:hello

进入集群spark-shell:

spark-shell --master spark://master:7077

执行以下语句:

sc.textFile("/home/daya/test.txt")res0.first

发现输出为:

集群下的spark读取文件默认是从集群上读取,具体从哪一个节点上读取文件是未知的

原创粉丝点击