Mac 下使用Spark不能加载本地Hadoop库问题解决

在Mac上安装测试Spark时，在执行一个Job（用Python调用）时出现以下错误：

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/11/22 11:01:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

虽然不影响执行，但是看着别扭。因为在使用Hadoop时，也出现了此类警告，通过在本机Build源码，建立基于本机平台的libhadoop.dylib动态库（备注：如果是Linux系统，是libhadoop.so），已经解决这个问题，使用Spark出现此类问题，说明spark找不到这个库，鉴于Spark采用Java开发，查找和加载相关类库是通过$JAVA_HOME，看到在这个目录的jre/lib下有个native目录，保存的都是dylib文件，试着将Hadoop安装目录下lib/native中的libhadoop.dylib文件拷贝到这来，重新执行程序，不再出现此警告。