spark读取外部配置文件之--files
2018-03-06 14:37
423 查看
在运行spark程序的时,有时需要读取外部配置参数,比如mysql的host参数、端口号、es主机ip、es端口号等。通过外部文件配置参数也方便程序迁移。下面就来看看如何来实现。
1、首先我们需要一个配置文件:
property.yml
es.nodes: 192.16.8.16
es.port: 92002、上传配置文件到某个节点:
3、然后需要在程序里加上如下代码:
5、上传 test.jar 到集群
6、执行 submit 命令
spark-submit --master yarn-cluster --class com.Test --files /home/lw/property.yml /home/lw/test.jar--files 参数指定我们需要加载的外部配置文件
链接:spark读取外部配置文件
1、首先我们需要一个配置文件:
property.yml
es.nodes: 192.16.8.16
es.port: 92002、上传配置文件到某个节点:
3、然后需要在程序里加上如下代码:
Properties props = new Properties(); props.load(new FileInputStream("property.yml")); String nodes = props.getProperty("es.nodes"); String port = props.getProperty("es.port");4、通过 Maven打包程序:test.jar
5、上传 test.jar 到集群
6、执行 submit 命令
spark-submit --master yarn-cluster --class com.Test --files /home/lw/property.yml /home/lw/test.jar--files 参数指定我们需要加载的外部配置文件
链接:spark读取外部配置文件
相关文章推荐
- jar包读取jar包内部和外部的配置文件
- Spring 基于注解装配依赖对象和引用外部文件读取数据库配置
- spring配置文件中读取外部参数
- jar读取外部和内部配置文件的问题
- flash读取外部xml配置文件基本方法
- tomcat部署、实现war包读取外部动态配置文件
- spring读取项目外部property配置文件
- jar读取外部和内部配置文件的问题
- 【Spark】SparkStreaming-加载外部配置文件
- Spark加载外部配置文件
- 可执行jar怎么读取外部配置文件
- Spark加载外部配置文件
- main函数读取jar包外部的配置文件properties
- Spring Bean配置中读取外部属性文件
- C# 使用app.config文件方法 读取外部配置信息
- jar读取外部的配置文件如perperties
- spark读取配置文件中的配置
- flash读取外部xml配置文件基本方法
- springboot在jar包外部读取配置文件