孙其功陪你学之——基于IDEA使用Spark API开放Spark程序（2）

《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境；通过Spark的IDE搭建Spark开发环境；测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。

2.基于IDEA使用Spark API开放Spark程序（2）

下面修改Libraries：





因为要开发Spark程序，所以需要把Spark的开发需要的jar包导进来：





加入后：





导入包完成后，在工程的scala下面创建一个package：





创建一个Object对象：





完成初始类的创建：





首先构建Spark Driver的模板代码：





该程序是对前面的搜狗日志的处理代码，只不过这个时候在IDEA中编写而已。

接下来进行打包，使用Project Structure的Artifacts：





使用From modules with dependencies：





选择Main Class：









点击“OK”: