使用Eclipse开发Spark应用

下载

官方网址：www.eclipse.org

　　如果使用Scala语言开发Spark应用，最好下载kepler也就是4.3，因为此时最新的Eclipse Scala插件不支持Eclipse的4.3之后的版本。

安装

安装JDK

参考JDK安装配置

安装Scala

参考Scala安装配置

安装Eclipse

解压后直接可用

安装Eclipse的Scala插件

　　在Eclipse中的Help菜单下，点击Install New Softwar，在弹出的窗口中的Work with输入框里输入下面的链接：

http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site

　　选中Scala IDE for Eclipse，然后点击“Next”进行安装

　　注意：Spark1.1.0使用的Scala是基于2.10版本的。

创建项目

scala语言

参考使用sbt创建scala项目

导入Scala项目

　　打开Eclipse，点击菜单File，然后选择Import。

　　在弹出的Import窗口选择General/Existing Projects into Workspace。

　　选择“Next”进入下个窗口，点击Select root directory右边的Browse选择上面生成的Scala项目。

　　然后选择“finish”导入完成。

　　注：以上也是导入普通eclipse项目的方法，sbt eclipse把项目转换成了普通的scala项目。

基于Maven创建java项目

参考使用maven创建Java项目

导入Maven项目

　　打开Eclipse，点击菜单File，然后选择Import。

　　在弹出的Import窗口选择Maven/Existing Maven Projects。

　　选择“Next”进入下个窗口，点击Select root directory右边的Browse选择上面生成的Scala项目。

　　然后选择“finish”导入完成。