Spark开发指南

使用sbt创建scala项目

SBT安装使用

  SBT支持Windows和Linux、Mac等操作系统

下载

  官方网站:http://www.scala-sbt.org/

  wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.6/sbt-0.13.6.tgz

安装

  解压下载包,把sbt/bin放到环境变量PATH下便可。

  通常先添加环境变量SBT_HOME,再把SBT_HOME/bin添加到PATH中

windows:

  假设把sbt-0.13.6.tgz解压到D:\software\中,设置如下环境变量:

SBT_HOME=D:\software\sbt
PATH=%SBT_HOME%\bin;JAVA_HOME\bin

  注:其中JAVA_HOME\bin为原来配置

Linux:

  假设把sbt-0.13.6.tgz解压到/opt/中:

tar -zxvf sbt-0.13.6.tgz -C /opt

  设置如下环境变量 vi /etc/profile:

export SBT_HOME=/opt/sbt
export PATH=$SBT_HOME%/in;$PATH

配置插件

  找到文件夹~/.sbt/0.13/plugins下面的plugins.sbt配置文件,如果没有相应文件夹和文件则创建。添加插件:

addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")

addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0")

  注:之间必须有空行,SBT语法要求。第一行用来生成eclipse项目配置文件,第三行用来生成Intellij IDEA的项目配置文件。

配置代理仓库

创建scala项目

项目目录结构:

├── src
│  ├── main
│  │  ├── java
│  │  ├── resources
│  │  └── scala
├── build.sbt
├── project
│  ├── build.properties
│  ├── plugins.sbt

  SBT使用的目录结构和MAVEN类似,在src/main/scala下编写scala代码,在src/marin/resources下编写配置文件。

build.sbt

  设置项目名称、版本、依赖,内容如下:

name := "spark"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.1.0"

  注:空行不能省略

project/build.properties

  设置SBT的版本:

sbt.version=0.13.6

project/plugins.sbt

  设置插件:

addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")

  如果在SBT安装时已经配置了sbteclipse插件,此处可以不写sbteclipse-plugin插件。

生成IDE配置

  如果你使用的是Eclipse:

sbt eclipse

  如果你使用的是Intellij IDEA项目

sbt idea