Linking with Spark
18 August 2019
Spark 2.4.3은 간결하게 함수를 작성하기위한 람다식을 지원합니다. 혹은 org.apache.spark.api.java.function 패키지의 클래스를 사용할 수 있습니다.
Spark 2.2.0에서는 Java 7에 대한 지원이 제거되었다는 것을 명심하십시오.
Java로 Spark 애플리케이션을 작성하려면 Spark에 대한 dependency를 추가해야합니다.
Spark는 아래의 Maven Central을 통해 제공됩니다.
groupId = org.apache.spark
artifactId = spark-core_2.12
version = 2.4.3
groupId = org.apache.hadoop
artifactId = hadoop-client
version = [your-hdfs-version]
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkConf;
참조 : https://spark.apache.org/docs/latest/rdd-programming-guide.html