더블리의 12층

SparkSessionWrapper

• SparkSessionWrapper를 생성하는 이유는 SparkSession을 시작/중지하는 비용이 크기 때문에
• SparkSession을 하나 생성해서 빠르게 코드 수행이 가능하다.

• trait은 java에서 interface를 생각하면 된다. 사용하기 위해서는 with를 통해 확장이 가능하다.
• 여기서 lazy를 사용하는 이유는 정의된 spark의 변수가 처음 사용될때 코드가 실행되도록
  • that a val is executed when it is defined
  • a lazy val is executed when it is accessed the first time.
• getOrCreate의 메소드는 SparkSession이 있으면 가져오고, 없으면 새로 생성하는 메소드

Lazy Example