Spark: The Definition Guide

Chapter 8

스파크 애플리케이션에서는 다양한 데이터셋을 함께 결합해 사용하는 경우가 더 많다. 따라서 조인은 거의 모든 스파크 작업에 필수적으로 사용된다. 스파크는 서로 다른 데이터를 조합할 수 있으므로 데이터를 처리할 떄 기업의 여러 데이터소스를 활용할 수 있다. 이 장에서는 스파크가 지원하는 조인 타입과 사용법 그리고 실제 스파크가 클러스터에서 어떻게 조인을 실행하는지 생각해볼 수 있도록 기본적인 내부 동작 방식을 다룬다. 이러한 기초 지식은 메모리 부족 상황을 회피하는 방법과 이전에 풀지 못했던 문제를 해결하는데 도움이된다.