[DATA] Spark ETL

Spark는 대규모 데이터 처리를 위한 분산 컴퓨팅 시스템입니다. 원래 UC 버클리의 연구자 팀에 의해 개발되었으며, Hadoop의 MapReduce보다 빠르고 유연한 데이터 처리 기능을 제공합니다. Spark는 메모리 내에서 데이터를 처리하기 때문에, 디스크 기반의 처리보다 훨씬 빠른 성능을 자랑합니다. 또한, 다양한 언어(Scala, Java, Python, R)를 지원하여 개발자들이 쉽게 접근할 수 있도록 하고 있습니다.

### Spark로 ETL을 해야 하는 이유

Python이나 Pandas, Polars와 같은 도구들도 ETL 작업에 많이 사용되지만, Spark는 대규모 데이터 처리에 최적화되어 있습니다. 특히, 데이터의 양이 많아질수록 Spark의 성능이 더욱 두드러집니다. Spark는 클러스터 환경에서 실행되기 때문에, 여러 대의 서버를 활용하여 데이터를 병렬로 처리할 수 있습니다. 이로 인해 대량의 데이터를 신속하게 처리할 수 있는 장점이 있습니다.

또한, Spark는 다양한 데이터 소스와의 통합이 용이합니다. 예를 들어, HDFS, S3, JDBC 등 다양한 데이터 저장소에서 데이터를 읽고 쓸 수 있습니다. 이러한 유연성 덕분에 데이터 파이프라인을 구축할 때 Spark를 선택하는 것이 좋습니다.

### 기본 ETL 방식

ETL은 Extract, Transform, Load의 약자로, 데이터를 추출하고 변환한 후 로드하는 과정을 의미합니다. Spark를 이용한 ETL 과정은 다음과 같은 단계로 이루어집니다.

1. **데이터 추출 (Extract)**: 다양한 데이터 소스에서 데이터를 읽어옵니다. Spark는 여러 데이터 소스와의 연결을 지원하므로, 필요한 데이터를 쉽게 가져올 수 있습니다.
   
2. **데이터 변환 (Transform)**: 추출한 데이터를 필요한 형식으로 변환합니다. Spark의 DataFrame API를 사용하면 데이터 변환 작업을 간편하게 수행할 수 있습니다. 예를 들어, 필터링, 집계, 조인 등의 작업을 쉽게 처리할 수 있습니다.

3. **데이터 로드 (Load)**: 변환된 데이터를 최종 저장소에 저장합니다. Spark는 다양한 포맷으로 데이터를 저장할 수 있으며, 데이터 웨어하우스나 데이터 레이크에 쉽게 로드할 수 있습니다.

### Spark의 아키텍처

Spark의 아키텍처는 크게 Driver와 Executor로 나눌 수 있습니다. Driver는 작업을 관리하고, Executor는 실제 작업을 수행하는 역할을 합니다. Driver는 클러스터의 리소스를 할당하고, 작업을 Executor에 분배합니다. 이 구조 덕분에 Spark는 병렬 처리를 통해 높은 성능을 발휘할 수 있습니다. 

### 데이터 파이프라인의 구성 요소

데이터 파이프라인은 여러 구성 요소로 이루어져 있습니다. 일반적으로 다음과 같은 요소들이 포함됩니다.

- **데이터 수집기** : 모바일 기기나 서버에서 로그를 수집합니다.
- **메시지 큐** : 수집된 데이터를 큐에 저장하여 처리합니다.
- **데이터 레이크** : 원시 데이터를 저장하는 공간으로, HDFS나 GCS와 같은 저장소를 사용할 수 있습니다.
- **ETL 프로세스** : 데이터를 변환하고 정제하는 과정입니다.
- **데이터 웨어하우스** : 최종적으로 분석할 데이터를 저장하는 공간입니다. 

이러한 구성 요소들은 서로 연결되어 데이터 흐름을 형성합니다. 데이터 파이프라인의 각 단계는 데이터의 품질을 보장하고, 분석을 위한 준비를 합니다.

### 마무리 및 참고 자료

Spark를 이용한 데이터 파이프라인 구축은 대규모 데이터 처리에 매우 효과적입니다. 다양한 데이터 소스와의 통합, 빠른 처리 속도, 유연한 아키텍처 덕분에 많은 기업들이 Spark를 선택하고 있습니다. 데이터 엔지니어링에 관심이 있다면 Spark를 배우는 것이 큰 도움이 될 것입니다.

참고 자료:
- [파이프라인 최적화 및 디버깅 • Spark • 스파크 개념](https://www.palantir.com/docs/kr/foundry/optimizing-pipelines/spark-concepts)
- [Apache Spark 4.0 선언적 파이프라인 - 평범한 직장인이 사는 세상](https://digitalbourgeois.tistory.com/1798)
- [데이터 파이프라인(Data Pipeline) 개념 정리](https://seung2344.tistory.com/102)
- [SPARK 기본 개념 및 PANDAS와의 비교](https://dataengineerstudy.tistory.com/174)