spark에서 kafka와 연동하기 위해서는 라이브러리가 필요하다.
라이브러리를 설치하기 위해서는 아래와 같이 패키지 옵션을 사용하면 자동으로 .ivy2 디렉토리에 라이브러리가 설치 된다.
org.apache.spark:spark-sql-kafka-{카프카버전}_{스칼라버전}:{스파크버전}
$ spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.2.0
인터넷이 되는 환경이 아니라며 직접 maven으로 빌드하여 파일을 옮겨야 한다.
.ivy2, .m2디렉토리에 빌드된 파일을 넣어야 하는데 이 방법은 복잡하니 그냥 인터넷 되는 환경에서 spark-shell로 설치한 .ivy2 디렉토리를 옮기는것을 추천
'BIGDATA > SPARK' 카테고리의 다른 글
| SPARK HA 구성 (0) | 2022.03.01 |
|---|---|
| spark --deploy-mode cluster 사용 시 pyspark 에러 발생 (0) | 2022.01.26 |
| spark 설치 (hive연동) (0) | 2021.11.27 |