spark-submit으로 application을 실행 시킬 때 AM 리소스가 초과되었다는 에러가 발생했다.
해결 방법은 3가지로 보인다.
1. AM 사용량 늘려주기
capacity-scheduler.xml 파일에 yarn.scheduler.capacity.maximum-am-resource-percent 설정을 변경한다.
디폴트값은 0.1이며 이는 yarn이 전체 자원중 10프로를 AM으로 사용하겠다는 뜻이다.
2. spark-submit 실행 시 driver 자원 사용량 설정
--driver-memory 옵션을 사용하여 자원 사용량을 줄인다. (디폴트는 1024M)
'BIGDATA > HADOOP' 카테고리의 다른 글
hadoop namenode log level 재기동 없이 변경하는 방법 (0) | 2022.04.15 |
---|---|
namenode heap 메모리 부족 에러 (0) | 2022.04.14 |
mr을 yarn 프레임워크에서 실행 하기 (0) | 2022.01.18 |
hadoop 클러스터 설치 (0) | 2021.11.27 |
jdk, zookeeper 설치 (0) | 2021.11.27 |