yarn AM resource limit exceeded 에러

 

spark-submit으로 application을 실행 시킬 때 AM 리소스가 초과되었다는 에러가 발생했다.

 

해결 방법은 3가지로 보인다.

1. AM 사용량 늘려주기

capacity-scheduler.xml 파일에 yarn.scheduler.capacity.maximum-am-resource-percent 설정을 변경한다.

디폴트값은 0.1이며 이는 yarn이 전체 자원중 10프로를 AM으로 사용하겠다는 뜻이다.

 

2. spark-submit 실행 시 driver 자원 사용량 설정

--driver-memory 옵션을 사용하여 자원 사용량을 줄인다. (디폴트는 1024M)