BIGDATA/HIVE

mr 엔진 사용 시 recursive directory 설정

옥토캣 2023. 8. 31. 17:46

hive external table을 사용할 경우 파티션 디렉토리 하위에 디렉토리가 있으면 데이터 조회가 안 됨

 

hive-site.xml에 설정 추가하여 하위 디렉토리까지 재귀탐색하게 설정 필요

    <property>
        <name>mapred.input.dir.recursive</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.mapred.supports.subdirectories</name>
        <value>true</value>
    </property>