먹수의 개발일지

개발 환경- OS: Ubuntu- Hadoop 설치되어 있는 name node docker containerHive 설치hadoop 3.3.6과 호환되는 hive 3.1.3을 설치해준다.https://downloads.apache.org/hive/wget tar -xvzf 파일명.tar.gz hive가 설치된 경로를 HIVE_HOME 환경변수로 지정export HIVE_HOME=/home/hive/apache-hive-3.1.3-binexport PATH=$HIVE_HOME/bin:$PATHsource ~/.bashrc  Hadoop 경로 지정은 필수다.export HADOOP_HOME=/opt/hadoopexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport PA..

IntroHDFS 명령어로 디렉토리를 생성, 삭제하고  파일을 삭제, 복사, 다운로드, 출력하는 명령어를 정리해보자. 디렉토리 관리디렉토리 생성 및 조회hdfs dfs -mkdir [디렉터리 명]hdfs dfs -ls / #생성된 전체 디렉토리 리스트 확인hdfs dfs -ls /user #user 디렉토리의 하위 폴더 및 파일들 확인 디렉토리/파일 삭제-f : 진단 메시지를 보이지 않거나, 파일이 존재 하지 않을 경우 에러를 나타내기 위한 exist status 를 수정한다.-r : 컨텐츠와 디렉터리를 recursive 하게 삭제한다.hdfs dfs -rm -r [directory path] #hdfs dfs rmdir [directory path]와 동일하게 사용 가능하다.hdfs dfs -rm ..