[Hive] Hive (하이브) 설치 및 Hadoop 연동하기

개발 환경

- OS: Ubuntu

- Hadoop 설치되어 있는 name node docker container

Hive 설치

hadoop 3.3.6과 호환되는 hive 3.1.3을 설치해준다.

https://downloads.apache.org/hive/

wget <https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz>

tar -xvzf 파일명.tar.gz

 

hive가 설치된 경로를 HIVE_HOME 환경변수로 지정

export HIVE_HOME=/home/hive/apache-hive-3.1.3-bin
export PATH=$HIVE_HOME/bin:$PATH

source ~/.bashrc

 

 

Hadoop 경로 지정은 필수다.

export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

 

Hive metastore DB 변경

Hive 메타스토어 초기화

• 기본적으로 내장된 Derby 데이터베이스를 사용할 수 있지만, MySQL 또는 PostgreSQL 같은 외부 데이터베이스를 사용할 수도 있다.

 

PostgreSQL로 변경

 

postgresql JDBC 드라이버 설치

→ 사용할 postgresql DB 버전을 확인한 후 호환되는 버전으로 설치 필요

# PostgreSQL JDBC 드라이버 다운로드
wget <https://jdbc.postgresql.org/download/postgresql->.jar

# Hive 설치 경로의 lib 디렉터리에 복사
cp postgresql-.jar $HIVE_HOME/lib/

 

hive-site.xml 파일 수정

파일 경로 : $HIVE_HOME/conf/

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:postgresql://localhost:5432/hive_metastore</value>
  <description>JDBC connection string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>org.postgresql.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hiveuser</value>
  <description>Username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>yourpassword</value>
  <description>Password to use against metastore database</description>
</property>

# hadoop nn 위에 설치하는 과정에서 이슈 : /user/hive/warehouse -> 이렇게 지정하게 될 경우, nn라고 클러스터 구축해놓은 host 주소로 잡혀 

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>hdfs://localhost:9000/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>

 

 

Hive 메타스토어의 테이블 스키마를 PostgreSQL에 생성

hive --service schemaTool -initSchema -dbType derby

 

Hive 설정 파일 수정

cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml

 

spark와 통신하기 위해서는

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://localhost:9083<value/>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
  </property>

 

Hive 실행

./hive

#thrift 서버 실행
hive --service metastore

#thrift 서버 백그라운드로 실행
hive --service metastore &

 

실행 오류 해결

1. hive-site.xml에 description 쪽에 for ~ transaction 사이에 기호 문자 삭제 필요
2. https://softchief.com/2018/01/30/solved-hive-work-directory-creation-issue/ 

hive-site.xml에 해당 설정 추가해주기

<property>		
	<name>hive.exec.scratchdir</name>		
	<value>/tmp/hive</value>	
</property>	
<property>		
	<name>hive.exec.local.scratchdir</name>		
	<value>/tmp/hive</value>	
</property>

 

 

해당 경로(절대 경로) 파일 활용하여 hadoop과 잘 연동되어 있는지 테스트하기

tab이나 컴마로 구분된 data.txt파일을 준비해 놓는다.

1    John Doe
2    Jane Smith
3    Bob Johnson
4    Alice Brown
5    Charlie White

CREATE TABLE test (id INT, name STRING);
LOAD DATA LOCAL INPATH '/home/data/data.txt' INTO TABLE test;
SELECT * FROM test;