| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- 로그 백업
- elasticsearch
- Locust
- hive
- nginx
- 논리삭제
- grafana
- JWT
- Airflow
- unique constraint
- docker
- hard delete
- redis
- slack
- Django
- NoSQL
- prometheus
- ci/cd
- AWS
- node exporter
- 계정 관리
- logstash
- soft delete
- 오블완
- 물리삭제
- DAG
- Next.js
- Hadoop
- 티스토리챌린지
- aws ec2
- Today
- Total
목록데이터 엔지니어링/Hadoop (3)
먹수의 개발일지
[Hive] Hive (하이브) 설치 및 Hadoop 연동하기
개발 환경- OS: Ubuntu- Hadoop 설치되어 있는 name node docker containerHive 설치hadoop 3.3.6과 호환되는 hive 3.1.3을 설치해준다.https://downloads.apache.org/hive/wget tar -xvzf 파일명.tar.gz hive가 설치된 경로를 HIVE_HOME 환경변수로 지정export HIVE_HOME=/home/hive/apache-hive-3.1.3-binexport PATH=$HIVE_HOME/bin:$PATHsource ~/.bashrc Hadoop 경로 지정은 필수다.export HADOOP_HOME=/opt/hadoopexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport PA..
[Hadoop] 하둡 명령어 정리 디렉토리 생성/삭제 및 파일 조회
IntroHDFS 명령어로 디렉토리를 생성, 삭제하고 파일을 삭제, 복사, 다운로드, 출력하는 명령어를 정리해보자. 디렉토리 관리디렉토리 생성 및 조회hdfs dfs -mkdir [디렉터리 명]hdfs dfs -ls / #생성된 전체 디렉토리 리스트 확인hdfs dfs -ls /user #user 디렉토리의 하위 폴더 및 파일들 확인 디렉토리/파일 삭제-f : 진단 메시지를 보이지 않거나, 파일이 존재 하지 않을 경우 에러를 나타내기 위한 exist status 를 수정한다.-r : 컨텐츠와 디렉터리를 recursive 하게 삭제한다.hdfs dfs -rm -r [directory path] #hdfs dfs rmdir [directory path]와 동일하게 사용 가능하다.hdfs dfs -rm ..
[Docker] Ubuntu에 Hadoop 클러스터 구성하기
클러스터 구축 방향 및 환경 일반적으로 다수의 컴퓨터로 하둡 클러스터를 구성하지만 다수의 컴퓨터를 보유하여 진행하기 어렵기 때문에, 하나의 컴퓨터에서 docker를 활용하여 클러스터를 구성하려고 한다. 로컬 환경 : Mac OS Docker OS : Ubutu 22.04 Hadoop 3.3.6 NameNode 1개, DataNode 3개 Ubuntu에 Hadoop 설치를 위한 환경 세팅 Docker를 통한 Ubuntu 이미지 다운로드 및 container 생성 사용할 Ubuntu 버전의 이미지를 다운로드 및 실행한다. $ docker run ubuntu:22.04 만약 다운받은 이미지를 원하는 이름으로 다시 만들고 싶거나 새로운 container를 만들고 싶다면 아래와 같이 이름(ubuntu)로 지정하여..