먹수의 개발일지

Intro유저의 승인 상태 값이 변경(ex.승인대기중 → 승인)되었을때 자동으로 유저에게 승인 완료 메일이 날아가도록 구현하기 위해 사용했다. 임시적으로 django Admin에서 유저의 값을 변경했을 때 해당 기능이 실행되도록 구현해야 했기 때문에, view에서 처리할 수는 없었다. signal이란Django 공식문서 Django includes a “signal dispatcher” which helps decoupled applications get notified when actions occur elsewhere in the framework.Signal은 분리된 어플리케이션의 작업이 발생했음을 알려주고 처리할 수 있는 기능이다. Django signal은 DB 에 값이 저장 직전(pre_sav..

IntroHDFS 명령어로 디렉토리를 생성, 삭제하고  파일을 삭제, 복사, 다운로드, 출력하는 명령어를 정리해보자. 디렉토리 관리디렉토리 생성 및 조회hdfs dfs -mkdir [디렉터리 명]hdfs dfs -ls / #생성된 전체 디렉토리 리스트 확인hdfs dfs -ls /user #user 디렉토리의 하위 폴더 및 파일들 확인 디렉토리/파일 삭제-f : 진단 메시지를 보이지 않거나, 파일이 존재 하지 않을 경우 에러를 나타내기 위한 exist status 를 수정한다.-r : 컨텐츠와 디렉터리를 recursive 하게 삭제한다.hdfs dfs -rm -r [directory path] #hdfs dfs rmdir [directory path]와 동일하게 사용 가능하다.hdfs dfs -rm ..

Intro Django API의  요청 수, 응답 시간 등을 수집하고 시각화하여 모니터링 하기 위해 django prometheus, Grafana를 사용하고자 했다.django-prometheus는 Django 애플리케이션에서 쉽게 Prometheus 메트릭을 수집할 수 있도록 설정을 제공한다.수집된 메트릭은 Prometheus로 전송되며, Prometheus와 Grafana는 쉽게 연동되어 메트릭 데이터를 시각화할 수 있다.  Prometheus + Grafana dockerdjango가 돌아가지 않는 별도의 서버에 아래 docker 구성으로 Prometheus와 Grafana를 서비스를 띄워준다. version: "3.8"networks: monitoring: driver: bridgeser..

IntroAirflow DAG를 실행시 실패 혹은 성공했을 때 알림을 받고자 했다.Slack webhook url은 https://api.slack.com/apps 해당 사이트에서 Create New APP을 통해 새로 생성하거나 기존 webhook url을 확인할 수 있다.Airflow Callback 작성dags 폴더 구조는 아래와 같다.dags├── plugins│ └── slack.py└── test.py  Airflow에서 Callback 종류 *context로 전달되는 매개변수 정보 on_success_callbackTask 성공 시 호출된다.on_failure_callbackTask 실패 시 호출된다.sla_miss_callbackTask가 정해진 SLA를 충족하지 못할 때 호출된다.o..