먹수의 개발일지

airflow 계정 리스트 조회airflow users list 계정 생성하기-r : 역할 종류는 아래에 맞게 선택하면 된다. RolePermissionAdminUser 추가 및 권한 부여, 취소를 포함한 모든 권한 (관리자)User뷰어와 동일하지만 DAG에 대한 편집 권한(지우기, 트리거, 일시 중지 등)이 존재 (개발자)Op사용자와 동일하지만 연결, 풀, 변수, XCom 및 구성을 보고 편집할 수 있는 추가 권한ViewerDAG에 대한 읽기 액세스Public권한 없음 airflow users create -f [이름] -l [성] -u [아이디] -e [이메일] -r Admin -p [비밀번호]   계정 삭제하기airflow users delete --email {e_mail} --username {..

IntroAirflow DAG를 실행시 실패 혹은 성공했을 때 알림을 받고자 했다.Slack webhook url은 https://api.slack.com/apps 해당 사이트에서 Create New APP을 통해 새로 생성하거나 기존 webhook url을 확인할 수 있다.Airflow Callback 작성dags 폴더 구조는 아래와 같다.dags├── plugins│ └── slack.py└── test.py  Airflow에서 Callback 종류 *context로 전달되는 매개변수 정보 on_success_callbackTask 성공 시 호출된다.on_failure_callbackTask 실패 시 호출된다.sla_miss_callbackTask가 정해진 SLA를 충족하지 못할 때 호출된다.o..

#Dag 테스트airflow dags test DAG_NAME YYYY-MM-DD#Task 테스트airflow tasks test DAG_NAME TASK_NAME YYYY-MM-DDDebug interactively with dag.test()디버깅 환경 구축이 필요한 이유DAG에 코드를 작성하고 디버깅하는 과정에서 매번 schedule로 실행하여 확인할 수는 없다. Airflow scheduler에서 실행하지 않고 DAG를 vs code와 같은 에디터에서 빠르게 디버깅하고 테스트할 수 있는 방법을 알아보자.- Airflow 2.8.0 in docker container-  IDE : VS Code Dag 파일에 test 설정아래와 같이 dag.test()를 추가해준다.if __name__ == "__..