Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- DAG
- soft delete
- Airflow
- NoSQL
- 계정 관리
- nginx
- 논리삭제
- AWS
- 티스토리챌린지
- Hadoop
- Django
- Locust
- elasticsearch
- grafana
- docker
- hive
- 로그 백업
- hard delete
- aws ec2
- redis
- slack
- 오블완
- logstash
- Next.js
- 물리삭제
- prometheus
- JWT
- unique constraint
- node exporter
- ci/cd
Archives
- Today
- Total
목록cron (1)
먹수의 개발일지
[Crontab] log backup to S3
Intro서버에 남겨지는 로그 파일들을 주기적인 배치작업으로 S3에 백업하고자 했다. 간단하게 linux 환경에서 사용할 수 있는 crontab을 사용했다. 로그 작성할때마다 S3에 보내는것 보다는, 서버에 바로 로그를 남기고 몇일에 한번씩 해당 파일들을 백업해서 옮기는 것이 운영서버에 성능 부하를 덜 발생시킬 것이라고 생각했다. 서버 환경 - AWS amazon linux2 EC2 우선 수동으로 python으로 작성한 backupLog 파일을 실행해본다. sudo python /home/path/backupLog_to_s3.py 백업 파일은 직접 구현한, S3 API를 사용하여 파일을 저장하는 StorageS3 모듈을 사용한다.# -*- coding: utf-8 -*-from core.s3 import..
back-end/Monitoring
2024. 11. 14. 16:44