Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- 티스토리챌린지
- soft delete
- redis
- Next.js
- nginx
- 오블완
- node exporter
- grafana
- logstash
- aws ec2
- Locust
- JWT
- prometheus
- hive
- hard delete
- ci/cd
- Airflow
- NoSQL
- unique constraint
- Django
- 논리삭제
- 물리삭제
- Hadoop
- 로그 백업
- elasticsearch
- slack
- DAG
- 계정 관리
- docker
- AWS
Archives
- Today
- Total
목록2024/11/14 (1)
먹수의 개발일지
[Crontab] log backup to S3
Intro서버에 남겨지는 로그 파일들을 주기적인 배치작업으로 S3에 백업하고자 했다. 간단하게 linux 환경에서 사용할 수 있는 crontab을 사용했다. 로그 작성할때마다 S3에 보내는것 보다는, 서버에 바로 로그를 남기고 몇일에 한번씩 해당 파일들을 백업해서 옮기는 것이 운영서버에 성능 부하를 덜 발생시킬 것이라고 생각했다. 서버 환경 - AWS amazon linux2 EC2 우선 수동으로 python으로 작성한 backupLog 파일을 실행해본다. sudo python /home/path/backupLog_to_s3.py 백업 파일은 직접 구현한, S3 API를 사용하여 파일을 저장하는 StorageS3 모듈을 사용한다.# -*- coding: utf-8 -*-from core.s3 import..
back-end/Monitoring
2024. 11. 14. 16:44