Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- 티스토리챌린지
- AWS
- hard delete
- 물리삭제
- JWT
- ci/cd
- prometheus
- Django
- 계정 관리
- NoSQL
- redis
- docker
- soft delete
- unique constraint
- elasticsearch
- Airflow
- aws ec2
- hive
- Locust
- slack
- grafana
- Next.js
- 오블완
- DAG
- node exporter
- nginx
- Hadoop
- 논리삭제
- logstash
- 로그 백업
Archives
- Today
- Total
목록2024/11/18 (1)
먹수의 개발일지
로그 파일 Logstash + ElasticSearch와 연동 (Docker)
Logstash → ElasticSearch 데이터 플로우로그 파일 생성:애플리케이션(Nginx, Django 등)이 로그 파일을 생성한다.예: service.log 파일에 JSON 형식으로 로그가 기록됨.Logstash 입력 단계 (Input):Logstash가 로그 파일을 모니터링한다.로그 파일이 업데이트되면 데이터를 읽어온다.Input Plugin: file, tcp, http 등 다양한 입력 소스를 지원한다.Logstash 필터링 단계 (Filter):읽어온 데이터를 정제하고 가공한다.예: 로그에서 불필요한 필드를 제거하거나, 새로운 필드를 추가한다.Filter Plugin: grok, mutate, date 등을 사용해 데이터 처리.Logstash 출력 단계 (Output):처리된 데이터를 El..
back-end/Monitoring
2024. 11. 18. 22:47