Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- nginx
- prometheus
- Airflow
- Locust
- NoSQL
- 논리삭제
- Next.js
- soft delete
- Django
- 오블완
- logstash
- grafana
- 로그 백업
- hard delete
- redis
- docker
- hive
- node exporter
- 티스토리챌린지
- 물리삭제
- unique constraint
- Hadoop
- slack
- elasticsearch
- 계정 관리
- DAG
- AWS
- JWT
- ci/cd
- aws ec2
Archives
- Today
- Total
목록docker (1)
먹수의 개발일지
로그 파일 Logstash + ElasticSearch와 연동 (Docker)
Logstash → ElasticSearch 데이터 플로우로그 파일 생성:애플리케이션(Nginx, Django 등)이 로그 파일을 생성한다.예: service.log 파일에 JSON 형식으로 로그가 기록됨.Logstash 입력 단계 (Input):Logstash가 로그 파일을 모니터링한다.로그 파일이 업데이트되면 데이터를 읽어온다.Input Plugin: file, tcp, http 등 다양한 입력 소스를 지원한다.Logstash 필터링 단계 (Filter):읽어온 데이터를 정제하고 가공한다.예: 로그에서 불필요한 필드를 제거하거나, 새로운 필드를 추가한다.Filter Plugin: grok, mutate, date 등을 사용해 데이터 처리.Logstash 출력 단계 (Output):처리된 데이터를 El..
back-end/Monitoring
2024. 11. 18. 22:47