Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- unique constraint
- Django
- 오블완
- 로그 백업
- node exporter
- hive
- Airflow
- aws ec2
- NoSQL
- ci/cd
- 물리삭제
- logstash
- 논리삭제
- hard delete
- Locust
- grafana
- elasticsearch
- docker
- JWT
- AWS
- 계정 관리
- Next.js
- 티스토리챌린지
- DAG
- Hadoop
- slack
- soft delete
- prometheus
- redis
- nginx
Archives
- Today
- Total
목록logstash (1)
먹수의 개발일지
로그 파일 Logstash + ElasticSearch와 연동 (Docker)
Logstash → ElasticSearch 데이터 플로우로그 파일 생성:애플리케이션(Nginx, Django 등)이 로그 파일을 생성한다.예: service.log 파일에 JSON 형식으로 로그가 기록됨.Logstash 입력 단계 (Input):Logstash가 로그 파일을 모니터링한다.로그 파일이 업데이트되면 데이터를 읽어온다.Input Plugin: file, tcp, http 등 다양한 입력 소스를 지원한다.Logstash 필터링 단계 (Filter):읽어온 데이터를 정제하고 가공한다.예: 로그에서 불필요한 필드를 제거하거나, 새로운 필드를 추가한다.Filter Plugin: grok, mutate, date 등을 사용해 데이터 처리.Logstash 출력 단계 (Output):처리된 데이터를 El..
back-end/Monitoring
2024. 11. 18. 22:47