Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- Next.js
- aws ec2
- prometheus
- 계정 관리
- Django
- Locust
- hive
- hard delete
- 오블완
- ci/cd
- 물리삭제
- 논리삭제
- AWS
- 티스토리챌린지
- JWT
- unique constraint
- Airflow
- NoSQL
- grafana
- 로그 백업
- Hadoop
- slack
- redis
- node exporter
- docker
- nginx
- logstash
- DAG
- soft delete
- elasticsearch
Archives
- Today
- Total
목록elasticsearch (1)
먹수의 개발일지
로그 파일 Logstash + ElasticSearch와 연동 (Docker)
Logstash → ElasticSearch 데이터 플로우로그 파일 생성:애플리케이션(Nginx, Django 등)이 로그 파일을 생성한다.예: service.log 파일에 JSON 형식으로 로그가 기록됨.Logstash 입력 단계 (Input):Logstash가 로그 파일을 모니터링한다.로그 파일이 업데이트되면 데이터를 읽어온다.Input Plugin: file, tcp, http 등 다양한 입력 소스를 지원한다.Logstash 필터링 단계 (Filter):읽어온 데이터를 정제하고 가공한다.예: 로그에서 불필요한 필드를 제거하거나, 새로운 필드를 추가한다.Filter Plugin: grok, mutate, date 등을 사용해 데이터 처리.Logstash 출력 단계 (Output):처리된 데이터를 El..
back-end/Monitoring
2024. 11. 18. 22:47