먹수의 개발일지

Logstash → ElasticSearch 데이터 플로우로그 파일 생성:애플리케이션(Nginx, Django 등)이 로그 파일을 생성한다.예: service.log 파일에 JSON 형식으로 로그가 기록됨.Logstash 입력 단계 (Input):Logstash가 로그 파일을 모니터링한다.로그 파일이 업데이트되면 데이터를 읽어온다.Input Plugin: file, tcp, http 등 다양한 입력 소스를 지원한다.Logstash 필터링 단계 (Filter):읽어온 데이터를 정제하고 가공한다.예: 로그에서 불필요한 필드를 제거하거나, 새로운 필드를 추가한다.Filter Plugin: grok, mutate, date 등을 사용해 데이터 처리.Logstash 출력 단계 (Output):처리된 데이터를 El..

Intro서버에 남겨지는 로그 파일들을 주기적인 배치작업으로 S3에 백업하고자 했다. 간단하게 linux 환경에서 사용할 수 있는 crontab을 사용했다. 로그 작성할때마다 S3에 보내는것 보다는, 서버에 바로 로그를 남기고 몇일에 한번씩 해당 파일들을 백업해서 옮기는 것이 운영서버에 성능 부하를 덜 발생시킬 것이라고 생각했다. 서버 환경 - AWS amazon linux2 EC2 우선 수동으로 python으로 작성한 backupLog 파일을 실행해본다. sudo python /home/path/backupLog_to_s3.py 백업 파일은 직접 구현한, S3 API를 사용하여 파일을 저장하는 StorageS3 모듈을 사용한다.# -*- coding: utf-8 -*-from core.s3 import..

pcap파일로 네트워크 패킷을 저장해보자. 로컬에서는 wireshark라는 GUI로 패킷 수집 및 저장이 가능한 툴을 사용했다. 하지만 서비스를 운영중인 AWS EC2 환경에서 네트워크 패킷을 저장하는 것이 필요했다. 여러 툴 중에 tcpdump가 시스템 리소스를 적게 사용하여 서버 성능에 미치는 영향을 최소화 할 수 있다고 하여 tcpdump를 사용하기로 했다. 서버 환경Amazon linux2 tcpdump 설치sudo yum install tcpdump sudo tcpdump -i eth0 -w /path/to/file.pcap sudo tcpdump -i eth0 /home/ec2-user/temp_pcap/test.pcap tcpdump로 pcap 파일 읽기 tcpdump는 pcap 파일을 사람..

IntroKafka는 비동기 방식의 대표 스트리밍 플랫폼이다.Kafka는 언제 왜 사용하는가?빠른 데이터 수집 및 높은 처리량이벤트 처리 순서가 보장된다.적어도 한 번 전송 방식 → 메시지의 유실이 없도록 한다.producer → broker 메시지 전송broker → producer 메시지 잘 받았다고 ack 전달producer ack 받게 되면 다음 메시지 전달하고 받지 못하면 해당 메시지를 재 전송함 토픽 리스트 출력kafka-topics.sh --list --bootstrap-server Kafka01Service:9092test라는 토픽 생성하기kafka-topics.sh --create --bootstrap-server Kafka01Service:9092 --replication-factor ..

Intro Django API의  요청 수, 응답 시간 등을 수집하고 시각화하여 모니터링 하기 위해 django prometheus, Grafana를 사용하고자 했다.django-prometheus는 Django 애플리케이션에서 쉽게 Prometheus 메트릭을 수집할 수 있도록 설정을 제공한다.수집된 메트릭은 Prometheus로 전송되며, Prometheus와 Grafana는 쉽게 연동되어 메트릭 데이터를 시각화할 수 있다.  Prometheus + Grafana dockerdjango가 돌아가지 않는 별도의 서버에 아래 docker 구성으로 Prometheus와 Grafana를 서비스를 띄워준다. version: "3.8"networks: monitoring: driver: bridgeser..