filebeat (3) 썸네일형 리스트형 6. filebeat agent 설정 1. 기본 설정 [root@filebeat]# vim /etc/filebeat/filebeat.yml # 데이터 input. 30초 마다 로그 경로에 접근하여 새로운 데이터를 읽어 들임. # /var/lib/filebeat 경로에 offset 값 기록 filebeat.inputs: ... - type: log enabled: true paths: - {log path}/*.log.gz # 데이터 output. logstash와, elasticsearch로 보낼수 있음. output.logstash: # The Logstash hosts hosts: ["{logstash ip}:5044"] 2. 서비스 시작 [root@filebeat]# systemctl start filebeat 3. 모듈 사용 - 지원.. 2. ELK Stack 설치 환경 : 1개의 머신(CentOS7)에 Elasticsearch 단일 노드 + Kibana + Logstash 설치, 수집 대상에 Filebeat 설치 기본 설치 # OpenJDK 1.8.0 설치 [root@localhost] # yum install java-1.8.0-openjdk # java 버전 확인 [root@localhost] # java -version # elasticsearch repo 추가 [root@localhost] # rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch [root@localhost] # cat /etc/yum.repos.d/elasticsearch.repo [elasticsearch] name=Elast.. 1. 개요 개요 : Elasticsearch(데이터 가공, 검색, 분석 엔진) + Logstash(로그 수집 필터) + Kibana(데이터 시각화) + Filebeat(로그수집) 을 기반으로 한 시스템 로그 및 시각화 목적 : Cloudflare Log 파싱 + 시스템 로그 + 네트워크 장비 로그 수집 등의 집중화 아래 절차 들은 GCP storage로 푸쉬되는 Cloudflare Spectrum Log를 gsutil을 사용한 별도의 스크립트로 다운 받고 이를 elasticsearch로 전송하는 일련의 과정이 포함되어 있음. 이전 1 다음