분류 전체보기 (307) 썸네일형 리스트형 [kibana] elasticsearch cluster에 kibana 붙이기 구축하기 전에이전 글에 이어 ES cluster에 kibana를 붙이고 xpack.security에 관한 설정도 같이 진행해 보려고 한다.관련글은 아래 링크를 참조 하도록 한다.elasticsearch 단일 node에 8.14.x 설치하기(SSL 포함)elasticsearch cluster 구축하기 elasticsearch cluster에 kibana 붙이기(SSL 포함)elasticsearch cluster에 logstash 붙이기(SSL 포함)elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[1]elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[2]elasticsearch Data Stream에 ILM 적용시켜보기 .. [elasticsearch] cluster 구축하기(8.14.x, CentOS, xpack security) 구축하기 전에관련글은 아래 링크를 참조 하도록 한다.elasticsearch 단일 node에 8.14.x 설치하기(SSL 포함)elasticsearch cluster 구축하기 elasticsearch cluster에 kibana 붙이기(SSL 포함)elasticsearch cluster에 logstash 붙이기(SSL 포함)elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[1]elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[2]elasticsearch Data Stream에 ILM 적용시켜보기 설치 환경은 아래와 같다.OS : CentOS Stream release 8Kernel : 4.18.0-553.6.1.el8... [elasticsearch] 단일 node에 8.14.x 설치(CentOS, xpack security) 설치하기 전에관련글은 아래 링크를 참조 하도록 한다.elasticsearch 단일 node에 8.14.x 설치하기(SSL 포함)elasticsearch cluster 구축하기 elasticsearch cluster에 kibana 붙이기(SSL 포함)elasticsearch cluster에 logstash 붙이기(SSL 포함)elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[1]elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[2]elasticsearch Data Stream에 ILM 적용시켜보기 elasticsearch 8.14.x 버전은 redhat 기준으로 CentOS7, RHEL8, RHEL9 가 지원되며 (8... [elasticsearch] Query DSL(Domain Specific Language) elasticsearch는 query를 json 형식으로 하는 Query DSL 제공한다. 또한 query절은 query context, filter context에 따라 관련성 점수(Relevance score)가 달라진다.query context, filter context 관련 참고 : - https://ploz.tistory.com/entry/elasticsearch-Query-DSL-%EA%B4%80%EB%A0%A8%EC%84%B1-%EC%A0%90%EC%88%98Relevance-score - https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html Boolean query복합쿼리의 .. [elasticsearch] document 관련 API(조회,추가,수정,삭제 등) Query DSL 전에 간단히 document 관련 API를 사용하는 방법을 다루고자 한다.Document CRUD(Create Read Update Delete)는 HTTP Restful API를 통해 수행되며 완전히 같지는 않지만 다음과 같이 RDB의 SQL과 대응 가능하다.Elasticsearch Restful APIRDB SQLGETSELECTPUTINSERTPOSTUPDATEDELETEDELETE curl을 통해 수행하며 자주 사용하는 옵션은 아래와 같다.-u : : elasticsearch의 id/pass 계정정보-H(--header) : HTTP Header 설정-d(--data) : 전달할 data--data-binary @ : data를 binary로 처리되어 깨지지 않고 전송. @뒤는 .. [elasticsearch] Query DSL 관련성 점수(Relevance score) elasticsearch는 검색 시 query 절 별로 관련성 점수(Relevance score)를 내고 높은 점수 순으로 나열한다. 관련성 점수(Relevance score) 는 "_score" 라는 API 메타데이터 필드에서 반환되는 양의 소수점 숫자로 표현된다.{ "_shard": "[cf-spectrum-log-2024.06.25][0]", "_node": "7eOtUDXAQGe3ZgXsFQBCLg", "_index": "cf-spectrum-log-2024.06.25", "_type": "_doc", "_id": "cdfDT5ABhXQXL4awCoxV", "_score": 4.212528,... 관련성 점수(Releva.. [cloudflare] spectrum log의 Clientasn 필드로 AS Name 필드 추가하여 logstash 로 수집하기 나는 cloudflare spectrum logpush를 사용하여 Cloud Storage에 log raw data를 저장하고 있으며 python으로 짠 스크립트를 2분만다 스케줄링하여 내려받고 가공하여 logstash로 수집하고 elasticsearch로 처리하고 있다. Spectrum Log 필드 중 "ClientAsn" 값을 이용하여 AS Name 필드를 Logstash에서 추가 하려고 한다. Logpush 설정 참고 : [Cloudflare] Spectrum Logpush 설정하기(azure)Logstash translate을 이용한 필드 추가 참고 : [Cloudflare] ColoCode를 Logstash에서 좌표값 Field 추가 하기 방식은 Python 스크립트에서 내려받은 Log.. [Cloudflare] R2를 rclone으로 다뤄 보기[2] 참조 : [cloudflare] R2를 rclone으로 다뤄 보기[1] rclone treebucket content를 tree 구조로 볼수 있다. rclone tree : rclone tree r2:/├── test01│ ├── 20240317│ │ ├── 20240317T235647Z_20240317T235746Z_40928a6f.log.gz│ │ ├── 20240317T235658Z_20240317T235658Z_85b2454a.log.gz│ │ └── a│ └── 91dde33b-4a1f-4b33-93fa-7ee681869cbe.dmp├── test02│ ├── 20240317│ │ ├── 20240317T235647Z_20240317T235746Z_409.. [Cloudflare] R2를 rclone으로 다뤄 보기[1] rcloneGo로 만들어진 클라우드 스토리지 up/down 툴로 AWS의 s3 뿐만 아니라 다양한 클라우드를 지원하는데 Cloudflare R2 역시 지원한다.또한 윈도우, 리눅스, MAC 등 여러 OS 플랫폼을 지원한다. 설치리눅스CentOS 7 x64 에서 테스트 한다.설치방법은 Script Installation , Precompiled binary 등의 방법이 있다. Precompiled binary1. 다운로드 및 압축 해제curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zipunzip rclone-current-linux-amd64.zip 2. 파일 복사cd rclone-v1.66.0-linux-amd64# 권한 설정cho.. [proxmox] cluster node 제거 1. 제거할 node 확인cluster 내 제거할 node를 확인한다.test04 이름의 node를 제거 할 예정이다.pvecm nodespvecm nodesMembership information---------------------- Nodeid Votes Name 1 1 test04 (local) 2 1 test01 3 1 test02 4 1 test03 5 1 test04 2. node power off제거 할 node인 test04의 전원을 끈다.test04의 전원이 다시 켜질 경우 cluster가 손상될 위험이 있으며 복구에.. 이전 1 2 3 4 5 ··· 31 다음
