구현에 앞서
관련글은 아래 링크를 참조 하도록 한다.
- elasticsearch 단일 node에 8.14.x 설치하기(SSL 포함)
- elasticsearch cluster 구축하기
- elasticsearch cluster에 kibana 붙이기(SSL 포함)
- elasticsearch cluster에 logstash 붙이기(SSL 포함)
- elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[1]
- elasticsearch ILM 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기[2]
- elasticsearch Data Stream에 ILM 적용시켜보기
시계열 데이터를 기반으로 검색과 분석에 특화 되어 있는 elasticsearch(이라 ES)는 ILM(인덱스 수명주기 관리)을 통하여 Hot-Warm-Cold 아키텍쳐를 구현할 수 있다.
데이터를 Hot-Warm-Cold로 tier별로 구분하여 정의함으로써 인덱싱과 검색을 효율적으로 관리하며 투입되는 자원을 적절히 분배하거나 절약하여 사용자의 의도에 따라 운영에 도움을 줄 수 있다. 사용자의 의도에 따라 다르겠지만 Hot-Warm-Cold tier의 구분은 일반적으로 다음과 같다.
- Hot : 가장 최근의 가장 자주 검색되는 시계열 데이터를 보관하며 빈번한 인덱싱과 검색으로 많은 CPU 리소스와 빠른 IO가 요구 된다. 복원을 위해 1개 이상의 replica를 구성해야 한다.
- Warm : 일반적으로 최근 몇 주 동안의 데이터를 보관하며 Hot Tier보다는 자주 검색이나 업데이트가 되지 않으므로 많은 CPU 리소스나 빠른 IO는 요구 되지 않는다. 하지만 Hot tier 보다 많은 데이터를 보관해야 하므로 많은 스토리지가 필요하다. 복원을 위해 1개 이상의 replica를 구성해야 한다.
- Cold : 더이상 정기적으로 검색하거나 업데이트 되지 않는 시계열 데이터를 보관하며 검색 속도 보다는 낮은 저장 비용에 중점을 둔다. 복원을 위해 검색 가능한 스냅샷으로 복구를 하며 replica가 필요하지 않다. replica를 운용하지 않으므로 스토리지 사용량을 절반으로 절약할 수 있다.
- Frozen : 쓰기가 금지 되며 더이상 검색되지 않는 데이터를 보관한다.
많은 CPU 리소스과 빠른 IO : Hot > Warm > Cold
많은 스토리지 공간 : Cold > Warm > Hot
참고
인덱스 수명 주기 관리를 통해 Hot-Warm-Cold 아키텍처 구현 : https://www.elastic.co/kr/blog/implementing-hot-warm-cold-in-elasticsearch-with-index-lifecycle-management
Elastic Cloud Elasticsearch Service에서 로깅과 메트릭을 위한 hot-warm 아키텍처 설정 : https://www.elastic.co/kr/blog/sizing-hot-warm-architectures-for-logging-and-metrics-in-the-elasticsearch-service-on-elastic-cloud
Data lifecycle management with data tiers : https://www.elastic.co/blog/elasticsearch-data-lifecycle-management-with-data-tiers/
구현 환경
본격적인 구현에 앞서 테스트 환경은 아래와 같다.
- CentOS Stream release 8
- elasticsearch, logstash, kibana 버전 : 8.14.3
- 총 4개의 node로 이루어진 cluster
- 2개의 hot node, 2개의 warm node
- ES node :
- test-ES01 : 172.16.10.111
- node name : es-node01
- node role : data_hot
- test-ES02 : 172.16.10.112
- node name : es-node02
- node role : data_hot
- test-ES03 : 172.16.10.113
- node name : es-node03
- node role : data_warm
- test-ES04 : 172.16.10.114
- node name : es-node04
- node role : data_warm
- 그밖에 : kibana, logstash
- test-ES01 : 172.16.10.111
test-ES01은 host의 hostname이며 es-node01은 ES 의 node name 이다
역할 별 node는 최소 2개의 node로 구성해야 한다.
노드 역할
노드 역할 종류
ES 설정에서 노드의 역할을 별도로 지정하지 않았다면 모든 역할이 부여된다.
아래와 같이 node.role에 "cdfhilmrstw"로 표기 된다.
GET _cat/nodes?v
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
172.16.10.112 13 64 3 0.37 0.29 0.39 cdfhilmrstw - es-node02
172.16.10.111 46 63 4 0.09 0.19 0.34 cdfhilmrstw * es-node01
172.16.10.114 6 88 1 0.35 0.26 0.31 cdfhilmrstw - es-node04
172.16.10.113 1 61 20 0.99 0.43 0.40 cdfhilmrstw - es-node03
표기되는 노드 역할은 다음과 같다.
- data_cold (c) : Cold Data 노드
- data (d) : 일반적인 Data 노드로 모든 콘텐츠 계층에 포함된다.
- frozen (f) : Frozen Data 노드
- data_hot (h) : Hot Data 노드, 데이터 스트림에서 자동 할당 된다.
- ingest (i) : 수집 노드
- ml (l) : 머신러닝 노드
- master (m) : 마스터 노드
- remote_cluster_client (r) : remote cluster에 연결하며 데이터를 동기화 할 수 있고 Kibana의 Stack Monitoring에도 사용된다.(xpack.monitoring.collection.enabled: true)
- data_content (s) : 시계열 데이터와 달리 시간이 지나도 보존 요구 사항이 긴 데이터를 취급하며 데이터 스트림이 아닌 일반 인덱스에서 아무설정이 없을 경우 자동 할당 된다.
- transform (t) : transform API request를 처리한다.
- data_warm (w) : Warm Data 노드
참고 : https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-node.html
노드 역할 설정
ES 7.10을 기준으로 이전과 이후의 노드 역할 설정이 다르다.
경로 : /etc/elasticsearch/elasticsearch.yml
7.10 이전의 경우 아래와 같이 설정하였다.
# On hot nodes
node.attr.node_type: hot
# On warm nodes
node.attr.node_type: warm
# On cold nodes:
node.attr.node_type: cold
7.10 이후의 경우 아래와 같이 설정한다.
# On hot nodes
node.roles: ["data_hot"]
# On warm nodes
node.roles: ["data_warm"]
# On cold nodes
node.roles: ["data_cold"]
# 여러개의 역할 부여
node.roles: ["master", "ingest", "ml", "data_hot", "data_content"]
test-ES01 ~ test-ES04 까지 설정을 한다.
경로 : /etc/elasticsearch/elasticsearch.yml
# test-ES01
node.roles: ["master","data_hot","data","remote_cluster_client","ingest"]
# test-ES02
node.roles: ["master","data_hot","data","remote_cluster_client","ingest"]
# test-ES03
node.roles: ["master","data_warm","remote_cluster_client","ingest"]
# test-ES04
node.roles: ["master","data_warm","remote_cluster_client","ingest"]
ES를 재시작한다.
systemctl restart elasticsearch
역할 확인
GET _cat/nodes?v
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
172.16.10.112 13 64 3 0.37 0.29 0.39 dhimr - es-node02
172.16.10.111 46 63 4 0.09 0.19 0.34 dhimr * es-node01
172.16.10.114 6 88 1 0.35 0.26 0.31 imrw - es-node04
172.16.10.113 1 61 20 0.99 0.43 0.40 imrw - es-node03
'Monitoring Tools > ELK Stack' 카테고리의 다른 글
[elasticsearch] Data Stream에 ILM(Index Lifecycle Management) 적용시켜 보기 (0) | 2024.08.07 |
---|---|
[elasticsearch] ILM(Index Lifecycle Management) 적용을 통한 Hot-Warm-Cold 아키텍쳐 구현해 보기 [2] (0) | 2024.08.06 |
[logstash] elasticsearch cluster에 logstash 붙여보기(SSL 포함) (0) | 2024.07.26 |
[kibana] elasticsearch cluster에 kibana 붙이기 (0) | 2024.07.24 |
[elasticsearch] cluster 구축하기(8.14.x, CentOS, xpack security) (2) | 2024.07.24 |