Elasticsearch - Elastic Stack 엘라스틱 스택

데이터가 늘어나는 현실에서는, 다양한 사용 사례를 유연하게 지원할 필요가 있습니다.

여기서 말하는 유연함이란, 데이터의 수집과 가공 그리고 저장, 분석, 시각화를 전부 포함합니다.

이런 빅데이터 파이프라인을 간편하게 구성할 수 있도록 엘라스틱 스택(elastic stack)이 개발되었습니다.

---

엘라스틱 스택은 일반적인 빅데이터 파이프라인을 구성하기 위한 모든 소프트웨어를 갖추고 있습니다.

이 소프트웨어들이 위에서 언급한 데이터의 수집, 가공, 저장, 분석, 시각화를 담당합니다.

 

가장 아래의 비츠(beats)와 로그스태시(logstash)는 데이터를 수집하고 가공하는 역할을 맡고 있습니다.

중간의 엘라스틱서치(elasticsearch)는 데이터를 저장하고 분석하는 역할을 담당합니다.

맨 위에 위치한 키바나(kibana)는 엘라스틱서치에 저장된 데이터를 시각화하고 모니터링하는 역할을 수행합니다.

---

각 소프트웨어들을 이용하여 아래와 같은 빅데이터 파이프라인을 구성할 수 있습니다.

파이프라인을 구성함에 있어 필요에 따라 각각을 결합할 수도 있고, 또는 개별적으로 이용할 수도 있습니다.

 

각 요소에 대해서는 다음 글에서 설명하도록 하겠습니다.