Elasticsearch - Logstash 로그스태시

https://thisisnew-storage.tistory.com/44

Elasticsearch - Beats 비츠

앞서 설명드린 비츠(Beats)와 마찬가지로 로그스태시(Logstash)도 데이터 수집기입니다.

 

 

https://www.bmc.com/blogs/logstash-using-data-pipeline/

로그스태시가 비츠보다는 좀 더 풍부한 기능을 가지고 있습니다. 그만큼 무겁고요.

비츠가 상대적으로 리소스를 덜 잡아먹습니다.

 

로그스태시가 좋은 점은, 우선 사용법이 간단합니다.

대부분의 설정이 플러그인 형태로 제공되기 때문이죠.

또 영속적 큐(Persistent Queue)를 이용하여 데이터의 전송이 보장됩니다.

마지막으로 데이터 양의 증감에도 유동적으로 대응할 수 있어 안정적입니다.

---

로그스태시는 형식에 무관하게 데이터를 수집할 수 있는데요.

로그, 매트릭, 웹앱 등 다양한 소스에서 수집할 수 있습니다.

아래의 레퍼런스를 참고하시면 좋을 것 같습니다.

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

Input plugins | Logstash Reference [8.4] | Elastic

 

---

https://www.elastic.co/kr/logstash/

로그스태시는 필터 기능이 있어서 수집한 데이터를 원하는 형태로 재가공할 수 있습니다.

이미지에 나온 설명처럼 IP주소에서 위치 좌표를 추출하는 식으로 말이죠.

정제를 통하여 필요한 데이터를 얻어 낼 수 있습니다.

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

Filter plugins | Logstash Reference [8.4] | Elastic

---

로그스태시는 출력도 지원합니다.

비단 엘라스틱서치(Elasticsearch) 뿐만 아니라 그 외 다양한 플랫폼으로 정제된 데이터를 전송할 수 있습니다.

https://www.elastic.co/guide/en/logstash/current/output-plugins.html

Output plugins | Logstash Reference [8.4] | Elastic

---

위에서 언급했듯이, 로그스태시는 대부분의 설정이 플러그인으로 제공됩니다. 사용법이 간단하죠.

로그스태시를 사용한 예시도 나중에 다뤄보도록 하겠습니다.