Logstash 하나의 이벤트를 다수의 이벤트로

Logstash를 통하여 데이터를 수집하다보니… 하나의 이벤트를 수신하였을 때 해당 이벤트를 나누어 다수의 이벤트로 저장하는 것이 후에 그래프를 생성하거나 데이터를 살펴볼 때 편리한 경우가 발생하였다. 예를 들어 아래와 같이 리스트 형태의 데이터가 있다고 가정해보자. 위의 데이터 관리를 쉽게 하기 위해서는 아래와 같이 이벤트를 나누는게 관리하기가 확실히 편하다. 물론 리스트 형태로 데이터를 저장해도 되고 나중에 관리 방법이…

더 보기

ELK에서 그리고 Kibana로 쉽게 ILM 적용하기

Elastic Search, Logstash, Kibana를 로그 수집기로 사용하다가 이전부터 적용하려고 하였지만, 시간이 없어서… 라는 핑계로 계속 미루다가 오늘 적용을 수행하였다. ILM 적용이라고 구글에 검색만해도 수 많은 글이 나온다. REST API를 사용해서 적용하는 방법이 주를 이루기는 하지만, 상당히 많은 시행착오를 겪었다. 시행착오를 겪었던 이유는 아마도 내가 생각하기에 가장 큰 착각 하나에서 시작된 것 같다. 그래서 Kibana에서 쉽게…

더 보기