Grok, um excelente plugin para o logstash
Dica publicada em Linux / Software
Grok, um excelente plugin para o logstash
Para quem utiliza o logstash, sabe que realizar o parser de um log de uma aplicação não é uma tarefa fácil. Pois bem, nesta dica vou apresentar o plugin grok. Ele possui inúmeras expressões regulares prontas, agilizando demais o trabalho na hora de realizar o mapeamento de cada campo. Então, bora lá!
Este plugin não precisa ser instalado, pois ele já encontra-se por padrão no logstash. Abaixo um pequeno trecho de log para que possamos exemplificar seu funcionamento:
Como estamos trabalhando com o log do Apache, já temos uma expressão pronta do grok que faz o parser com apenas 1 variável:
%{COMBINEDAPACHELOG}
Na parte superior, vamos inserir o nosso log e na parte inferior a nossa variável grok, conforme imagem abaixo e em seguida clicar no botão GO: E se navegarmos até o final da página, veremos que todos os campos foram mapeados corretamente!!! Quais possibilidades de expressões regulares eu posso utilizar no grok: logstash/grok-patterns at v1.4.2 - elastic/logstash - GitHub
Fonte: Grok filter plugin | Logstash Reference [7.8] | Elastic
Bem pessoal, espero que essa dica seja útil.
[]'s leoberbert
Este plugin não precisa ser instalado, pois ele já encontra-se por padrão no logstash. Abaixo um pequeno trecho de log para que possamos exemplificar seu funcionamento:
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (Win98; I ;Nav)"
Como estamos trabalhando com o log do Apache, já temos uma expressão pronta do grok que faz o parser com apenas 1 variável:
%{COMBINEDAPACHELOG}
Na parte superior, vamos inserir o nosso log e na parte inferior a nossa variável grok, conforme imagem abaixo e em seguida clicar no botão GO: E se navegarmos até o final da página, veremos que todos os campos foram mapeados corretamente!!! Quais possibilidades de expressões regulares eu posso utilizar no grok: logstash/grok-patterns at v1.4.2 - elastic/logstash - GitHub
Fonte: Grok filter plugin | Logstash Reference [7.8] | Elastic
Bem pessoal, espero que essa dica seja útil.
[]'s leoberbert