Container Elastic Stack para visualização de logs do Proxy Squid

Compartilho neste artigo a minha primeira experiência com o projeto Open Source Elastic Stack, um conjunto de ferramentas para coleta, tratamento e exibição de logs. Demonstrarei como utilizei o Elastic Stack para coletar, tratar e apresentar os logs de acesso do Squid.

[ Hits: 13.163 ]

Por: Thiago Murilo Diniz em 28/07/2017 | Blog: https://br.linkedin.com/in/thiagomdiniz


Preparando o ambiente



Para executar e testar o cenário a ser desenvolvido durante o artigo, utilizei apenas meu notebook pessoal, executando a distro Fedora. Você pode seguir a estrutura do cenário utilizado no artigo ou adaptar ao seu cenário, por exemplo, caso você já tenha um servidor Proxy Squid em operação e queira executar o Elastic Stack em outro servidor na rede.

Na Figura 2 é possível observar a estrutura utilizada:
  • instalei o Squid, o Beat Filebeat e o Docker no Fedora;
  • instalei o Elastic Stack num container Docker.

Linux: Container Elastic Stack para visualização dos logs do Proxy Squid
Figura 2
Como montei o cenário utilizando Fedora, os comandos usados neste artigo serão baseados nesta distro. Caso você utilize outra distro, adapte os comandos conforme necessidade.

Passos executados para instalar o Squid e aplicar uma configuração básica.

Instalação do Squid:

# dnf install squid

Configuração do Squid: edite o arquivo /etc/squid/squid.conf para descomentar a linha:

  cache_dir ufs /var/spool/squid 100 16 256

Crie a estrutura de diretórios do cache:

# squid -z

Inicie o serviço e verifique seu status:

# systemctl start squid.service
# systemctl status squid.service

Passos executados para instalação do Docker, que nos permitirá rodar o Elastic Stack num container.

Instalação do Docker:

# dnf install docker

Inicie o serviço e verifique seu status:

# systemctl start docker
# systemctl status docker

Página anterior     Próxima página

Páginas do artigo
   1. Introdução
   2. Preparando o ambiente
   3. Subindo o Elastic Stack
   4. Visualizando os logs no Kibana
Outros artigos deste autor
Nenhum artigo encontrado.
Leitura recomendada

DrQueue + Blender = Render Farm para mortais

Wine: Como associar uma extensão a um aplicativo instalado

Biometria: Processamento de imagens capturadas em leitores de impressão digital

LiveCDs versus D.Q.R.E.Cs

Google AdSense vs Layout de websites

  
Comentários
[1] Comentário enviado por ande27 em 05/01/2018 - 10:47h

Thiago, já utilizo o ELK a um bom tempo, sabe me dizer se existe integração do Squid do Pfsense para o ELK?


[2] Comentário enviado por thiagodiniz em 18/01/2018 - 19:50h

Olá Anderson!

Não tenho muita experiência com pfSense, mas por ser um BSD acredito que seja possível instalar o Filebeat.

Encontrei dois artigos que podem te ajudar:
https://rareintel.com/2016/07/10/installing-logstash-filebeat-directly-pfsense-2-3/
https://extelligenceblog.it/2017/07/11/elastic-stack-suricata-idps-and-pfsense-firewall-part-1/

No último diz o seguinte:
Se você usa pfSense 2.3.4:
http://pkg.freebsd.org/freebsd:10:x86:64/latest/All/

Se você usa pfSense 2.4 (Released in October 2017):
http://pkg.freebsd.org/FreeBSD:11:amd64/latest/All/

O nome do pacote nestes repositórios é "beats-6.1.1_1.txz".

Outra possível solução seria usar o parâmetro "access_log" da configuração do Squid pra tentar enviar os logs diretamente ao Logstash ou para outro sistema via syslog que possua o Filebeat:
http://www.squid-cache.org/Doc/config/access_log/

Espero ter ajudado.
Abç!

[3] Comentário enviado por ande27 em 26/01/2018 - 18:55h


[2] Comentário enviado por thiagodiniz em 18/01/2018 - 19:50h

Olá Anderson!

Não tenho muita experiência com pfSense, mas por ser um BSD acredito que seja possível instalar o Filebeat.

Encontrei dois artigos que podem te ajudar:
https://rareintel.com/2016/07/10/installing-logstash-filebeat-directly-pfsense-2-3/
https://extelligenceblog.it/2017/07/11/elastic-stack-suricata-idps-and-pfsense-firewall-part-1/

No último diz o seguinte:
Se você usa pfSense 2.3.4:
http://pkg.freebsd.org/freebsd:10:x86:64/latest/All/

Se você usa pfSense 2.4 (Released in October 2017):
http://pkg.freebsd.org/FreeBSD:11:amd64/latest/All/

O nome do pacote nestes repositórios é "beats-6.1.1_1.txz".

Outra possível solução seria usar o parâmetro "access_log" da configuração do Squid pra tentar enviar os logs diretamente ao Logstash ou para outro sistema via syslog que possua o Filebeat:
http://www.squid-cache.org/Doc/config/access_log/

Espero ter ajudado.
Abç!


Muito obrigado Thiago.
Vou testar tudo isso em um Lab.


[4] Comentário enviado por leoberbert em 03/10/2019 - 13:54h

Anderson,

Você não precisar instalar o filebeat, desde que você tenha o java instalado, basta baixar o .tar.gz, extrair e entrar na pasta do filebeat e executar ./filebeat e ele irá executar.

Att,


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts