Extraia Campos dos Logs Apache e Nginx Usando um Gerador Regex Gratuito Online
Um compositor regex gratuito e especializado online permite que engenheiros de dados e SREs criem expressões regulares precisas para análise de logs de acesso Apache e Nginx. A ferramenta suporta construção passo a passo baseada em blocos com grupos nomeados, testes em massa ao vivo em várias linhas de logs e exportações de regex específicas para linguagens como Python, Go e JavaScript.
Por que usar um construtor regex visual baseado em blocos para logs?
- Montagem modular de padrões: Cada componente do regex (dígitos, letras, espaços, literais) é um bloco arrastável individual.
- Controles intuitivos de frequência: Configure quantificadores para ocorrências exatas, em intervalo ou opcionais.
- Grupos nomeados de captura: Identifique e extraia campos estruturados (IP, timestamp, método HTTP, código de status) claramente.
- Exportação multilíngue: Gera padrões compatíveis com PCRE com snippets prontos para Python, Go, JavaScript e PHP.
- Sandbox interativo: Destaca instantaneamente correspondências em logs de exemplo colados, permitindo validação em massa.
Tutorial passo a passo para criar regex para logs Apache/Nginx
| Step | Action | Description |
|---|---|---|
| 1 | Abra a ferramenta | Acesse diretamente o Compositor Mestre Regex Online Gratuito. |
| 2 | Defina os blocos do padrão | Adicione blocos sequencialmente para endereço IP, espaços, hífen (-), timestamp entre colchetes, string de requisição entre aspas, código de status, contagem de bytes, URL do referenciador e string do user agent. |
| 3 | Configure frequências e opcionalidade | Configure os quantificadores para elementos repetidos (ex: octetos IP), torne alguns campos opcionais (como referenciador) e defina intervalos para bytes e comprimento do agente do usuário. |
| 4 | Nomeie os grupos de captura | Atribua nomes significativos como ip, timestamp, request, status e bytes para extração estruturada. |
| 5 | Teste logs em massa | Cole várias linhas de logs de Apache ou Nginx na área sandbox. Correspondências são destacadas em tempo real para verificação do regex. |
| 6 | Exporte o código regex | Copie o padrão regex gerado e os snippets exportados específicos para Python, Go ou JavaScript para integração imediata. |
| 7 | Ajuste para variantes | Carregue presets ou modifique blocos para lidar com formatos especializados como logs ELB ou formatos combinados diferentes do Nginx. |
Grupos nomeados comuns em padrões de regex para logs de acesso
| Capture Group Name | Purpose |
|---|---|
ip |
Endereços IPv4 ou IPv6, normalmente quatro blocos de 1-3 dígitos separados por pontos |
timestamp |
Data/hora com fuso horário, entre colchetes (ex: [10/Oct/2000:13:55:36 -0700]) |
request |
Método HTTP, recurso solicitado e protocolo entre aspas |
status |
Código de status HTTP (3 dígitos) |
bytes |
Número de bytes enviados na resposta, pode ser - se não disponível |
referrer |
URL da página que encaminhou a requisição, normalmente entre aspas |
user_agent |
String do agente do usuário do navegador, entre aspas |
Exemplo: Preset regex para formato combinado Apache
Clique para Carregar este preset e cole este exemplo de log:
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (Win98; I ;Nav)"
192.168.0.1 - - [28/Mar/2024:15:36:08 +0000] "POST /login HTTP/1.1" 302 1234 "-" "curl/7.68.0"
Destaques dos exports regex para Python, Go e JavaScript
| Language | Export Format | Notes |
|---|---|---|
| Python | Literal de string raw com grupos nomeados, compatível com módulo re |
|
| Go | Usa sintaxe do pacote regexp com grupos nomeados (?P<name>pattern) |
|
| JavaScript | Gera padrão compatível ES2018+ com grupos nomeados (?<name>pattern) |
Variações para logs ELB e Nginx
A ferramenta suporta adaptar padrões adicionando ou removendo blocos para encaixar formatos de logs ELB ou formatos personalizados de Nginx, lidando com variações em timestamp, método de requisição, estrutura do user-agent ou campos adicionais usados em pipelines modernos ELK e Splunk.
Explore mais utilitários úteis para engenheiros de dados no diretório completo de ferramentas para análise, transformação e monitoramento eficientes de logs.
FAQ
•Como configuro grupos nomeados para extrair campos dos logs Apache?
No compositor regex, atribua nomes aos grupos de captura diretamente aos blocos que representam campos como IP, timestamp, status e user agent. Isso permite a extração estruturada referenciando esses nomes nos seus processos posteriores de análise ou ingestão de logs.
•Posso testar vários registros de log em massa para verificar meu padrão regex?
Sim, a sandbox interativa permite colar múltiplas linhas de logs de acesso simultaneamente. A ferramenta destaca as correspondências em tempo real, facilitando a verificação rápida e o ajuste fino do padrão com amostras variadas de logs Apache, Nginx ou ELB.
•O regex gerado é compatível com Python, Go e JavaScript?
O compositor gera padrões compatíveis com PCRE com sintaxe correta para grupos nomeados e exporta snippets de código adaptados para o módulo re do Python, pacote regexp do Go e motores modernos de JavaScript com suporte a grupos nomeados, prontos para integração direta.
•Como adapto o regex para formatos de logs Nginx ou ELB?
Modifique ou reordene blocos para adequar à estrutura específica dos formatos combinados de logs Nginx ou ELB, ajustando diferenças no formato do timestamp, delimitadores de campo ou campos opcionais incluídos. O carregador de presets facilita aplicar variações comuns rapidamente.
•Quais as melhores práticas para analisar timestamps e códigos de status em logs?
Use blocos dedicados com controle de frequência e classes de caracteres para capturar com precisão timestamps entre colchetes e códigos de status de três dígitos. Aproveite grupos opcionais onde campos possam estar ausentes e valide com testes em massa ao vivo para garantir confiabilidade.