 |
Resumo | Integra o serviço Known Agents com o Discourse para acompanhar rastreadores e scrapers indesejados que visitam seu fórum. |
 |
Link do Repositório | https://github.com/magicball-network/discourse-darkvisitors |
 |
Guia de Instalação | Como instalar plugins no Discourse |
Funcionalidades
O Known Agents é um serviço que acompanha os agentes (rastreadores, scrapers e outros tipos de bots) que visitam seus sites. Sua principal atenção está voltada para a análise de agentes de IA.
Ele oferece dois serviços:
- Geração e monitoramento de robots.txt
- Análise de agentes
O serviço de robots.txt é gratuito. Os serviços de análise oferecem uma camada gratuita. Sugiro que você visite o site deles para mais informações.
Este plugin para Discourse se conecta a todos esses serviços, sendo todos eles opcionais e configuráveis em certo grau.
Geração de robots.txt
O Discourse já fornece uma opção para configurar o robots.txt. Este plugin estende essa funcionalidade. Quando ativado, o plugin recupera uma lista de agentes em diferentes categorias (atualmente, apenas categorias de IA são suportadas) e aqueles que estão ausentes nos agentes já configurados serão adicionados. A lista será atualizada diariamente. Dessa forma, quando um novo scraper de IA for reconhecido, ele será adicionado ao seu robots.txt.
Este recurso só funciona se o Discourse gerenciar o robots.txt e você não tiver sobrescrito manualmente. O plugin não altera a configuração Blocked crawler user agents; ele complementa o robots.txt com novos agentes ausentes. Portanto, você ainda tem controle total sobre o gerenciamento desta lista.
Quando você visitar o robots.txt do seu site, verá um comentário inicial indicando a última atualização e o número de agentes retornados pelo Known Agents. Os agentes que ainda não estavam configurados são adicionados ao final da lista. Eles devem estar entre o Googlebot e a diretiva de sitemap (se configurada).
Análise de Agentes
Pode ser ativado para todos os visitantes ou apenas para visitantes não autenticados.
A análise no lado do servidor relata visitas rastreadas ao Known Agents. Ele enviará o caminho da solicitação, o endereço remoto do visitante, o cabeçalho User-Agent e alguns outros cabeçalhos do navegador.
Há algumas configurações adicionais para as quais as solicitações são relatadas; veja as configurações abaixo. Por padrão, apenas as solicitações que o Discourse marca para rastrear como visualizações serão rastreadas. As seguintes solicitações ao Discourse nunca serão relatadas:
- Solicitações à seção Admin
- Solicitações de fundo e de API
Todas as solicitações rastreadas contam para os eventos que afetam seu plano de pagamento.
Configuração
Você precisa se cadastrar no Known Agents para usar este plugin. A camada gratuita lhe dá 100.000 eventos por mês. Quando esse limite for atingido, você não verá nenhum evento mais recente em sua análise, mas ainda poderá enviar novas informações e continuar usando o serviço de robots.txt.
Após se cadastrar, você deve criar um projeto (ou seja, um site para rastrear). Isso fornecerá um token de acesso, necessário para a funcionalidade de robots.txt e análise no lado do servidor.
Quando você ativar a funcionalidade de robots.txt, levará um breve momento até que seja atualizado. Visite https://yoursite/robots.txt para ver se está funcionando. Deve haver um comentário no topo:
# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents
Quando você ativar a análise no lado do servidor, pode testar se está funcionando solicitando uma visita de teste nas configurações do projeto do Known Agents. Pode levar alguns segundos. Você deve ver o resultado na página Tempo Real no Known Agents.
Definições
| Nome | Descrição |
|---|---|
| darkvisitors enabled | Sinalizador global para habilitar todo o plugin |
| darkvisitors access token | O token de acesso secreto necessário para o robots.txt e a análise no lado do servidor para se comunicar com o Known Agents. Você encontrará isso no seu projeto do Known Agents sob configurações. |
| darkvisitors robots txt enabled | Quando ativado, o robots.txt do Discourse será complementado com agentes adicionais |
| darkvisitors robots txt agents | O tipo de agentes a serem adicionados ao robots.txt. |
| darkvisitors robots txt path | O caminho para negar o acesso dos agentes. Provavelmente é melhor deixar isso como / para que o acesso a todo o site seja rejeitado. |
| darkvisitors server analytics | Habilita a análise no lado do servidor. Recomendo habilitar apenas para usuários anônimos. |
| darkvisitors server analytics include | Solicitações adicionais para rastrear. Você também pode rastrear solicitações para arquivos enviados ou mesmo solicitações 404 Não Encontrado. |
| darkvisitors server analytics ignore | Substrings nos user agents para ignorar (sensível a maiúsculas/minúsculas). Se você usar monitoramento de uptime, sugiro fortemente incluir o user agent identificável deles nesta lista. |
