Usando Web Crawlers

​

Padrões de Crawl

​

Quando Usar um Crawler

​

Melhores Casos de Uso

• Notícias e Mídia – Extraia artigos de sites como BBC News
• Dados Financeiros – Colete insights de mercado de sites de ações como NASDAQ
• E-Commerce – Reúna listagens de produtos, avaliações e preços de marketplaces
• Recursos de Conhecimento – Capture posts de blogs, discussões em fóruns ou conteúdo de FAQ para enriquecer sua Base de Conhecimento.

​

Quando Não Usar o Crawler

• Autenticação Necessária – Websites que requerem credenciais de login (ex.: LinkedIn).
• Dashboards Altamente Dinâmicos – Dashboards em tempo real (como tickers de ações ao vivo) podem não fornecer resultados completos.
• Carga Excessiva no Site – Respeite as políticas de uso de cada site – sempre revise o arquivo robot.txt antes de rastrear.

​

Crie um Novo Crawler

1. No seu projeto EKB, navegue até a Knowledge Base.
2. Na Base de Conhecimento, clique no ícone de engrenagem no canto superior direito.
3. Vá para a aba Crawlers.
4. Clique em + Create New.
5. Na seção Input:
   a. Insira um nome para o seu crawler.
   b. Forneça a Seed URL, o link do website que você deseja rastrear. Este é o link inicial acessado pelo crawler. A partir dele, o crawler explora as páginas da web e links disponíveis dentro do website.
6. Na seção Crawler Settings:
   
   • Limit to Root Domain – Configura o crawler para focar exclusivamente no domínio raiz, simplificando a extração de informações relevantes.
   • Download Files – Habilite esta opção quando desejar que o crawler baixe e processe arquivos encontrados durante o crawl.
   • Max Pages to Crawl – Defina o número máximo de páginas a rastrear, para otimizar o uso de recursos e eficiência.
   • Max Depth – Defina a profundidade máxima de crawl a partir da seed URL (ou seja, quantos links de profundidade seguir).
   • Crawl Strategy – Escolha como o crawler prioriza quais páginas visitar primeiro.
     • Best First – Se você selecionar esta opção, precisará configurar as palavras-chave que o crawler deve usar para encontrar essas páginas e o peso dessas palavras-chave.
       • Keywords for Best First – Páginas contendo as palavras-chave configuradas nesta caixa de texto serão rastreadas primeiro. Insira uma palavra-chave por linha.
       • Keywords Weight – Configure o peso da palavra-chave para correspondência de palavras-chave; quanto maior o valor, mais prioriza a correspondência de palavras-chave.
     • Breadth First – Este método prioriza visitar todas as páginas diretamente vinculadas de uma página atual antes de se aprofundar.
     • Depth First – Este método prioriza explorar o mais profundamente possível ao longo de um único caminho de links antes de voltar e explorar outros caminhos.
   • Limit to Domains – Restrinja o crawler a domínios específicos em vez de rastrear todos os subdomínios dentro do domínio raiz. Insira um domínio por linha ou deixe em branco para rastrear todos os subdomínios.
   • Limit to Patterns – Insira os padrões de crawl que você deseja que o crawler use. Insira um padrão de crawl por linha.
     
     Se você estiver usando múltiplos padrões de crawl, esta é a hierarquia:
     1. Regex
     2. Correspondências Negativas
     3. Todos os outros padrões.
7. Na seção Scheduling, defina a frequência e o horário para crawls agendados:
   
   • Crawling Enabled – Habilite esta opção para definir o agendamento de crawl.
   • Repeat Every n Days – Defina o número de dias para os quais você deseja que o crawl seja executado. Por exemplo:
     
     • Diário = 1
     • Semanal = 7
     • Quinzenal = 14
     • Mensal = 30
   • Next Schedule – Dependendo do número de dias inserido, você verá a próxima data de crawl.
8. Após concluir a configuração do seu web crawl, clique em Crawl Now para iniciar o primeiro crawl. Você será redirecionado à página de configuração do novo crawler com as seguintes abas:
   
   • Overview – Aqui você pode ver as informações e o status da solicitação de crawl.
   • Settings – Aqui você pode editar as configurações do crawler. Você pode editar essas configurações mesmo após um crawl ter sido executado.
   • Crawled Report – Esta aba fornece atualizações em tempo real sobre as páginas sendo rastreadas.

​

Melhores Práticas

​

1. Use URLs de Origem Claras e Concisas

• Bom Exemplo: https://www.example.com/news (direciona apenas à seção “notícias”)
• Mau Exemplo: https://www.example.com?user=1234 (Usar parâmetros dinâmicos pode causar erros ou crawl redundante)

• a URL está acessível e é relevante para os dados que você deseja extrair.
• use subpáginas quando quiser restringir o crawl a uma seção específica.

​

2. Restrinja a Domínios e Subdomínios

• Limit to Root Domain – Rastrear example.com captura apenas esse domínio e ignora links externos (ex.: otherwebsite.com).
• Limit to Domain – Rastrear blog.example.com não incluirá outros subdomínios como shop.example.com.

​

Exemplo

​

3. Use Padrões de Crawl e Processamento

• Crawling Patterns – Defina quais URLs devem ser rastreadas.
• Processing Patterns – Especifique quais conteúdos devem ser extraídos para sua Base de Conhecimento. Ambos usam uma sintaxe simplificada de regex:
• Wildcard Implícito – Inserir products corresponde a qualquer URL contendo “products.”
• Negação (!) – !products corresponde a qualquer URL sem “products.”
• Começa com (^) – ^https://example.com/products/ corresponde a URLs começando com esse caminho.
• Termina com ($) – products/$ corresponde a URLs terminando em “products.”

​

Exemplo

• Crawling Pattern – https://example.com/products/* > rastreia todas as páginas de produtos.
• Processing Pattern – https://example.com/products/*reviews > extrai apenas avaliações das páginas de produtos.

​

4. Habilite Crawls Agendados (Quando Necessário)

​

Exemplo

​

5. Use Sitemaps para Eficiência

​

Exemplo