Web scraping com n8n: o que dá para fazer e onde estão os limites

• Os termos de uso do site. Muitos proíbem coleta automatizada explicitamente. É contrato, não sugestão.

• O arquivo robots.txt. Indica o que o site pede para não ser acessado por robôs.

• Dado pessoal. Coletar informação de pessoas identificáveis entra na legislação de proteção de dados, mesmo que a informação esteja pública. Estar visível não significa estar liberada para uso.

• Existe API? Se existir, use. É mais estável, mais rápido e não quebra a cada mudança de layout.

A pergunta prática que resolve a maioria dos casos: o dono do site ficaria incomodado se soubesse? Coletar preço público de produto para comparação é uma coisa. Extrair a base de contatos de um diretório é outra bem diferente, com consequências jurídicas reais.

1. Buscar a página. Um node HTTP Request com método GET apontando para o endereço. A resposta vem como texto — o código HTML da página.

2. Extrair o que interessa. O node de extração de HTML permite indicar o trecho desejado por seletor, o mesmo tipo de endereço que se usa para estilizar páginas: .preco pega elementos com essa classe, h1 pega o título principal.

3. Limpar. O que vem quase nunca está pronto: sobram espaços, quebras de linha, símbolo de moeda. Aqui entram as funções de texto — remover espaços das pontas, tirar tudo que não é número, converter para número de verdade.

Como reconhecer: a requisição volta com sucesso, mas o conteúdo que você vê no navegador não está no resultado. Não é erro de seletor; o dado não veio.

O que fazer: procurar a requisição que a própria página faz para buscar os dados — quase sempre existe uma API por trás — e chamar essa API diretamente. É mais estável que raspar, além de mais rápido.

2. Proteção anti-robô

Muitos sites detectam acesso automatizado e respondem com bloqueio, desafio visual ou uma página diferente da real. Alguns detectam pelo identificador do navegador, outros pelo endereço de origem, outros pelo ritmo das requisições.

Vale entender o recado: proteção anti-robô é o site dizendo que não quer ser raspado. Insistir com técnicas de disfarce muda a natureza do que você está fazendo — deixa de ser coleta de dado público e vira contorno deliberado de uma medida de proteção.

3. Mudança de layout

O motivo pelo qual raspagem dá manutenção para sempre. O site muda uma classe e seu fluxo para de funcionar — normalmente sem erro, apenas devolvendo vazio.

A defesa: validar o resultado. Se o campo veio vazio ou fora do formato esperado, o fluxo deve avisar. Sem isso, você descobre semanas depois que a planilha está sendo preenchida com nada.

Quando qualquer uma existe, ela vence a raspagem em todos os quesitos — estabilidade, velocidade, ausência de manutenção e ausência de conflito com os termos de uso. Raspagem é o último recurso, não o primeiro.

Buscar com HTTP Request, extrair com seletor, limpar com funções de texto. Mas antes: confira se pode, e procure uma API — que costuma existir e resolve melhor.