/crawl e tá pronto

Se você já tentou fazer scraping de um site, então você sabe: isso aqui NUNCA é simples.

A gente sempre começa esperançoso…

(“kkkk, rapidinho eu resolvo isso”)

“Ah, é só pegar umas páginas”...

Aí vem:

→ Puppeteer ou Playwright

→ página que não carrega direito

→ conteúdo dinâmico quebrando tudo

→ fila, retry, rate limit

→ bloqueio do nada

E quando finalmente funciona… algo muda na página e quebra de novo.

Agora imagina isso:

Uma chamada de API e o site inteiro vem estruturado pra você.

Simples assim.

Foi exatamente isso que a Cloudflare lançou com o /crawl.

Mas o ponto não é só facilidade… é velocidade de execução.

Porque além de crawlear, ele renderiza páginas como um browser real (inclusive SPA), descobre links automaticamente e já retorna em HTML, Markdown ou JSON.

Ou seja… praticamente pronto pra usar com IA.

E sim, simples assim de usar:

# 1. Inicia o crawl
curl -X POST "https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl" \
-H "Authorization: Bearer {TOKEN}" \
-H "Content-Type: application/json" \
-d '{
  "url": "https://example.com",
  "limit": 50,
  "formats": ["markdown", "html"]
}'

# resposta:
# { "success": true, "result": "job-id-123" }

# 2. Busca o resultado
curl -X GET "https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl/job-id-123"

Ou seja: ele roda como um job assíncrono. Você inicia e depois consulta o resultado.

Agora pensa no impacto disso:

→ transformar qualquer site em base pra IA

→ montar buscador em cima de conteúdo externo

→ criar agregadores em horas, não semanas

Sem infra. Sem dor de cabeça.

E o mais irônico? A empresa que sempre foi conhecida por lutar contra bots… agora também tá facilitando (e muito) o trabalho deles.

Claro, não é bagunça não meu camarada, o /crawl:

>> não ignora proteção

>>pode ser bloqueado normalmente

Mas mesmo assim…isso aqui trás uma facilidade imensa para criação rápida de dados. Te deixando com a única precoupação de:

o que vou construir com isso?

Tenho a sensação de que isso aqui vai virar base de MUITO projeto por aí...👀