Como Usar IronWebScraper com Claude Code
Um scraper é fácil de escrever e fácil escrever mal. A versão ruim funciona na página na sua frente, ignora o host para o qual está direcionado e para de ser correto na primeira vez que o layout muda. Uma equipe de marketing que planeja mover o blog da empresa para uma nova plataforma precisa de um inventário de cada post publicado primeiro, com o endereço, título, autor, data de publicação, categorias, tags, contagem de palavras e imagens de cada um. O arquivo cobre cinco anos e dois temas do site, e um post está vinculado a nenhuma página de arquivo. A Anthropic construiu o Claude Code como um agente para programação, disponível na linha de comando, dentro do VS Code ou JetBrains, como um aplicativo de desktop e no navegador. Em todos eles, lê códigos, edita arquivos e executa comandos, o que é adequado para o trabalho de um crawler, onde cada mudança em um seletor é seguida por outra execução e outra olhada na saída.
O IronWebScraper é construído em torno de uma classe base. Você estende WebScraper, sobrescreve Init para solicitar uma URL inicial e definir as regras de varredura, e sobrescreve Parse para extrair valores de cada resposta. A fila e a limitação já estão no lugar, então o agente escreve apenas as partes que dependem do site. O tutorial do blog mostra o padrão em um blog. Este guia explica como configurar o Claude Code para construir o inventário de conteúdo com quatro prompts testados e registra os comportamentos do IronWebScraper dos quais cada prompt depende.
A Anthropic documenta Claude Fable 5.1 e Claude Fable 5 como os modelos mais capazes no Claude Code, adequados para tarefas maiores que uma única sessão. O comando /model altera o modelo sem finalizar a sessão.
Nomeie os campos, o arquivo de saída e os limites de varredura em cada prompt, e deixe o resto para o agente.
Início RápidoAbra um terminal na pasta do projeto, execute claude e insira /model opusplan antes do primeiro prompt. O teste serviu uma cópia do blog da empresa na porta 5437 da máquina local, e cada prompt nomeia esse endereço.
Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.
The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:
- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.
After setting the key, Program.cs does these things in order:
1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.
Run it once and show me the console output.
Fluxo de trabalho mínimo (5 etapas)
- Baixe a biblioteca de raspagem web C# do NuGet
- Abra Claude Code da pasta do projeto e defina o modelo com /model
- Registre as regras de varredura do IronWebScraper em CLAUDE.md para que toda sessão as carregue.
- Direcione o crawler para uma cópia local do site antes de qualquer host ao vivo.
- Verifique o inventário contra cada post e o registro de solicitações antes de iniciar uma migração.
O que o Claude Code faz em um projeto de crawler .NET?
O agente escreve a subclasse WebScraper e a executa contra o blog de teste. O desenvolvedor decide qual site é varrido, quão rápido, e quais páginas são excluídas.
As regras do projeto nas próximas seções proíbem um loop de solicitação escrito à mão e nomeiam o pacote e sua versão, de modo que o agente não escolha um pacote apenas pelo nome.
Como você configura o Claude Code?
Instale o Claude Code e faça login seguindo o início rápido da Anthropic. A configuração está completa quando claude é iniciado em um terminal e responde.
Como você configura um projeto no qual o Claude Code possa trabalhar?
Dê ao agente um alvo real primeiro. O dispositivo de teste é um aplicativo de console .NET 9 sem referência de pacote, e o blog funciona como um site local com 26 posts. Posts de 2023 em diante usam o tema atual, e os nove posts mais antigos usam o anterior. O arquivo vincula um post através de um redirecionamento, um post responde com um erro de servidor, um post mais antigo é enviado na codificação windows-1252, e o robots.txt impede uma pasta de rascunhos que a segunda página do arquivo vincula.
CLAUDE.md é carregado no início de cada sessão, portanto, as regras escritas lá se aplicam a cada sugestão posterior. O segundo prompt cria o arquivo e um revisor somente leitura para o código do crawler.
Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:
- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.
Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.
Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:
- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?
I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Para guias além da lista de membros, o IronWebScraper lista sua documentação para agentes em llms.txt.
Quais regras de varredura do IronWebScraper pertencem no CLAUDE.md?
Cada linha vem de uma sonda que varreu o blog local com e sem uma chave de licença e comparou o registro de solicitações do site com o que Parse recebeu. Cole o bloco na seção de Varredura.
These crawl rules were measured on IronWebScraper 2026.10.1:
- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Como o IronWebScraper aplica robots.txt a uma cópia local de um site?
ObeyRobotsDotTxt está ativado por padrão, mas o IronWebScraper solicitou robots.txt de http://localhost/robots.txt, na porta 80, seja qual for a porta que a URL inicial nomeou. No blog de teste, nunca pediu robots.txt e buscou o rascunho não permitido. Com nada ouvindo na porta 80, a primeira solicitação alcançou o blog 4.5 segundos após o processo de sonda começar, e definir ObeyRobotsDotTxt como falso reduziu isso para 0.5 segundos.
Uma segunda sonda serviu as regras do blog também na porta 80. Sem agente de usuário definido, Request lançou uma ArgumentException com a mensagem 'Cadeia de caracteres de agente de usuário inválida' contra estas regras, que incluem uma linha de Crawl-delay. Com um HttpIdentity que definiu um, o rascunho permaneceu não solicitado e as solicitações mantinham o atraso de varredura de um segundo. Um coringa BannedUrls, como */blog/drafts/*, manteve o rascunho de fora na sonda.
Quais páginas chegam ao Parse, e quantas vezes cada uma é solicitada?
Com as configurações padrão, a varredura da sonda enviou 43 solicitações ao blog de teste. Uma URL que o código solicitou duas vezes com o mesmo método de parse foi buscada uma vez. Um redirecionamento e seu destino contaram como duas URLs, então o post redirecionado foi buscado duas vezes e alcançou Parse duas vezes com o mesmo FinalUrl.
O post que respondeu 500 recebeu 9 solicitações com o HttpRetryAttempts padrão de 8, e Parse nunca foi executado para ele. Um crawler que deve listar suas falhas, portanto, compara os links que enfileirou com as linhas que escreveu.
RateLimitPerHost espaça o início de cada solicitação a um host. Em 1.000 milissegundos, os intervalos mediram 1.03 a 1.06 segundos, mas o post que levou 2.5 segundos para responder sobrepôs duas solicitações posteriores, porque OpenConnectionLimitPerHost por padrão é 2. O IronWebScraper também enviou as solicitações fora da ordem da página, então um crawler que precisa de saída ordenada classifica suas linhas antes de escrevê-las.
O que o IronWebScraper escreve nos arquivos de saída?
Scrape anexa ao seu arquivo JSON Lines, e uma segunda execução na mesma pasta de trabalho duplicou o arquivo da sonda de 27 linhas para 54. ScrapeUnique descarta o primeiro registro que cada scraper escreve em um arquivo, e o primeiro post escrito estava ausente do arquivo único em todas as 14 varreduras de sonda.
O post windows-1252 perdeu seus acentos. Response.CharSet relatou windows-1252, no entanto, o texto foi decodificado como UTF-8, e o nome do autor chegou com caracteres de substituição no lugar das letras acentuadas. Posts do mesmo autor enviados como UTF-8 decodificaram corretamente. Registrar CodePagesEncodingProvider com Encoding.RegisterProvider antes de Start corrigiu a decodificação.
O post windows-1252 parece assim em um navegador. O inventário tem que manter as letras acentuadas no nome do autor.

O post windows-1252 no blog de teste local, como o Chrome o exibiu. O site e seus posts foram construídos para o teste.
Como você solicita o código IronWebScraper que compila?
Solicite o crawler e suas regras de saída em um prompt, e permita que o modo de planejamento assente o design antes de qualquer alteração de arquivo. Mude para o modo plano com Shift+Tab antes de enviar a sugestão. Com opusplan selecionado, Opus escreve o plano e Sonnet o executa uma vez que o plano é aprovado.
Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:
- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.
Write out/content-inventory.csv with one row per post, in this shape:
- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.
Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.
Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Duas partes do prompt protegem o inventário.
- Uma linha por endereço servido: o inventário alimenta uma migração, e um post listado em dois endereços seria movido duas vezes.
- Falhas em um arquivo separado: sem ele, um post ausente no inventário não pode ser distinguido de um post que nunca foi publicado.
O que acontece quando o blog muda seu modelo de post?
O teste mudou o blog local para um novo modelo de post entre o terceiro e o quarto prompts. As páginas de arquivo e posts mais antigos mantiveram sua marcação, enquanto cada post de 2023 em diante mudou para novos nomes de classe. Um caminho que começa com @ anexa esse arquivo à solicitação.
The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:
1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.
Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
O que você deve verificar antes de confiar no código gerado do crawler?
Inclua as seguintes verificações na revisão.
- O log de solicitações: conte as solicitações por página, confirme que nada sob um caminho não permitido foi buscado e meça os intervalos entre as solicitações.
- A compilação:
dotnet buildrejeita um membro que não existe, como uma grafia corrigida deResponse.RequestlUrl. - Uma amostra de linhas: abra vários posts de cada tema e compare seus campos com o inventário antes de a migração começar.
Para uma tarefa completa do IronWebScraper com critérios de aprovação fixos que podem ser reexecutados, consulte o guia de assistentes de codificação AI.
O que os prompts produziram em uma execução real?
Claude Code executou os quatro prompts em uma sessão, na ordem, contra o blog local. O bloco de regras foi colocado em CLAUDE.md antes do terceiro prompt. Nenhum código foi editado manualmente.
- Antes da execução, o repositório continha um Program.cs de uma linha e nenhuma referência de pacote.
- O programa Quickstart imprimiu True para IsLicensed, contou 10 cartões de postagens e nomeou corretamente o primeiro post.
- CLAUDE.md recebeu as cinco regras de Varredura, e o arquivo de subagente listou apenas as ferramentas Read, Grep e Glob.
- Durante o planejamento, a sessão e seus subagentes enviaram 370 solicitações curl para o blog, 5 delas para a pasta de rascunhos não permitidos.
- O crawler definiu ObeyRobotsDotTxt como falso, leu robots.txt por si mesmo e converteu suas regras em configurações BannedUrls e RateLimitPerHost.
- A varredura do terceiro prompt enviou 38 solicitações, todas com o agente de usuário LarkspurInventory/1.0 e nenhuma para a pasta de rascunhos.
- Seu intervalo mediano entre os inícios das solicitações foi de 1.04 segundos, e os dois intervalos mais curtos seguiram robots.txt e um redirecionamento.
- O post que falhou recebeu 3 solicitações naquela varredura e foi a única entrada em failed-pages.txt.
- Após o terceiro prompt, o inventário continha 25 linhas, e cada campo correspondia aos dados do próprio blog em nossa verificação.
- O post redirecionado apareceu uma vez, sob seu endereço final, e o post ausente das páginas de arquivo estava presente.
- O post windows-1252 manteve o nome do autor acentuado, e nenhuma linha continha um caractere de substituição.
- No novo modelo, o crawler do terceiro prompt escreveu 8 linhas e listou 19 endereços falhos, embora apenas um post tenha retornado um erro.
- Após uma correção no quarto prompt, o novo inventário era idêntico byte a byte à cópia feita antes da mudança de modelo.
- Clones recentes do código final produziram as mesmas 25 linhas no tema atual e no novo modelo.
- Sem a chave, o programa informou que a licença falhou e não enviou nenhuma solicitação ao blog.
- A chave de licença não apareceu em nenhuma transcrição, arquivo de sessão, log ou arquivo do repositório desta execução.
- Alguns passos foram executados de forma diferente da página. A sessão foi executada em modo sem cabeça, então uma resposta digitada aprovou o plano. O guarda da execução, que manteve o agente dentro do repositório, bloqueou quatro chamadas de ferramentas, duas delas por engano.
As últimas oito linhas do inventário contêm os posts no tema antigo.

O cabeçalho e as últimas oito linhas de content-inventory.csv da execução de teste, desenhado como texto do arquivo. Os números de linha são os do arquivo.
O guia Cursor também faz o agente planejar o trabalho antes de escrever código, como o modo de planejamento faz aqui. O guia ChatGPT Codex mantém suas regras de varredura em AGENTS.md, que o Codex lê antes de qualquer trabalho, como este guia faz com CLAUDE.md. A versão do Claude Code, modelos, tempos e máquina de teste para essa execução estão no registro da execução compartilhado.
Solução de problemas
- Aplicando Chaves de Licença se
Startlançar LicensingException. - Segurança de Thread para as configurações que controlam quantas solicitações são executadas de uma vez.
- Segurança IronWebScraper CVE para a posição de segurança na própria biblioteca.
Questões?
Se você tiver dúvidas, entre em contato com support@ironsoftware.com
Curtis Chau é bacharel em Ciência da Computação (Universidade Carleton) e se especializa em desenvolvimento front-end, com experiência em Node.js, TypeScript, JavaScript e React. Apaixonado por criar interfaces de usuário intuitivas e esteticamente agradáveis, Curtis gosta de trabalhar com frameworks modernos e criar manuais bem estruturados e visualmente atraentes.