Usando IronWebScraper com Assistentes de Codificação de IA

Curtis Chau
Curtis Chau
Atualizado: 26 de outubro de 2026

IronWebScraper é a biblioteca de raspagem web para .NET da Iron Software. Ele rastreia sites, segue links entre páginas e extrai dados estruturados de HTML em C#, e um único pacote cobre todas as plataformas que executam .NET Standard 2.0.

Um assistente de codificação pode produzir um raspador web .NET a partir de um único pedido. Se esse código respeita o site alvo e se ainda funciona na segunda página, é preciso verificar. Um assistente trabalhando de memória pode escrever um loop HttpClient bruto, adicionar sua própria lógica de tentativas e enviar solicitações tão rápido quanto a conexão permite. O IronWebScraper já gerencia a fila de solicitações, a limitação e a identidade, então o código que um assistente precisa escrever é uma classe com duas substituições. Com a documentação disponível, o assistente neste teste do guia escreveu uma subclasse WebScraper e nenhuma chamada HttpClient.

O processo de configuração é o mesmo para cada assistente. Adicione o pacote, atribua a chave do ambiente, forneça ao assistente a documentação legível por máquina do IronWebScraper e compare a saída do rastreador e suas solicitações com o site antes de marcar a tarefa como concluída. Isso se aplica ao tutorial básico de raspagem, raspagem de blogs, raspagem de sites de compras e as configurações avançadas.

Logo do assistente de codificação de IA Claude CodeLogo do assistente de codificação de IA ChatGPT CodexLogotipo do assistente de codificação de IA GitHub CopilotLogotipo do editor de código da IA CursorLogotipo do agente de codificação de IA Google Antigravity

Meu Assistente de IA Não Pode Escrever um Raspador Sozinho?

Ele pode escrever um. As dificuldades aparecem fora do programa, no que o site alvo recebe e no que o arquivo de saída contém.

  • Um raspador que roda ainda pode sobrecarregar um site: RateLimitPerHost define o atraso mínimo entre solicitações para um host, e OpenConnectionLimitPerHost limita conexões paralelas.
  • A seleção de HTML não precisa de expressões regulares: Response fornece Css, XPath, QuerySelector e GetElementById.
  • Nomeie o pacote exatamente: o pacote e o namespace são ambos IronWebScraper. Atacantes registram nomes de pacotes que um assistente pode produzir por engano, uma prática chamada slopsquatting.
  • Os termos de licenciamento são definidos com antecedência: a página de licenciamento lista o número de desenvolvedores que cada nível permite.

Passo 1: Instalar IronWebScraper

Add the IronWebScraper NuGet package, version 2026.10.1, to this project and restore it.
Tell me which IronWebScraper version the project file lists now.
Text

A partir de um terminal, fixe a versão de lançamento explicitamente.

dotnet add package IronWebScraper --version 2026.10.1
SHELL

O pacote não contém motor de navegador nem binários nativos. Suas únicas dependências são IronSoftware.Common e IronSoftware.System.Drawing, e o segundo traz SixLabors.ImageSharp 3.1.12. Para essa versão, dotnet list package --vulnerable --include-transitive relatou cinco avisos, três deles avaliados como altos.


Passo 2: Aplique sua chave de licença

Sem uma chave, Start lança IronSoftware.Exceptions.LicensingException antes que o rastreador envie uma única solicitação, e nada chega à pasta de saída. A mensagem menciona sete dias de uso gratuito para desenvolvimento, mas a exceção apareceu na primeira chamada no teste para este artigo. Uma chave digitada incorretamente causa uma mensagem de "não reconhecida", que não repetiu a chave. Uma chave de teste gratuita está disponível abaixo.

Comece a usar IronWebScraper em seu projeto hoje com uma avaliação gratuita.

Primeiro Passo:
arrow pointer

Atribua a chave de licença uma vez na inicialização do aplicativo, antes do primeiro rastreamento. Recupere-a de uma variável de ambiente para que não seja armazenada no repositório.

IronWebScraper.License.LicenseKey = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
C#

IronWebScraper.License.IsLicensed retorna verdadeiro após uma chave válida ser atribuída, e IronWebScraper.License.IsValidLicense testa uma string de chave sem aplicá-la. Sem a atribuição acima, o IronWebScraper ignora IRONWEBSCRAPER_LICENSE_KEY. Ele lê uma variável de ambiente chamada IronWebScraper.LicenseKey, IronWebScraper_LicenseKey ou IronSuite.LicenseKey sem código algum.

Por favor, note: IronWebScraper License Keys também explica como definir a chave no Web.config ou App.config.

Passo 3: Aponte Seu Assistente para a Documentação do LLM do IronWebScraper

  • llms.txt lista 17 links, cada um com um resumo de uma linha.
  • llms-full.txt resume 13 páginas de documentação em um único arquivo.
  • llms-full.txt descreve llms-full-catalog.txt como um índice que também cobre artigos de blog, mas em 17 de outubro de 2026, o arquivo era idêntico a llms.txt.
  • A Referência de API lista a assinatura de cada membro.
  • Ferramentas que suportam arquivos de habilidades podem usar skill.md, que cobre configuração, licenciamento, receitas e falhas comuns.
  • O Ficha Técnica do Produto de IA delineia as plataformas suportadas e os principais casos de uso.

Forneça o índice no início de cada sessão, junto com uma instrução clara.

Read https://ironsoftware.com/webscraper/csharp/llms.txt before you touch the scraper code again.
Keep to what the pages it links describe.

An IronWebScraper crawl is built like this:
- A scraper class extends WebScraper and overrides Init and Parse.
- Init sets the crawl options and queues the first URL with Request.
- Parse gets a Response, selects nodes with Css or XPath, and queues more pages.
- Scrape appends one JSON line per record to a file under WorkingDirectory.
- Start runs the crawl and returns once the queue is empty.

Response.RequestlUrl has that extra l in the real API, so don't correct it.

For a member those pages don't mention, follow these steps:
1. Look it up at https://ironsoftware.com/webscraper/csharp/object-reference/api/.
2. Compile once to show it exists.
3. If you're still unsure, tell me and don't guess.

Then list every IronWebScraper call here that none of those pages covers.
Text

A propriedade soletrada RequestlUrl é o verdadeiro membro, e o assembly não tem RequestUrl. Um assistente que corrige a ortografia produz um código que não compila.


Passo 4: Adicione Contexto do IronWebScraper ao Seu Projeto

Instruções inseridas no chat são perdidas após o término da sessão. Armazene as regras de rastreamento no arquivo do projeto que sua equipe usa. Claude Code lê CLAUDE.md, ChatGPT Codex lê AGENTS.md, GitHub Copilot lê .github/copilot-instructions.md, Cursor lê arquivos .mdc em .cursor/rules/ou AGENTS.md, e o Google Antigravity lê AGENTS.md ou GEMINI.md. Um bloco único de texto é compatível com todos, embora os arquivos de regras do Cursor também incluam frontmatter MDC. Comece com o seguinte.

Crawlers in this project are written with IronWebScraper and follow these rules:
- The NuGet package and the namespace share one name, `IronWebScraper`.
- The documentation index is https://ironsoftware.com/webscraper/csharp/llms.txt.
- If the tool supports skill files, use https://ironsoftware.com/webscraper/csharp/skill.md too.
- Startup code assigns `IronWebScraper.License.LicenseKey` before any crawl runs.
- Its value is looked up by name in IRONWEBSCRAPER_LICENSE_KEY, and nothing prints the environment.
- The key stays out of console output, log files and commits.
- A scraper is a subclass of `WebScraper` with `Init` and `Parse` overridden.
- No raw `HttpClient` loop fetches pages beside it.
- Pick content out of the `Response` with `Css` or `XPath`, never with regular expressions.
- Add an `HttpIdentity` whose `UserAgent` names the crawler. Without one, no user agent is sent.
- Set `RateLimitPerHost`, `OpenConnectionLimitPerHost` and `HttpRetryAttempts` in `Init`.
- Never lower those limits to speed up a crawl.
- `ObeyRobotsDotTxt` reads robots.txt from the default port only.
- For a site on another port, add its disallowed paths to `BannedUrls`.
- A page that keeps failing never reaches `Parse`. Override `Log` to record which URL failed.
- Each crawl adds lines to the file `Scrape` wrote last time. Delete it before a new crawl.
- `ScrapeUnique` drops the first record it writes to a file.
- Write records with `Scrape` and remove duplicates by id.
- Develop against a local copy of the site before pointing at a live host.
Markdown

O arquivo de habilidades está desatualizado em três áreas. Seu exemplo de arquivo único fixa IronWebScraper 2026.8.1, apresenta ObeyRobotsDotTxt como honrando caminhos e taxas de robots.txt, e descreve ScrapeUnique como uma adição sem duplicação. Os testes para 2026.10.1 contradisseram os dois últimos.


Passo 5: Prompt de Configuração Única

Os Passos 1 a 4 podem ser enviados juntos como uma mensagem no início de um projeto ou sessão.

Set this project up for IronWebScraper crawls with these rules:
- Keep the IronWebScraper package pinned at 2026.10.1.
- The app fills IronWebScraper.License.LicenseKey before the first crawl.
- It looks up IRONWEBSCRAPER_LICENSE_KEY itself and never enumerates the environment.
- No console line, log or committed file ever contains the key.
- Start from https://ironsoftware.com/webscraper/csharp/llms.txt and keep the code within it.
- Look up anything those pages miss in the API reference that llms.txt links.
- A tool that reads skill files also loads the agent skill listed there.
- Every scraper sets a user agent, a rate limit and a retry count before its first request.
- Nobody removes those settings to make a crawl finish sooner.
- Test selectors on a local copy of a site first.

Save these rules in the file your later sessions load.
Tell me that file's name and list any other change you made.
Text

Passo 6: Padrões de Prompt que Produzem Código Funcional

Nomeie a página inicial, as páginas a seguir, os campos e o arquivo de saída.

Vago Escreva um raspador para um site de eventos com IronWebScraper.

Melhor Estenda WebScraper. Em Init, adicione um HttpIdentity com um agente usuário nomeado, defina um RateLimitPerHost de um segundo e solicite a primeira página de listagem. Em Parse, siga o link Next, solicite cada página de evento com um segundo método de análise e escreva um registro por evento com Scrape para events.jsonl.

Declare a versão do IronWebScraper e o framework alvo.

Melhor Use IronWebScraper 2026.10.1 em .NET 9, e atribua a chave de IronWebScraper_LICENSE_KEY antes de Start.

Solicite arquivos completos. Um raspador é uma subclasse, então um trecho parcial pode omitir a declaração da classe ou a diretiva using IronWebScraper;.

Melhor Retorne o programa completo Program.cs e a classe raspador, com suas diretivas using e a linha de licença, prontos para compilar como estão.


Passo 7: Verifique o Que Você Obtém de Volta

Cada um dos seguintes erros é fácil de ignorar em uma revisão de código gerado.

  • Um loop de solicitação ao lado da biblioteca: uma página buscada com HttpClient ignora todas as configurações de limitação, portanto o código gerado não deve conter tal chamada.
  • Um limite de taxa removido para fazer um teste terminar: verifique a configuração em Init, antes do primeiro Request.
  • Um seletor que começa com um atributo: Css("[data-event-id]") lançou XPathException em 2026.10.1, enquanto Css("article[data-event-id]") retornou o elemento. Coloque um nome de tag antes de cada teste de atributo.

Deixe o Agente Verificar Seu Próprio Trabalho

Rebuild in Release from clean and remove the previous crawl's output files.
Keep events.run1.json, then run the crawl again.

Show me what that run proves:
- Every IronWebScraper class and member used, with its documentation page.
- Whether IronWebScraper.License.IsLicensed came back true.
- The user agent, rate limit, connection limit and retry count set in Init.
- How many records events.json has, plus every event link without one and the reason.

Then tell me whether events.json holds every event the crawl was meant to collect.
Text

Configurações padrão de rastreamento com IronWebScraper

Os testes para este artigo rastrearam um site local na porta 5467 com cada padrão deixado no lugar.

ContextoPadrão em 2026.10.1Efeito medido no site de teste
ObeyRobotsDotTxttrueNenhuma solicitação de robots.txt chegou ao site, e uma página não permitida foi buscada
RateLimitPerHost50 milissegundosAs 42 solicitações de um rastreamento completo chegaram em 2,55 segundos
OpenConnectionLimitPerHost2Todas as 42 solicitações chegaram por uma conexão
HttpRetryAttempts8Nove solicitações para cada página que falhou
Agente usuário (Identities vazio)noneCada solicitação foi enviada sem um cabeçalho de User-Agent
WorkingDirectoryRaspagemOs arquivos de saída apareceram em uma pasta de Raspagem no diretório atual

IronWebScraper constrói o endereço robots.txt a partir do esquema e do nome do host e deixa de fora a porta. Para o site de teste, o rastreador tentou a porta 80 em ambos os endereços de loopback, esperou 4,1 segundos para que essas conexões falhassem e então rastreou sem regras. Seu log ainda relatou que robots.txt seria obedecido para o host. Um site na porta padrão não é afetado. Para um site em qualquer outra porta, adicione os caminhos não permitidos a BannedUrls, que manteve a página apenas para membros fora do rastreamento no teste.


Páginas falhas e ignoradas com IronWebScraper

IronWebScraper lida com uma página que responde 404 e uma página que responde 500 da mesma maneira.

  • Com HttpRetryAttempts definido para 2, cada página falha foi solicitada três vezes, e a linha de log ainda relatou "após 2 tentativas".
  • Uma configuração de 0 produziu uma solicitação para cada página falha.
  • Parse nunca foi chamada para uma página que falhou, então o raspador nunca vê seu código de status.
  • A URL aparece apenas na linha de log crítica "URL falhou permanentemente", e FailedUrls a conta. Uma substituição de Log pode registrar quais páginas falharam.
  • Uma exceção lançada dentro de um método de análise tem o mesmo efeito de uma solicitação falha. A página foi solicitada nove vezes, registrada como falha, e o rastreamento continuou.

IronWebScraper 2026.10.1 também ignora algumas páginas solicitadas em Init sem registrar uma falha. Nos testes para estes guias, rastreadores que solicitaram três páginas de local em Init buscaram todas as três em 1 de 26 execuções. Um rastreador que enfileirou 10 páginas lá solicitou entre 2 e 9 delas em 8 execuções. As páginas ignoradas nunca chegaram ao site, FailedUrls permaneceu em 0, e o log ainda relatou "Rastreamento completo". Solicitar a primeira página em Init e enfileirar o resto a partir de um método de análise buscou cada página de local em 8 de 8 execuções.


Arquivos de saída com IronWebScraper

Scrape serializa qualquer objeto em uma linha de JSON e o anexa a um arquivo de JSON Lines. Um nome de arquivo relativo se resolve contra WorkingDirectory, e uma chamada sem um nome de arquivo grava em um nomeado após o tipo, como IronWebScraper.ScrapedData.jsonl.

  • O arquivo é UTF-8 sem uma marca de ordem de bytes, com finais de linha CRLF. Títulos acentuados foram escritos como os próprios caracteres.
  • Um valor DateTimeOffset manteve seu deslocamento, e um preço decimal de 12,50 manteve ambos os dígitos.
  • Scrape anexa em cada execução. Um segundo rastreamento na mesma pasta dobra o arquivo, a menos que o programa o exclua primeiro.
  • ScrapeUnique ignora um registro cuja linha JSON inteira já foi escrita, por isso o mesmo evento com um preço alterado é escrito novamente.
  • ScrapeUnique também descarta o primeiro registro que escreve em cada arquivo em cada instância do raspador. Escrever A, B, C e A para um novo arquivo deixou B e C. Uma chamada única nunca criou o arquivo, e em um rastreamento completo o primeiro evento analisado estava ausente da saída.

Um Resultado Que Você Pode Reproduzir

O teste consiste em um único prompt, e você não escreve nenhum código. Sirva o site de teste, abra uma nova sessão em um diretório vazio, cole o prompt e compare o resultado com os critérios de aprovação.

Por favor, note: O teste requer o SDK do .NET 9, uma conexão de rede, um assistente que pode executar comandos no terminal, uma chave de teste ou produção do IronWebScraper em IRONWEBSCRAPER_LICENSE_KEY e o site de teste na porta 5467. gen_site.py escreve suas páginas e serve.py as serve nos endereços de loopback e registra cada solicitação.

O site lista 23 links de eventos distintos em três páginas. Vinte levam a páginas de eventos, robots.txt não permite um, um responde 404 e um responde 500. Um evento aparece tanto em uma caixa de destaque quanto na lista.

O prompt

Make a .NET 9 console program that exports a local test site's event listings to JSON.
If this folder already holds project files, say so and stop.
Don't ask me anything.
Write all output here.

Add the NuGet package IronWebScraper 2026.10.1.
Go through https://ironsoftware.com/webscraper/csharp/llms.txt, then its agent skill.
Also read its license keys page and the tutorial /tutorials/webscraping-in-c-sharp/.
Call only members documented there or in the API reference.

The events app's first action sets IronWebScraper.License.LicenseKey.
It reads IRONWEBSCRAPER_LICENSE_KEY by name for that value.
Never let the key reach the console, files, shell echoes or environment variable listings.
If IronWebScraper.License.IsLicensed is false, the app exits with a message.

The site's listings start at http://localhost:5467/events/.
Follow the Next link through every listing page and open each event link.

The IronWebScraper crawler keeps to these limits:
- It requests only http://localhost:5467/ addresses.
- It requests no path that http://localhost:5467/robots.txt disallows.
- It sends the user agent RiversideEventsBot/1.0 on every request.
- It waits at least one second between requests, over one connection at a time.
- It retries a failed page at most twice.

Write a record per loaded event page with IronWebScraper's Scrape or ScrapeUnique.
events.json holds those records as a UTF-8 JSON array sorted by start time.

Each record has these fields:
- id, from the data-event-id attribute.
- title, with its accented letters intact.
- start, the time element's datetime value, unchanged.
- venue.
- price as a number, null when the page says Free.
- tags as an array.
- status in lower case, "scheduled" when the page shows none.
- url, the page's full address.

Also write these files:
- links.json lists every distinct a.event-link target on the listing pages.
- skipped.json gives each failed or disallowed link and its reason.
- requests.log has every URL the crawler requests, with a timestamp.

Each link in links.json ends as a record, a failed request, or a path robots.txt disallows.

Next, do a Release build and run it twice.
Keep the first run's file as events.run1.json and both runs' SHA-256 values.
The second run's events.json must match events.run1.json byte for byte.

Last, add a check mode that sends no requests, and run it to write readback.md.
It reads each actual value from disk.
readback.md gives expected, actual and match for these checks:
- Records plus skipped links equal the distinct event links found.
- No two records share an id.
- Records are in start order, and every start keeps its UTC offset.
- requests.log has no disallowed path, no other host, and no gap under one second.
- The two SHA-256 values are equal.

readback.md names any request you sent the site outside the crawl, and why.

When a check fails, find the cause, fix it and rerun.
Some causes are inside IronWebScraper, with no workaround.
For those, readback.md names the member, what you tried and the unmatched check.
Then finish the rest.

Tell me the Release build result, matching checks out of the total, and your assumptions.
Text

Saída

O readback.md não editado do aplicativo lista suas cinco verificações, e events.json e skipped.json estão disponíveis como o aplicativo os escreveu. O prompt não foi editado após a execução. Os números abaixo vêm de uma leitura independente desses arquivos e do log do site de teste.

Dois registros de eventos em events.json, um adiado e um com letras acentuadas em seu título e local

Linhas 104 a 129 de events.json como o aplicativo escreveu, desenhadas como texto simples.

  • Um build de Release para net9.0 foi concluído sem avisos e sem erros.
  • events.json continha 20 registros, um para cada página de evento, classificados por hora de início.
  • Cada campo de cada registro correspondia à sua página de evento. Os títulos acentuados e o deslocamento UTC de cada horário de início foram preservados.
  • O rastreador solicitou robots.txt por conta própria como sua primeira solicitação e rejeitou os caminhos não permitidos em uma substituição de AcceptUrl.
  • Nenhum rastreamento enviado pelo aplicativo solicitou um caminho não permitido.
  • Antes de o aplicativo ter suas regras robots.txt, a sessão buscou a página apenas para membros três vezes manualmente.
  • Cada um dos dois rastreamentos de Lançamento enviou 30 solicitações com o agente usuário RiversideEventsBot/1.0.
  • O menor intervalo entre solicitações nesses rastreamentos foi de 1,028 segundos.
  • Cada página falha recebeu três solicitações, a primeira tentativa e duas novas tentativas.
  • As notas do aplicativo registraram que ScrapeUnique perdeu o primeiro registro, e o código final escreveu cada registro com Scrape.
  • events.json foi byte por byte o mesmo após as duas execuções do aplicativo e após duas execuções de uma reconstrução separada.
  • A leitura do aplicativo correspondia a 5 de 5 verificações.
  • A leitura independente correspondia a todas as 37 de suas verificações.
  • o readback.md listou 165 solicitações enviadas fora dos dois rastreamentos de Lançamento, e o log do site de teste registrou 195.
  • Nenhum arquivo na pasta do projeto, seu histórico do Git ou os arquivos de sessão do Claude Code continha a chave de licença.
  • O prompt de configuração escreveu suas regras para um novo CLAUDE.md de 112 linhas.
  • Alguns passos foram executados de forma diferente da página. Os prompts dos Passos 1, 3, 5 e 7 rodaram após o prompt de aceitação na mesma sessão. A configuração do teste bloqueou sete comandos válidos, e a sessão completou cada tarefa de outra forma.

O que passa

  • Um build de Release é concluído sem quaisquer edições manuais.
  • events.json contém 20 registros classificados por hora de início, com cada campo correspondendo à sua página de evento quando você lê as páginas você mesmo.
  • skipped.json nomeia a página apenas para membros e os dois links que falharam.
  • O próprio log de solicitações do site não mostra caminho não permitido, nenhum intervalo inferior a um segundo entre as solicitações do rastreador, e no máximo três solicitações para uma página falha.
  • Uma segunda execução produz um events.json idêntico.
  • Uma busca na pasta do projeto não encontra nenhum arquivo que contém a chave de licença.
Por favor, note: Para testar uma versão diferente, edite a versão na linha de instalação do prompt e reveja o changelog do IronWebScraper para mudanças.

O registro da execução

  • Todas as execuções usaram um desktop Windows 11 x64 com um Core i9-14900KF e 64 GB de memória.
  • O projeto deste guia tem como alvo net9.0 e fixa IronWebScraper 2026.10.1, e cada rastreamento teve como alvo um site de teste servido na mesma máquina.
  • A duração de um guia é a soma dos tempos registrados para os prompts em sua página, e a linha deste guia conta apenas o prompt de aceitação.
  • As versões e modelos na tabela vêm dos próprios arquivos de sessão e logs de cada ferramenta para a execução, não de uma verificação de versão separada.
  • O Cursor CLI não registra versão em seus arquivos de sessão, portanto sua linha mostra a compilação instalada cujos registros de processo cobrem a execução.
  • Último teste em 26 de outubro de 2026, para o guia do Claude Code, e 17 de outubro de 2026, para todos os outros guias da tabela.
GuiaAssistente e versãoModeloDuração (minutos)
Este guiaClaude Code 2.1.277, uma sessão, prompts de permissão desativadosClaude Opus 523.7
Claude CodeClaude Code 2.1.277, prompt 3 em modo de planoSoneto 5 com Planejamento Opus 528.0
ChatGPT CodexCodex CLI 0.160.0GPT-6 Luna27.8
GitHub CopilotCopilot CLI 1.0.95GPT-6 Luna, escolhido pelo Auto18.9
CursorCursor CLI 2026.10.16-e3cb207, sem cabeçaComposer 2.517.0
Google AntigravityAntigravity CLI 1.4.0, prompts de permissão ignoradosGemini 4 Argon (Médio)109.9

Guias Específicos para Agentes

Cada guia abaixo aplica esses passos a uma ferramenta e uma tarefa de raspagem.


Solução de problemas


Questões?

Se você tiver dúvidas, entre em contato com support@ironsoftware.com

Curtis Chau é bacharel em Ciência da Computação (Universidade Carleton) e se especializa em desenvolvimento front-end, com experiência em Node.js, TypeScript, JavaScript e React. Apaixonado por criar interfaces de usuário intuitivas e esteticamente agradáveis, Curtis gosta de trabalhar com frameworks modernos e criar manuais bem estruturados e visualmente atraentes.

Leia Mais

Pronto para começar?

Downloads no NuGet 150,061Versão:2026.11recém-lançado