Como Usar IronWebScraper com ChatGPT Codex
Uma equipe de precificação registra os preços de um catálogo online toda noite e os compara com a noite anterior. O catálogo abrange cinco páginas, e cada página se conecta com as outras. Quando uma página falha durante o rastreamento, o rastreamento ainda termina e ainda escreve um arquivo. A comparação então lista cada produto na página ausente como descontinuado, e a equipe age sobre os preços que nunca mudaram.
ChatGPT Codex é a agente de codificação da OpenAI. Dentro de um repositório lê arquivos, edita-os, executa comandos como dotnet run e relata o que mudou, de um terminal, uma extensão IDE, o aplicativo desktop ChatGPT ou a nuvem. IronWebScraper fornece rastreamento em .NET como uma classe base que um projeto estende. A classe base enfileira solicitações, as limita por host, repete falhas e grava linhas extraídas em arquivos JSON Lines.
Este guia fornece ao Codex um catálogo de teste servido em localhost, um arquivo de regras e duas noites de preços. Cada prompt que pede uma contagem também pede um arquivo que a registra, então cada contagem relatada pelo Codex é apoiada por dados. Antes que o rastreador seja escrito, uma sonda mede como IronWebScraper trata páginas falhas, robots.txt e seus próprios arquivos de saída nesse site.
Início RápidoInicie o Codex em um projeto de console .NET 9 que contém as pastas Data e TestData, com o catálogo de teste rodando na porta 5461.
$ironwebscraper Add IronWebScraper 2026.10.1 to this console app and read the first catalogue page.
The test catalogue runs at http://localhost:5461/catalog/page-1.html.
Program.cs crawls that page alone and writes out/quickstart.csv, one row per product.
The CSV has these columns:
- sku, from the data-sku attribute
- name
- price, from the data-price attribute
- shown, the price text the page displays
The price monitor reads IRONWEBSCRAPER_LICENSE_KEY in code and assigns it to License.LicenseKey.
Keep the value out of output, files and logs.
Don't run anything that lists environment variables.
After three failed builds or runs, stop and paste the last error.
Otherwise, count the CSV rows and tell me the number.
Fluxo de trabalho mínimo (5 etapas)
- Baixe a biblioteca de raspagem web C# do NuGet
- Salve a habilidade do IronWebScraper como .agents/skills/ironwebscraper/SKILL.md para que a menção
$ironwebscraperresolva - Confirme um AGENTS.md que bane os caminhos de carrinho e conta e mantém um segundo entre as solicitações
- Sonde páginas falhas e arquivos de saída contra uma cópia servida localmente da loja antes de escrever o rastreador
- Recuse qualquer instantâneo com uma solicitação falha ou uma página ausente, e verifique o relatório de preços com código separado
O que é ChatGPT Codex, e como ele se encaixa no trabalho de web scraping em .NET?
Codex age dentro das permissões que lhe são concedidas. A documentação do Codex CLI cobre a instalação e uso de terminal, e o repositório de código aberto publica seus lançamentos.
Um membro que Codex inventa falha na montagem. Um rastreador que compila, executa e silenciosamente pula uma página passa na montagem, e este guia aborda essa segunda falha.
IronWebScraper envia montagens .NET Standard 2.0 e 2.1 e analisa o HTML que um servidor retorna. Nenhum rastreamento neste guia atinge um site de terceiros.
Como escrever um prompt IronWebScraper e configurar o Codex para ele?
O prompt de início rápido nomeia a página inicial, os campos e o arquivo de saída. Os prompts de instantâneo e serviço se referem ao Data/README.md para as regras do site.
Codex analisa .agents/skills em cada pasta, do diretório de trabalho até a raiz do repositório. Salvar a skill.md do IronWebScraper como .agents/skills/IronWebScraper/SKILL.md permite que a menção $ironwebscraper seja resolvida. O programa de amostra da habilidade visa IronWebScraper 2026.8.1, enquanto este guia instala 2026.10.1.
Codex lê AGENTS.md uma vez, quando uma execução começa. Ele percorre da raiz do repositório até a pasta de trabalho, e um arquivo mais profundo sobrescreve um mais raso. Um arquivo escrito durante uma execução entra em vigor na próxima execução. O comando /init gera um primeiro esboço.
Create AGENTS.md in the repository root with a Price watch heading.
Give it these rules, one per line:
- IronWebScraper 2026.10.1 does all fetching and parsing.
- No HttpClient code, HtmlAgilityPack or AngleSharp.
- Data/README.md describes the site, the snapshot and the change report. It overrides anything else.
- Crawl localhost only: the test site on port 5461, or a listener a test starts.
- Every scraper adds the patterns */cart/* and */account/* to BannedUrls.
- RateLimitPerHost stays at one second or more.
- Init adds an HttpIdentity whose UserAgent is the one Data/README.md names.
- Data/ and TestData/ are read-only.
- Check IronWebScraper members in the ironwebscraper skill and the installed IronWebScraper.xml.
- When a probe against the test site disagrees with either of them, the probe wins.
- Any count you report comes from a file written that turn, and the reply names it.
- The key stays in IRONWEBSCRAPER_LICENSE_KEY.
Show me the file when it's done.
As regras adicionam um HttpIdentity em Init para que toda solicitação nomeie o rastreador. Os padrões de rastreamento do hub mostram o que IronWebScraper envia sem um.
Como adicionar IronWebScraper e aplicar a chave?
Show me the IronWebScraper PackageReference in PriceWatch.csproj and the version NuGet restored.
Paste all of what dotnet list package --include-transitive prints after that.
Leave every package reference as it is.
IronWebScraper 2026.10.1 depende de IronSoftware.Common 2026.4.2 e IronSoftware.System.Drawing 2026.8.2. A lista de pacotes na execução de teste mostrou 30 pacotes transitivos, entre eles SixLabors.ImageSharp 3.1.12, Grpc.Net.Client 2.62.0 e Polly 8.6.6. Revise o changelog do IronWebScraper antes de fixar um lançamento.
IronWebScraper ignora IRONWEBSCRAPER_LICENSE_KEY, então o código que mantém a chave sob esse nome atribui License.LicenseKey antes do primeiro rastreamento.
Move the key line into Startup.ApplyIronWebScraperKey and call it at the top of Program.cs.
After the assignment, the method prints License.IsLicensed.
Next, find out what IronWebScraper does without a key.
Launch three child copies of the program, each with --licence-check N, set up like this:
1. The first child runs with IRONWEBSCRAPER_LICENSE_KEY removed from its environment.
2. The second keeps the variable, but --no-startup stops it from calling Startup.
3. The third keeps the variable and calls Startup.
Each child crawls catalogue page 1 into out/licence-check-N.csv.
Log every child in out/licence-check.csv with these columns:
- run and IsLicensed
- exception type, with no message
- rows written, and whether the child's CSV exists
Tell me which of the three wrote rows.
A página de chaves de licença lista outras maneiras de fornecer uma chave.
O que IronWebScraper faz com páginas falhas, robots.txt e arquivos de saída?
O guia do website de compras escreve produtos com Scrape e segue o link de próxima página de seu analisador de categorias. Quatro comportamentos de IronWebScraper 2026.10.1 determinam se um arquivo de preços noturno pode ser confiável, e as sondas mediram cada um contra o catálogo de teste.
- Com a página 3 do catálogo respondendo 503 toda vez, IronWebScraper a requisitou nove vezes sob o padrão
HttpRetryAttemptse então a descartou sem um erro. A saída continha 37 de 47 produtos. ObeyRobotsDotTxtestá ativado por padrão, no entanto, nenhuma solicitação para /robots.txt alcançou o site de teste, e links sob /cart/, que robots.txt desautoriza, foram buscados. IronWebScraper procura por robots.txt apenas na porta padrão. O padrão*/cart/*emBannedUrlsexcluiu esses links.Scrapeacrescenta ao seu arquivo. Duas execuções no mesmo arquivo deixaram 94 linhas para 47 produtos.ScrapeUniqueperde o primeiro registro que escreve. Três execuções novas de 47 produtos cada escreveram 46 linhas, e LK-1001 estava faltando toda vez.
Probe how IronWebScraper treats the test site, in a console app at scratch/crawl-probe/.
Add a Compile Remove item so PriceWatch.csproj skips scratch/**.
Apply the key as Startup does.
Each case gets its own scraper, output folder and try block.
Measure these cases from Parse calls, FailedUrls and the files written:
- queue every nav.pager link from every page, then compare Parse calls with pages
- Scrape the same 10 rows into one file in two separate runs, and count lines after each
- ScrapeUnique 10 different rows into a new file, and count the lines
- request /probe/once-503.html and /probe/always-503.html, and note what reaches Parse
- leave ObeyRobotsDotTxt on and request /probe/blocked/page.html, which robots.txt disallows
- read LK-1045 on catalogue page 5: the price text and the data-price attribute
Then have the explorer agent read IronWebScraper.xml and the ironwebscraper skill, editing nothing.
It reports what both say about Scrape, ScrapeUnique, HttpRetryAttempts and ObeyRobotsDotTxt.
Write every finding into out/crawl-probe.csv, with a quote from the run, the XML or the skill.
Flag each row where a source and the probe disagree, and list those rows for me.
Como construir o rastreador de instantâneos?
Data/README.md define um instantâneo completo como aquele em que cada página de 1 a M alcançou Parse e nenhuma solicitação falhou. O preço vem do atributo data-price, porque o texto exibido de LK-1045 lê $1,249.00 enquanto o atributo guarda 1249.00.
Have the worker agent write Services/CatalogueCrawler.cs.
It builds a snapshot as Data/README.md describes.
PriceWatch takes two commands:
- --snapshot --date YYYY-MM-DD crawls every catalogue page into out/snapshots/<date>.csv
- --compare OLD NEW writes out/changes-NEW.csv from those two snapshot files
Use what the probe found when the crawler writes and checks its output:
- every run starts a new output file, so no rows carry over from an earlier run
- the snapshot is refused when FailedUrls is above zero
- it is also refused when a page from 1 to M never reached Parse
- a refusal prints FailedUrls and the page numbers that reached Parse
- the price column comes from data-price
- the was column comes from span.price-was, without the $ sign or commas
Run --snapshot --date 2026-10-15.
Tell me the row count and the number of pages, both read from the snapshot file.
Como verificar as mudanças de preço relatadas pelo Codex?
The store changed its prices overnight.
Run --snapshot --date 2026-10-16, then --compare 2026-10-15 2026-10-16.
Check the report with code kept apart from the crawler.
That code reads both snapshots and out/changes-2026-10-16.csv.
It writes out/changes-check.csv with these columns:
- sku
- the change the snapshots show
- the change the report lists
- match, yes or no
Give me the count of each change type in the report, plus any row that doesn't match.
Saída
O relatório abaixo é o arquivo que o rastreador escreveu para a segunda noite na execução de teste, sem alterações.
O relatório de mudanças da execução de teste, out/changes-2026-10-16.csv, mostrado como texto simples.
O que acontece quando uma página de catálogo falha?
Catalogue page 3 now answers 503 to every request.
Show me that no snapshot gets saved in that state.
Run --snapshot --date 2026-10-17.
out/snapshots/2026-10-16.csv must stay identical, byte for byte.
Write out/failure-check.csv, holding these values:
- the exit code and the message printed
- FailedUrls and the pages that reached Parse, copied from that message
- whether out/snapshots/2026-10-17.csv exists
- the SHA-256 of the 2026-10-16 snapshot before and after the run
Say whether the snapshot was refused and whether the two hashes are equal.
Como verificar um preço a partir de um screenshot?
O Codex aceita imagens como contexto. Passe um com o sinalizador -i (forma longa --image) para codex exec ou codex exec resume, ou cole-o no compositor interativo.
O screenshot anexado na execução de teste, página 1 do catálogo do site de teste como servido na primeira noite.
A customer sent the screenshot I attached with -i.
They say the Ridge Tent 2P price on it is wrong.
Leave the code alone and go through this in order:
1. Read the name, price and stock of the first three products in the image.
2. Compare them with out/snapshots/2026-10-15.csv and out/snapshots/2026-10-16.csv.
3. Save the comparison as out/screenshot-check.csv.
Then quote the heading shown in the image.
Tell me which day's catalogue it shows and what the tent costs now.
Como depurar um alerta de preço que saiu errado?
Work out why the 2026-10-16 price alerts went out wrong.
These files describe what happened:
- Data/alert-complaint.md lists four problems.
- Output/price-alerts-2026-10-16.csv is the file that was sent.
- Logs/price-check-2026-10-16.log reports success.
- Logs/store-access-2026-10-16.log is the store's record of the price check's requests.
Start with the explorer agent.
It reads Jobs/LegacyPriceCheck.cs, the two logs and the alert file.
Don't edit any code.
A script under scratch/ may read the files if that helps.
Write out/legacy-diagnosis.md, and include:
- the code line that causes each problem
- why the job log still said it succeeded
- the smallest fix for each problem, backed by a row of out/crawl-probe.csv
Then tell me each problem and its cause, one line per problem.
Revise o diagnóstico antes de permitir qualquer edição. O trabalho legado registrou sua linha de sucesso após Start retornar e nunca leu FailedUrls.
Como transformar o rastreador em um serviço testado?
Ask the worker agent for a PriceWatchService class with these properties:
- A Microsoft.Extensions.DependencyInjection container can resolve it.
- A WatchOptions record configures it with the date, base URL, output folder and rate limit.
- It keeps every rule from Data/README.md and every check CatalogueCrawler makes.
- PriceWatchService.cs stays below 150 lines.
- Every public member carries an XML doc comment.
- Nothing calls Jobs/LegacyPriceCheck.cs.
Then take the 2026-10-16 snapshot again through the service, into out/final/2026-10-16.csv.
Compare it with out/snapshots/2026-10-16.csv and list every difference for me.
IronWebScraper analisa apenas as respostas que ele próprio obtém. Response não tem uma forma pública de carregar HTML salvo, e um endereço de arquivo local passado para Request não produziu nenhuma chamada Parse e nenhum erro. Em um teste sandbox do Codex, o construtor HttpListener em Windows PowerShell lançou uma PlatformNotSupportedException. Um TcpListener ligado ao loopback funcionou, então o prompt de teste serve as páginas salvas a partir de um.
Add an xUnit project at tests/PriceWatch.Tests, in one solution with the main project.
Keep tests/** out of PriceWatch.csproj.
The tests apply the key through Startup.ApplyIronWebScraperKey.
IronWebScraper only parses pages it fetches.
So the tests serve TestData/ from a small TcpListener server on a free localhost port.
None of them calls port 5461.
Together, the tests cover these cases:
- catalog-page-1.html yields 10 products, the first being LK-1001
- LK-1045 on catalog-page-5.html has the price 1249.00
- a crawl where one page answers 503 and the rest answer 200 writes no snapshot
- comparing two small snapshot files finds each change type once
TestData/ holds only pages 1 and 5 of the catalogue.
The 503 case can serve a small made-up catalogue, so the 503 is the only failure.
Use dotnet test --logger trx --results-directory out/tests/.
Read the pass and fail counts from the trx file and tell me both.
O último prompt verifica os membros em IronWebScraper.xml contra o resultado da sonda e dos testes, porque o XML descreve ScrapeUnique como ignorando duplicatas e não diz nada sobre o primeiro registro perdido.
$ironwebscraper Find the IronWebScraper.xml members that pace, retry, filter or save a crawl.
For each member, give me these two things:
- the XML's own description of it
- whether out/crawl-probe.csv or a test result under out/tests/ covers it
Then write a line that compiles for each member, in a project at scratch/api-probe/.
Build it with dotnet build scratch/api-probe, and don't run it.
Como reutilizar esses prompts em outro catálogo?
Os prompts nomeiam os seletores, códigos de produtos e páginas de testes deste catálogo. Para reutilizá-los em uma lista de preços de fornecedor, uma categoria de marketplace ou um feed de produtos interno, substitua esses nomes nos prompts, juntamente com a página inicial, os seletores e as colunas de instantâneos em Data/README.md. Para configuração que se aplica a cada assistente, consulte o guia de assistentes de codificação AI do IronWebScraper.
O que os prompts produziram em uma execução real?
Os prompts acima foram para o Codex em ordem, em uma sessão, contra o catálogo de teste em localhost. O site mudou para os preços da segunda noite antes do prompt de comparação. O trabalho legado, seus logs e seus alertas foram adicionados antes do prompt de depuração. Scripts separados leram cada arquivo de saída e o log de solicitações do site de teste.
- No início, o repositório tinha um projeto de console sem pacotes, as regras do catálogo e duas páginas de catálogo salvas.
- Com a variável limpa, e com a chamada Startup pulada, o rastreamento gerou uma exceção de licenciamento e não escreveu nenhuma linha de produto.
- Na sonda, ScrapeUnique escreveu 9 linhas para 10 linhas distintas, e LK-1001 estava faltando.
- O primeiro instantâneo continha todos os 47 produtos de cinco páginas.
- Cada campo em ambos os instantâneos correspondia ao catálogo.
- O relatório de mudanças listou 3 quedas de preço, 3 aumentos de preço, 2 novos produtos, 1 remoção e 1 alteração de estoque.
- Com a página 3 falhando, o rastreador saiu com o código 2 e não salvou nenhum instantâneo.
- Solicitações de catálogo do IronWebScraper estavam pelo menos 1.037 milissegundos separadas.
- Nenhuma das 93 solicitações na execução foi para uma página de carrinho ou de conta.
- Codex comparou o screenshot com o instantâneo da primeira noite.
- Codex deu o preço atual da tenda como $259,00.
- O diagnóstico associou cada uma das quatro reclamações a suas linhas no trabalho legado.
- Codex iniciou um agente separado em cada um dos quatro prompts que nomearam o agente explorador ou trabalhador.
- O serviço reconstruiu o segundo instantâneo byte por byte.
- O teste 503 serviu um catálogo inventado de duas páginas, e sua segunda página respondeu 503.
- Todos os quatro testes passaram na execução final por Codex e na nossa.
- Alguns passos foram executados de forma diferente da página. A primeira execução de teste completo falhou em um dos quatro testes, e Codex corrigiu a análise CSV desse teste. Enquanto um comando de teste emperrava, Codex forçou a parada de todos os processos dotnet iniciados após um tempo determinado, seja qual for o programa que os iniciou. Pacotes NuGet vieram de um cache restaurado antes da execução, porque o sandbox não tinha acesso ao nuget.org.
O guia do Google Antigravity também verifica a saída de rastreamento contra a página que uma pessoa vê, por meio de um navegador. O guia do Claude Code também mede como IronWebScraper descarta uma página falha, em um rastreamento de arquivo de blog. O registro de execução compartilhado lista a versão do Codex, modelo, máquina de teste e tempo para esta execução.
Solução de problemas
- Rastrear um Website de Compras se os seletores de produtos ou a paginação precisarem de uma referência
- Recursos Avançados de Webscraping se as solicitações precisarem de limitação, identidades ou um rastreamento resumível
- Aplicando Chaves de Licença se cada rastreamento parar com uma exceção de licenciamento antes que qualquer solicitação seja enviada
Questões?
Se você tiver dúvidas, entre em contato com support@ironsoftware.com
Curtis Chau é bacharel em Ciência da Computação (Universidade Carleton) e se especializa em desenvolvimento front-end, com experiência em Node.js, TypeScript, JavaScript e React. Apaixonado por criar interfaces de usuário intuitivas e esteticamente agradáveis, Curtis gosta de trabalhar com frameworks modernos e criar manuais bem estruturados e visualmente atraentes.

