Cómo usar IronWebScraper con ChatGPT Codex

Curtis Chau
Curtis Chau
Actualizado: 19 de octubre de 2026

Un equipo de precios registra los precios de un catálogo en línea cada noche y los compara con la noche anterior. El catálogo abarca cinco páginas, y cada página enlaza con las otras. Cuando una página falla durante la extracción, la extracción aún se completa y aún se escribe un archivo. La comparación luego lista cada producto en la página faltante como discontinuado, y el equipo actúa sobre precios que nunca cambiaron.

ChatGPT Codex es el agente de codificación de OpenAI. Dentro de un repositorio, lee archivos, los edita, ejecuta comandos como dotnet run y reporta lo que cambió, desde un terminal, una extensión de IDE, la aplicación de escritorio de ChatGPT o la nube. IronWebScraper proporciona extracción en .NET como una clase base que un proyecto extiende. La clase base encola solicitudes, las regula por host, reintenta fallos y escribe filas extraídas a archivos JSON Lines.

Esta guía le da a Codex un catálogo de prueba servido en localhost, un archivo de reglas y dos noches de precios. Cada indicación que pide un conteo también pide un archivo que lo registre, de modo que cada conteo que Codex reporta esté respaldado por datos. Antes de que se escriba el extractor, una sonda mide cómo IronWebScraper trata las páginas fallidas, robots.txt y sus propios archivos de salida en ese sitio.

Inicio rápido
NuGetInstalar con NuGet

PM > Install-Package IronWebScraper

Instale IronWebScraper ejecutando el comando arriba en la Consola del Administrador de Paquetes NuGet, o busque el paquete en el Administrador de Paquetes NuGet.

Inicie Codex en un proyecto de consola .NET 9 que contenga las carpetas Data y TestData, con el catálogo de prueba ejecutándose en el puerto 5461.

$ironwebscraper Add IronWebScraper 2026.10.1 to this console app and read the first catalogue page.

The test catalogue runs at http://localhost:5461/catalog/page-1.html.
Program.cs crawls that page alone and writes out/quickstart.csv, one row per product.
The CSV has these columns:

- sku, from the data-sku attribute
- name
- price, from the data-price attribute
- shown, the price text the page displays

The price monitor reads IRONWEBSCRAPER_LICENSE_KEY in code and assigns it to License.LicenseKey.
Keep the value out of output, files and logs.
Don't run anything that lists environment variables.

After three failed builds or runs, stop and paste the last error.
Otherwise, count the CSV rows and tell me the number.
Text


¿Qué es ChatGPT Codex y cómo se integra en el trabajo de extracción web en .NET?

Codex actúa dentro de los permisos que recibe. La documentación CLI de Codex cubre la instalación y uso del terminal, y el repositorio de código abierto publica sus versiones.

Un miembro que Codex inventa falla la compilación. Un extractor que compila, se ejecuta y omite silenciosamente una página pasa la compilación, y esta guía aborda ese segundo fallo.

IronWebScraper envía ensamblajes .NET Standard 2.0 y 2.1 y analiza el HTML que devuelve un servidor. Ninguna extracción en esta guía alcanza un sitio de terceros.

¿Cómo se escribe una indicación de IronWebScraper y se configura Codex para ella?

La indicación de inicio rápido nombra la página de inicio, los campos y el archivo de salida. Las indicaciones de captura y servicio se refieren a Data/README.md para las reglas del sitio.

Codex escanea .agents/skills en cada carpeta desde el directorio de trabajo hasta la raíz del repositorio. Guardar la skill.md de IronWebScraper como .agents/skills/IronWebScraper/SKILL.md permite que la mención $ironwebscraper se resuelva. El programa de ejemplo de la habilidad apunta a IronWebScraper 2026.8.1, mientras que esta guía insta a instalar 2026.10.1.

Codex lee AGENTS.md una vez, cuando comienza una ejecución. Desciende desde la raíz del repositorio hasta la carpeta de trabajo, y un archivo más profundo sobrescribe uno más superficial. Un archivo escrito durante una ejecución entra en vigor en la siguiente ejecución. El comando /init genera un primer borrador.

Create AGENTS.md in the repository root with a Price watch heading.
Give it these rules, one per line:

- IronWebScraper 2026.10.1 does all fetching and parsing.
- No HttpClient code, HtmlAgilityPack or AngleSharp.
- Data/README.md describes the site, the snapshot and the change report. It overrides anything else.
- Crawl localhost only: the test site on port 5461, or a listener a test starts.
- Every scraper adds the patterns */cart/* and */account/* to BannedUrls.
- RateLimitPerHost stays at one second or more.
- Init adds an HttpIdentity whose UserAgent is the one Data/README.md names.
- Data/ and TestData/ are read-only.
- Check IronWebScraper members in the ironwebscraper skill and the installed IronWebScraper.xml.
- When a probe against the test site disagrees with either of them, the probe wins.
- Any count you report comes from a file written that turn, and the reply names it.
- The key stays in IRONWEBSCRAPER_LICENSE_KEY.

Show me the file when it's done.
Text

Las reglas añaden un HttpIdentity en Init para que cada solicitud nombre al extractor. Los valores predeterminados de extracción del hub muestran lo que IronWebScraper envía sin uno.

¿Cómo se agrega IronWebScraper y se aplica la clave?

Show me the IronWebScraper PackageReference in PriceWatch.csproj and the version NuGet restored.
Paste all of what dotnet list package --include-transitive prints after that.
Leave every package reference as it is.
Text

IronWebScraper 2026.10.1 depende de IronSoftware.Common 2026.4.2 e IronSoftware.System.Drawing 2026.8.2. La lista de paquetes en la ejecución de prueba mostró 30 paquetes transitivos, entre ellos SixLabors.ImageSharp 3.1.12, Grpc.Net.Client 2.62.0 y Polly 8.6.6. Revise el registro de cambios de IronWebScraper antes de fijar una versión.

IronWebScraper ignora IRONWEBSCRAPER_LICENSE_KEY, por lo que el código que mantiene la clave bajo ese nombre asigna License.LicenseKey antes de la primera extracción.

Move the key line into Startup.ApplyIronWebScraperKey and call it at the top of Program.cs.
After the assignment, the method prints License.IsLicensed.

Next, find out what IronWebScraper does without a key.
Launch three child copies of the program, each with --licence-check N, set up like this:

1. The first child runs with IRONWEBSCRAPER_LICENSE_KEY removed from its environment.
2. The second keeps the variable, but --no-startup stops it from calling Startup.
3. The third keeps the variable and calls Startup.

Each child crawls catalogue page 1 into out/licence-check-N.csv.
Log every child in out/licence-check.csv with these columns:

- run and IsLicensed
- exception type, with no message
- rows written, and whether the child's CSV exists

Tell me which of the three wrote rows.
Text

La página de claves de licencia enumera las otras formas de proporcionar una clave.

¿Qué hace IronWebScraper con las páginas fallidas, robots.txt y archivos de salida?

La guía de sitio de compras escribe productos con Scrape y sigue el enlace de página siguiente desde su analizador de categorías. Cuatro comportamientos de IronWebScraper 2026.10.1 deciden si un archivo de precios nocturno puede ser confiable, y las sondas midieron cada uno contra el catálogo de prueba.

  • Con la página 3 del catálogo respondiendo 503 cada vez, IronWebScraper la solicitó nueve veces bajo el valor predeterminado HttpRetryAttempts y luego la descartó sin un error. La salida contuvo 37 de 47 productos.
  • ObeyRobotsDotTxt está activado por defecto, sin embargo, ninguna solicitud para /robots.txt alcanzó el sitio de prueba, y se obtuvieron enlaces bajo /cart/, los cuales robots.txt no permite. IronWebScraper busca robots.txt solo en el puerto predeterminado. El patrón */cart/* en BannedUrls excluyó esos enlaces.
  • Scrape añade a su archivo. Dos ejecuciones en el mismo archivo dejaron 94 líneas para 47 productos.
  • ScrapeUnique pierde el primer registro que escribe. Tres ejecuciones nuevas de 47 productos cada una escribieron 46 líneas, y LK-1001 faltaba cada vez.
Probe how IronWebScraper treats the test site, in a console app at scratch/crawl-probe/.
Add a Compile Remove item so PriceWatch.csproj skips scratch/**.
Apply the key as Startup does.
Each case gets its own scraper, output folder and try block.

Measure these cases from Parse calls, FailedUrls and the files written:

- queue every nav.pager link from every page, then compare Parse calls with pages
- Scrape the same 10 rows into one file in two separate runs, and count lines after each
- ScrapeUnique 10 different rows into a new file, and count the lines
- request /probe/once-503.html and /probe/always-503.html, and note what reaches Parse
- leave ObeyRobotsDotTxt on and request /probe/blocked/page.html, which robots.txt disallows
- read LK-1045 on catalogue page 5: the price text and the data-price attribute

Then have the explorer agent read IronWebScraper.xml and the ironwebscraper skill, editing nothing.
It reports what both say about Scrape, ScrapeUnique, HttpRetryAttempts and ObeyRobotsDotTxt.

Write every finding into out/crawl-probe.csv, with a quote from the run, the XML or the skill.
Flag each row where a source and the probe disagree, and list those rows for me.
Text

¿Cómo se construye el extractor de capturas?

Data/README.md define una captura completa como una en la que cada página del 1 al M alcanzó Parse y ninguna solicitud falló. El precio proviene del atributo data-price, porque el texto mostrado de LK-1045 indica $1,249.00 mientras que el atributo contiene 1249.00.

Have the worker agent write Services/CatalogueCrawler.cs.
It builds a snapshot as Data/README.md describes.

PriceWatch takes two commands:

- --snapshot --date YYYY-MM-DD crawls every catalogue page into out/snapshots/<date>.csv
- --compare OLD NEW writes out/changes-NEW.csv from those two snapshot files

Use what the probe found when the crawler writes and checks its output:

- every run starts a new output file, so no rows carry over from an earlier run
- the snapshot is refused when FailedUrls is above zero
- it is also refused when a page from 1 to M never reached Parse
- a refusal prints FailedUrls and the page numbers that reached Parse
- the price column comes from data-price
- the was column comes from span.price-was, without the $ sign or commas

Run --snapshot --date 2026-10-15.
Tell me the row count and the number of pages, both read from the snapshot file.
Text

¿Cómo se verifican los cambios de precios que Codex informa?

The store changed its prices overnight.
Run --snapshot --date 2026-10-16, then --compare 2026-10-15 2026-10-16.

Check the report with code kept apart from the crawler.
That code reads both snapshots and out/changes-2026-10-16.csv.
It writes out/changes-check.csv with these columns:

- sku
- the change the snapshots show
- the change the report lists
- match, yes or no

Give me the count of each change type in the report, plus any row that doesn't match.
Text

Resultado

El informe a continuación es el archivo que el extractor escribió para la segunda noche en la ejecución de prueba, sin cambiar.

Informe de cambios CSV que lista tres bajas de precios, tres subidas de precios, dos nuevos productos, un producto eliminado y un cambio de stock

El informe de cambios de la ejecución de prueba, out/changes-2026-10-16.csv, mostrado como texto plano.

Catalogue page 3 now answers 503 to every request.
Show me that no snapshot gets saved in that state.

Run --snapshot --date 2026-10-17.
out/snapshots/2026-10-16.csv must stay identical, byte for byte.
Write out/failure-check.csv, holding these values:

- the exit code and the message printed
- FailedUrls and the pages that reached Parse, copied from that message
- whether out/snapshots/2026-10-17.csv exists
- the SHA-256 of the 2026-10-16 snapshot before and after the run

Say whether the snapshot was refused and whether the two hashes are equal.
Text

¿Cómo se verifica un precio a partir de una captura de pantalla?

Codex acepta imágenes como contexto. Pase uno con la bandera -i (forma larga --image) a codex exec o codex exec resume, o pégelo en el compositor interactivo.

Página 1 del catálogo de prueba con Linterna Trail a $24.99, Carpa Ridge 2P a $289.00 y Mochila Summit 45L a $179.95

La captura de pantalla adjunta en la ejecución de prueba, página 1 del catálogo del sitio de prueba tal como se sirvió en la primera noche.

A customer sent the screenshot I attached with -i.
They say the Ridge Tent 2P price on it is wrong.
Leave the code alone and go through this in order:

1. Read the name, price and stock of the first three products in the image.
2. Compare them with out/snapshots/2026-10-15.csv and out/snapshots/2026-10-16.csv.
3. Save the comparison as out/screenshot-check.csv.

Then quote the heading shown in the image.
Tell me which day's catalogue it shows and what the tent costs now.
Text

¿Cómo se soluciona un aviso de precios que salió mal?

Work out why the 2026-10-16 price alerts went out wrong.
These files describe what happened:

- Data/alert-complaint.md lists four problems.
- Output/price-alerts-2026-10-16.csv is the file that was sent.
- Logs/price-check-2026-10-16.log reports success.
- Logs/store-access-2026-10-16.log is the store's record of the price check's requests.

Start with the explorer agent.
It reads Jobs/LegacyPriceCheck.cs, the two logs and the alert file.
Don't edit any code.
A script under scratch/ may read the files if that helps.

Write out/legacy-diagnosis.md, and include:

- the code line that causes each problem
- why the job log still said it succeeded
- the smallest fix for each problem, backed by a row of out/crawl-probe.csv

Then tell me each problem and its cause, one line per problem.
Text

Revisa el diagnóstico antes de permitir cualquier edición. El trabajo heredado registró su línea de éxito después de que Start regresó y nunca leyó FailedUrls.

¿Cómo se convierte el extractor en un servicio probado?

Ask the worker agent for a PriceWatchService class with these properties:

- A Microsoft.Extensions.DependencyInjection container can resolve it.
- A WatchOptions record configures it with the date, base URL, output folder and rate limit.
- It keeps every rule from Data/README.md and every check CatalogueCrawler makes.
- PriceWatchService.cs stays below 150 lines.
- Every public member carries an XML doc comment.
- Nothing calls Jobs/LegacyPriceCheck.cs.

Then take the 2026-10-16 snapshot again through the service, into out/final/2026-10-16.csv.
Compare it with out/snapshots/2026-10-16.csv and list every difference for me.
Text

IronWebScraper solo analiza las respuestas que obtiene por sí mismo. Response no tiene forma pública de cargar HTML guardado, y una dirección de archivo local pasada a Request no produjo llamada Parse ni error. En una prueba de sandbox de Codex, el constructor HttpListener en Windows PowerShell lanzó una PlatformNotSupportedException. Un TcpListener atado al loopback funcionó, por lo que la indicación de prueba sirve las páginas guardadas desde uno.

Add an xUnit project at tests/PriceWatch.Tests, in one solution with the main project.
Keep tests/** out of PriceWatch.csproj.
The tests apply the key through Startup.ApplyIronWebScraperKey.

IronWebScraper only parses pages it fetches.
So the tests serve TestData/ from a small TcpListener server on a free localhost port.
None of them calls port 5461.

Together, the tests cover these cases:

- catalog-page-1.html yields 10 products, the first being LK-1001
- LK-1045 on catalog-page-5.html has the price 1249.00
- a crawl where one page answers 503 and the rest answer 200 writes no snapshot
- comparing two small snapshot files finds each change type once

TestData/ holds only pages 1 and 5 of the catalogue.
The 503 case can serve a small made-up catalogue, so the 503 is the only failure.

Use dotnet test --logger trx --results-directory out/tests/.
Read the pass and fail counts from the trx file and tell me both.
Text

La última indicación compara los miembros en IronWebScraper.xml con los resultados de sondeo y prueba, porque el XML describe ScrapeUnique como ignorante de duplicados y no dice nada del primer registro perdido.

$ironwebscraper Find the IronWebScraper.xml members that pace, retry, filter or save a crawl.
For each member, give me these two things:

- the XML's own description of it
- whether out/crawl-probe.csv or a test result under out/tests/ covers it

Then write a line that compiles for each member, in a project at scratch/api-probe/.
Build it with dotnet build scratch/api-probe, and don't run it.
Text

Las indicaciones nombran los selectores de este catálogo, códigos de producto y páginas de prueba. Para reutilizarlos en una lista de precios de un proveedor, una categoría de mercado o un flujo interno de productos, reemplace esos nombres en las indicaciones, junto con la página de inicio, los selectores y las columnas de capturas en Data/README.md. Para una configuración que se aplica a cada asistente, consulte la guía de asistentes de codificación AI de IronWebScraper.

¿Qué produjeron los prompts en una ejecución real?

Las indicaciones anteriores se enviaron a Codex en orden, en una sesión, contra el catálogo de prueba en localhost. El sitio cambió a los precios de la segunda noche antes de la indicación de comparación. El trabajo heredado, sus registros y sus alertas se añadieron antes de la indicación de depuración. Scripts separados leen cada archivo de salida y el registro de solicitudes del sitio de prueba.

  • Al principio, el repositorio tenía un proyecto de consola sin paquetes, las reglas del catálogo y dos páginas del catálogo guardadas.
  • Con la variable borrada, y con la llamada a Startup omitida, la extracción lanzó una excepción de licencia y no escribió filas de productos.
  • En la sonda, ScrapeUnique escribió 9 líneas para 10 filas distintas, y LK-1001 estaba ausente.
  • La primera captura contenía los 47 productos de cinco páginas.
  • Cada campo en ambas capturas coincidía con el catálogo.
  • El informe de cambios listó 3 bajas de precios, 3 subidas de precios, 2 nuevos productos, 1 eliminación y 1 cambio de stock.
  • Con la página 3 fallando, el extractor salió con el código 2 y no guardó ninguna captura.
  • Las solicitudes del catálogo de IronWebScraper fueron al menos 1,037 milisegundos aparte.
  • Ninguna de las 93 solicitudes en la ejecución fue a una página de carrito o cuenta.
  • Codex coincidió la captura de pantalla con la captura de la primera noche.
  • Codex dio el precio actual de la tienda como $259.00.
  • El diagnóstico relacionó cada una de las cuatro quejas con sus líneas en el trabajo heredado.
  • Codex inició un agente separado en cada una de las cuatro indicaciones que nombraban al agente explorador o trabajador.
  • El servicio reconstruyó la segunda captura byte por byte.
  • La prueba 503 sirvió un catálogo inventado de dos páginas, y su segunda página respondió 503.
  • Las cuatro pruebas pasaron en la última ejecución por Codex y en la nuestra.
  • Algunos pasos se ejecutaron de manera diferente a lo esperado. La primera ejecución de prueba completa falló una de cuatro pruebas, y Codex corrigió el análisis CSV de esa prueba. Mientras un comando de prueba se estancaba, Codex detuvo por la fuerza todos los procesos de dotnet iniciados después de un tiempo establecido, cualquiera que fuera el programa que los había iniciado. Los paquetes de NuGet provinieron de una caché restaurada antes de la ejecución, porque el entorno aislado no tenía acceso a nuget.org.

La guía de Google Antigravity también verifica la salida de la extracción contra la página que una persona ve, a través de un navegador. La guía de Claude Code también mide cómo IronWebScraper descarta una página fallida, en una extracción de archivo de blog. El registro de ejecución compartido lista la versión de Codex, el modelo, la máquina de prueba y el tiempo para esta ejecución.


Solución de problemas


¿Preguntas?

Si tienes alguna pregunta, contacta a support@ironsoftware.com

Curtis Chau tiene una licenciatura en Ciencias de la Computación (Carleton University) y se especializa en el desarrollo front-end con experiencia en Node.js, TypeScript, JavaScript y React. Apasionado por crear interfaces de usuario intuitivas y estéticamente agradables, disfruta trabajando con frameworks modernos y creando manuales bien estructurados y visualmente atractivos.

Leer más

¿Listo para empezar?

Descargas de NuGet 150,061Versión:2026.11recién lanzado