Comment utiliser IronWebScraper avec ChatGPT Codex

Curtis Chau
Curtis Chau
Mis à jour : 19 octobre 2026

Une équipe de tarification enregistre les prix d'un catalogue en ligne chaque nuit et les compare avec ceux de la nuit précédente. Le catalogue s'étend sur cinq pages, et chaque page est liée aux autres. Lorsqu'une page échoue pendant le crawl, le crawl se termine toujours et écrit toujours un fichier. La comparaison répertorie ensuite chaque produit de la page manquante comme interrompu, et l'équipe agit sur les prix qui n'ont jamais changé.

ChatGPT Codex est l'agent de codage d'OpenAI. À l'intérieur d'un dépôt, il lit les fichiers, les modifie, exécute des commandes telles que dotnet run et rapporte ce qu'il a changé, depuis un terminal, une extension IDE, l'application de bureau ChatGPT ou le cloud. IronWebScraper fournit le crawling en .NET en tant que classe de base qu'un projet étend. La classe de base file les requêtes, les limite par hôte, réessaye les échecs et écrite les lignes extraites dans des fichiers JSON Lines.

Ce guide donne à Codex un catalogue de test servi sur localhost, un fichier de règles et deux nuits de prix. Chaque invite qui demande un décompte demande également un fichier qui l'enregistre, de sorte que chaque décompte que Codex rapporte est soutenu par des données. Avant que le crawler ne soit écrit, un sonde mesure comment IronWebScraper traite les pages échouées, robots.txt et ses propres fichiers de sortie sur ce site.

Démarrage rapide
NuGetInstaller avec NuGet

PM > Install-Package IronWebScraper

Installez IronWebScraper en exécutant la commande ci-dessus dans la console du gestionnaire de packages NuGet, ou recherchez le package dans le gestionnaire de packages NuGet.

Démarrez Codex dans un projet console .NET 9 qui contient les dossiers Data et TestData, avec le catalogue de test fonctionnant sur le port 5461.

$ironwebscraper Add IronWebScraper 2026.10.1 to this console app and read the first catalogue page.

The test catalogue runs at http://localhost:5461/catalog/page-1.html.
Program.cs crawls that page alone and writes out/quickstart.csv, one row per product.
The CSV has these columns:

- sku, from the data-sku attribute
- name
- price, from the data-price attribute
- shown, the price text the page displays

The price monitor reads IRONWEBSCRAPER_LICENSE_KEY in code and assigns it to License.LicenseKey.
Keep the value out of output, files and logs.
Don't run anything that lists environment variables.

After three failed builds or runs, stop and paste the last error.
Otherwise, count the CSV rows and tell me the number.
Text


Qu'est-ce que ChatGPT Codex, et comment cela s'intègre-t-il dans le travail de web scraping .NET ?

Codex agit dans le respect des autorisations qui lui sont accordées. La documentation CLI Codex couvre l'installation et l'utilisation du terminal, et le dépôt open-source publie ses versions.

Un membre inventé par Codex échoue à la construction. Un crawler qui compile, s'exécute et saute silencieusement une page réussit la construction, et ce guide traite de ce deuxième échec.

IronWebScraper livre des assemblées .NET Standard 2.0 et 2.1 et analyse le HTML qu'un serveur retourne. Aucun crawl dans ce guide n'atteint un site tiers.

Comment écrire une invite IronWebScraper et configurer Codex pour elle ?

L'invite de démarrage rapide nomme la page de départ, les champs et le fichier de sortie. Les invites de capture instantanée et de service se réfèrent à Data/README.md pour les règles du site.

Codex scanne les .agents/skills dans chaque dossier du répertoire de travail jusqu'à la racine du dépôt. Enregistrer skill.md d'IronWebScraper en tant que .agents/skills/IronWebScraper/SKILL.md permet à la mention $ironwebscraper d'être résolue. Le programme d'exemple de la compétence cible IronWebScraper 2026.8.1, tandis que ce guide installe 2026.10.1.

Codex lit AGENTS.md une seule fois, lorsque l'exécution commence. Il parcourt la racine du dépôt jusqu'au dossier de travail, et un fichier plus profond l'emporte sur un fichier moins profond. Un fichier écrit pendant une exécution prend effet lors de la prochaine exécution. La commande /init génère un premier brouillon.

Create AGENTS.md in the repository root with a Price watch heading.
Give it these rules, one per line:

- IronWebScraper 2026.10.1 does all fetching and parsing.
- No HttpClient code, HtmlAgilityPack or AngleSharp.
- Data/README.md describes the site, the snapshot and the change report. It overrides anything else.
- Crawl localhost only: the test site on port 5461, or a listener a test starts.
- Every scraper adds the patterns */cart/* and */account/* to BannedUrls.
- RateLimitPerHost stays at one second or more.
- Init adds an HttpIdentity whose UserAgent is the one Data/README.md names.
- Data/ and TestData/ are read-only.
- Check IronWebScraper members in the ironwebscraper skill and the installed IronWebScraper.xml.
- When a probe against the test site disagrees with either of them, the probe wins.
- Any count you report comes from a file written that turn, and the reply names it.
- The key stays in IRONWEBSCRAPER_LICENSE_KEY.

Show me the file when it's done.
Text

Les règles ajoutent un HttpIdentity dans Init afin que chaque requête nomme le crawler. Les paramètres de crawl par défaut du hub montrent ce qu'IronWebScraper envoie sans cela.

Comment ajouter IronWebScraper et appliquer la clé ?

Show me the IronWebScraper PackageReference in PriceWatch.csproj and the version NuGet restored.
Paste all of what dotnet list package --include-transitive prints after that.
Leave every package reference as it is.
Text

IronWebScraper 2026.10.1 dépend de IronSoftware.Common 2026.4.2 et de IronSoftware.System.Drawing 2026.8.2. La liste de paquets dans le test a montré 30 paquets transitifs, parmi eux SixLabors.ImageSharp 3.1.12, Grpc.Net.Client 2.62.0 et Polly 8.6.6. Examinez le changelog d'IronWebScraper avant de fixer une version.

IronWebScraper ignore IRONWEBSCRAPER_LICENSE_KEY, donc le code qui maintient la clé sous ce nom assigne License.LicenseKey avant le premier crawl.

Move the key line into Startup.ApplyIronWebScraperKey and call it at the top of Program.cs.
After the assignment, the method prints License.IsLicensed.

Next, find out what IronWebScraper does without a key.
Launch three child copies of the program, each with --licence-check N, set up like this:

1. The first child runs with IRONWEBSCRAPER_LICENSE_KEY removed from its environment.
2. The second keeps the variable, but --no-startup stops it from calling Startup.
3. The third keeps the variable and calls Startup.

Each child crawls catalogue page 1 into out/licence-check-N.csv.
Log every child in out/licence-check.csv with these columns:

- run and IsLicensed
- exception type, with no message
- rows written, and whether the child's CSV exists

Tell me which of the three wrote rows.
Text

La page des clés de licence indique les autres moyens de fournir une clé.

Que fait IronWebScraper avec les pages échouées, robots.txt et les fichiers de sortie ?

Le guide de shopping écrit des produits avec Scrape et suit le lien de la page suivante depuis son analyseur de catégorie. Quatre comportements d'IronWebScraper 2026.10.1 décident si un fichier de prix nocturne peut être fiable, et les sondes ont mesuré chacun par rapport au catalogue de test.

  • Avec la page 3 du catalogue répondant 503 à chaque fois, IronWebScraper l'a demandée neuf fois sous le défaut HttpRetryAttempts et l'a ensuite abandonnée sans erreur. La sortie contenait 37 des 47 produits.
  • ObeyRobotsDotTxt est activé par défaut, pourtant aucune demande pour /robots.txt n'a atteint le site de test, et des liens sous /cart/, que robots.txt interdit, ont été récupérés. IronWebScraper recherche robots.txt uniquement sur le port par défaut. Le modèle */cart/* dans BannedUrls a exclu ces liens.
  • Scrape ajoute à son fichier. Deux exécutions dans le même fichier ont laissé 94 lignes pour 47 produits.
  • ScrapeUnique perd le premier enregistrement qu'il écrit. Trois nouvelles exécutions de 47 produits chacune ont écrit 46 lignes, et LK-1001 manquait à chaque fois.
Probe how IronWebScraper treats the test site, in a console app at scratch/crawl-probe/.
Add a Compile Remove item so PriceWatch.csproj skips scratch/**.
Apply the key as Startup does.
Each case gets its own scraper, output folder and try block.

Measure these cases from Parse calls, FailedUrls and the files written:

- queue every nav.pager link from every page, then compare Parse calls with pages
- Scrape the same 10 rows into one file in two separate runs, and count lines after each
- ScrapeUnique 10 different rows into a new file, and count the lines
- request /probe/once-503.html and /probe/always-503.html, and note what reaches Parse
- leave ObeyRobotsDotTxt on and request /probe/blocked/page.html, which robots.txt disallows
- read LK-1045 on catalogue page 5: the price text and the data-price attribute

Then have the explorer agent read IronWebScraper.xml and the ironwebscraper skill, editing nothing.
It reports what both say about Scrape, ScrapeUnique, HttpRetryAttempts and ObeyRobotsDotTxt.

Write every finding into out/crawl-probe.csv, with a quote from the run, the XML or the skill.
Flag each row where a source and the probe disagree, and list those rows for me.
Text

Comment construire le crawler de capture instantanée ?

Data/README.md définit une capture instantanée complète comme celle dans laquelle chaque page de 1 à M a atteint Parse et aucune requête n'a échoué. Le prix vient de l'attribut data-price, car le texte affiché de LK-1045 indique 1 249,00 $ tandis que l'attribut contient 1249,00.

Have the worker agent write Services/CatalogueCrawler.cs.
It builds a snapshot as Data/README.md describes.

PriceWatch takes two commands:

- --snapshot --date YYYY-MM-DD crawls every catalogue page into out/snapshots/<date>.csv
- --compare OLD NEW writes out/changes-NEW.csv from those two snapshot files

Use what the probe found when the crawler writes and checks its output:

- every run starts a new output file, so no rows carry over from an earlier run
- the snapshot is refused when FailedUrls is above zero
- it is also refused when a page from 1 to M never reached Parse
- a refusal prints FailedUrls and the page numbers that reached Parse
- the price column comes from data-price
- the was column comes from span.price-was, without the $ sign or commas

Run --snapshot --date 2026-10-15.
Tell me the row count and the number of pages, both read from the snapshot file.
Text

Comment vérifier les changements de prix que Codex rapporte ?

The store changed its prices overnight.
Run --snapshot --date 2026-10-16, then --compare 2026-10-15 2026-10-16.

Check the report with code kept apart from the crawler.
That code reads both snapshots and out/changes-2026-10-16.csv.
It writes out/changes-check.csv with these columns:

- sku
- the change the snapshots show
- the change the report lists
- match, yes or no

Give me the count of each change type in the report, plus any row that doesn't match.
Text

Sortie

Le rapport ci-dessous est le fichier que le crawler a écrit pour la deuxième nuit dans le test, inchangé.

Rapport de changement CSV répertoriant trois baisses de prix, trois hausses de prix, deux nouveaux produits, un produit supprimé et un changement de stock

Le rapport de changement du test, out/changes-2026-10-16.csv, montré en texte brut.

Que se passe-t-il lorsqu'une page de catalogue échoue ?

Catalogue page 3 now answers 503 to every request.
Show me that no snapshot gets saved in that state.

Run --snapshot --date 2026-10-17.
out/snapshots/2026-10-16.csv must stay identical, byte for byte.
Write out/failure-check.csv, holding these values:

- the exit code and the message printed
- FailedUrls and the pages that reached Parse, copied from that message
- whether out/snapshots/2026-10-17.csv exists
- the SHA-256 of the 2026-10-16 snapshot before and after the run

Say whether the snapshot was refused and whether the two hashes are equal.
Text

Comment vérifier un prix à partir d'une capture d'écran ?

Codex accepte les images comme contexte. Passez-en un avec le drapeau -i (forme longue --image) à codex exec ou codex exec resume, ou collez-le dans le compositeur interactif.

Testez la page 1 du catalogue avec Trail Lantern à 24,99 $, Ridge Tent 2P à 289,00 $ et Summit Pack 45L à 179,95 $

La capture d'écran attachée dans le test, page 1 du catalogue du site de test telle que servie la première nuit.

A customer sent the screenshot I attached with -i.
They say the Ridge Tent 2P price on it is wrong.
Leave the code alone and go through this in order:

1. Read the name, price and stock of the first three products in the image.
2. Compare them with out/snapshots/2026-10-15.csv and out/snapshots/2026-10-16.csv.
3. Save the comparison as out/screenshot-check.csv.

Then quote the heading shown in the image.
Tell me which day's catalogue it shows and what the tent costs now.
Text

Comment déboguer une alerte de prix qui s'est mal déclenchée ?

Work out why the 2026-10-16 price alerts went out wrong.
These files describe what happened:

- Data/alert-complaint.md lists four problems.
- Output/price-alerts-2026-10-16.csv is the file that was sent.
- Logs/price-check-2026-10-16.log reports success.
- Logs/store-access-2026-10-16.log is the store's record of the price check's requests.

Start with the explorer agent.
It reads Jobs/LegacyPriceCheck.cs, the two logs and the alert file.
Don't edit any code.
A script under scratch/ may read the files if that helps.

Write out/legacy-diagnosis.md, and include:

- the code line that causes each problem
- why the job log still said it succeeded
- the smallest fix for each problem, backed by a row of out/crawl-probe.csv

Then tell me each problem and its cause, one line per problem.
Text

Examinez le diagnostic avant de permettre toute modification. Le travail hérité a enregistré sa ligne de succès après que Start soit revenu et n'a jamais lu FailedUrls.

Comment transformer le crawler en un service testé ?

Ask the worker agent for a PriceWatchService class with these properties:

- A Microsoft.Extensions.DependencyInjection container can resolve it.
- A WatchOptions record configures it with the date, base URL, output folder and rate limit.
- It keeps every rule from Data/README.md and every check CatalogueCrawler makes.
- PriceWatchService.cs stays below 150 lines.
- Every public member carries an XML doc comment.
- Nothing calls Jobs/LegacyPriceCheck.cs.

Then take the 2026-10-16 snapshot again through the service, into out/final/2026-10-16.csv.
Compare it with out/snapshots/2026-10-16.csv and list every difference for me.
Text

IronWebScraper n'analyse que les réponses qu'il récupère lui-même. Response n'a pas de moyen public de charger un HTML enregistré, et une adresse de fichier local passée à Request n'a produit aucun appel Parse ni aucune erreur. Dans un test sandbox de Codex, le constructeur HttpListener sous Windows PowerShell a lancé une PlatformNotSupportedException. Un TcpListener lié à l'loopback a fonctionné, donc l'invite de test sert les pages enregistrées depuis l'un.

Add an xUnit project at tests/PriceWatch.Tests, in one solution with the main project.
Keep tests/** out of PriceWatch.csproj.
The tests apply the key through Startup.ApplyIronWebScraperKey.

IronWebScraper only parses pages it fetches.
So the tests serve TestData/ from a small TcpListener server on a free localhost port.
None of them calls port 5461.

Together, the tests cover these cases:

- catalog-page-1.html yields 10 products, the first being LK-1001
- LK-1045 on catalog-page-5.html has the price 1249.00
- a crawl where one page answers 503 and the rest answer 200 writes no snapshot
- comparing two small snapshot files finds each change type once

TestData/ holds only pages 1 and 5 of the catalogue.
The 503 case can serve a small made-up catalogue, so the 503 is the only failure.

Use dotnet test --logger trx --results-directory out/tests/.
Read the pass and fail counts from the trx file and tell me both.
Text

La dernière invite vérifie les membres dans IronWebScraper.xml par rapport aux résultats des sondes et tests, car le XML décrit ScrapeUnique comme ignorant les doublons et ne dit rien de l'enregistrement perdu en premier.

$ironwebscraper Find the IronWebScraper.xml members that pace, retry, filter or save a crawl.
For each member, give me these two things:

- the XML's own description of it
- whether out/crawl-probe.csv or a test result under out/tests/ covers it

Then write a line that compiles for each member, in a project at scratch/api-probe/.
Build it with dotnet build scratch/api-probe, and don't run it.
Text

Comment réutiliser ces invites sur un autre catalogue ?

Les invites nomment les sélecteurs de ce catalogue, les codes produits et les pages de test. Pour les réutiliser sur une liste de prix de fournisseur, une catégorie de marché ou un flux de produits interne, remplacez ces noms dans les invites, ainsi que la page de départ, les sélecteurs et les colonnes de capture dans Data/README.md. Pour une configuration qui s'applique à chaque assistant, consultez le guide des assistants de codage AI IronWebScraper.

Qu'est-ce que les messages ont produit lors d'une réelle exécution ?

Les invites ci-dessus ont été envoyées à Codex dans l'ordre, en une session, contre le catalogue de test sur localhost. Le site a basculé vers les prix de la deuxième nuit avant l'invite de comparaison. Le travail hérité, ses journaux et ses alertes ont été ajoutés avant l'invite de débogage. Des scripts séparés lisent chaque fichier de sortie et le journal des requêtes du site de test.

  • Au début, le dépôt contenait un projet console sans packages, les règles du catalogue et deux pages de catalogue enregistrées.
  • Avec la variable effacée, et avec l'appel de démarrage sauté, le crawl a lancé une exception de licence et n'a écrit aucune ligne de produit.
  • Dans la sonde, ScrapeUnique a écrit 9 lignes pour 10 lignes distinctes, et LK-1001 manquait.
  • La première capture instantanée contenait tous les 47 produits de cinq pages.
  • Chaque champ dans les deux captures correspondait au catalogue.
  • Le rapport de modification mentionnait 3 baisses de prix, 3 augmentations de prix, 2 nouveaux produits, 1 suppression et 1 changement de stock.
  • Avec l'échec de la page 3, le crawler a quitté avec le code 2 et n'a enregistré aucune capture.
  • Les demandes de catalogue d'IronWebScraper étaient espacées d'au moins 1 037 millisecondes.
  • Aucune des 93 requêtes de l'exécution n'a été adressée à une page de panier ou de compte.
  • Codex a correspondu la capture d'écran à l’instantané de la première nuit.
  • Codex a donné le prix actuel de la tente comme 259,00 $.
  • Le diagnostic a lié chacune des quatre plaintes à ses lignes dans le travail hérité.
  • Codex a démarré un agent distinct dans chacune des quatre invites nommant l'explorateur ou l'agent travailleur.
  • Le service a reconstruit le deuxième instantané octet par octet.
  • Le test 503 a servi un catalogue inventé de deux pages, et sa deuxième page a répondu 503.
  • Tous les quatre tests ont réussi dans l'exécution finale par Codex et dans la nôtre.
  • Certaines étapes ont été exécutées différemment de la page. La première exécution de test complète a échoué à l'un des quatre tests, et Codex a corrigé le parsing CSV de ce test. Pendant qu'une commande de test stagnait, Codex a forcé l'arrêt de tous les processus dotnet commencés après un temps défini, quel que soit le programme qui les avait lancés. Les paquets NuGet provenaient d'un cache restauré avant l'exécution, car le sandbox n'avait pas accès à nuget.org.

Le guide Google Antigravity vérifie également la sortie du crawl par rapport à la page vue par une personne, via un navigateur. Le guide Claude Code mesure également comment IronWebScraper abandonne une page défaillante, dans un crawl d'archives de blog. L’historique d'exécution partagé liste la version de Codex, le modèle, la machine de test et le timing pour cette exécution.


Dépannage


Des questions ?

Si vous avez des questions, contactez support@ironsoftware.com

Curtis Chau détient un baccalauréat en informatique (Université de Carleton) et se spécialise dans le développement front-end avec expertise en Node.js, TypeScript, JavaScript et React. Passionné par la création d'interfaces utilisateur intuitives et esthétiquement plaisantes, Curtis aime travailler avec des frameworks modernes et créer des manuels bien structurés et visuellement attrayants.

Lire la suite

Prêt à commencer ?

Téléchargements NuGet 150,061Version :2026.11tout juste publié