So verwenden Sie IronWebScraper mit ChatGPT Codex

Curtis Chau
Curtis Chau
Aktualisiert: 19. Oktober 2026

Ein Preisgestaltungsteam zeichnet jede Nacht die Preise eines Online-Katalogs auf und vergleicht sie mit der vorherigen Nacht. Der Katalog umfasst fünf Seiten, und jede Seite verlinkt zu den anderen. Wenn auf einer Seite während des Crawls ein Fehler auftritt, wird der Crawl dennoch abgeschlossen und eine Datei geschrieben. Der Vergleich listet dann jedes Produkt auf der fehlenden Seite als eingestellt auf, und das Team reagiert auf Preise, die sich nie geändert haben.

ChatGPT Codex ist der Codierungsagent von OpenAI. Innerhalb eines Repositories liest es Dateien, bearbeitet sie, führt Befehle wie dotnet run aus und berichtet, was es geändert hat, von einem Terminal, einer IDE-Erweiterung, der ChatGPT-Desktop-App oder der Cloud. IronWebScraper bietet Crawling in .NET als Basisklasse, die ein Projekt erweitert. Die Basisklasse reiht Anfragen in Warteschlangen, drosselt sie pro Host, wiederholt fehlgeschlagene Versuche und schreibt extrahierte Zeilen in JSON Lines-Dateien.

Diese Anleitung gibt Codex einen Testkatalog, der auf localhost bereitgestellt wird, eine Datei mit Regeln und zwei Nächte mit Preisen. Jede Eingabeaufforderung, die nach einer Anzahl fragt, fordert auch eine Datei an, die sie aufzeichnet, sodass jede von Codex gemeldete Anzahl durch Daten gestützt wird. Bevor der Crawler geschrieben wird, misst eine Untersuchung, wie IronWebScraper mit fehlgeschlagenen Seiten, robots.txt und seinen eigenen Ausgabedateien auf dieser Seite umgeht.

Schnellstart
NuGetMit NuGet installieren

PM > Install-Package IronWebScraper

Installieren Sie IronWebScraper, indem Sie den obigen Befehl in der NuGet Packet Manager-Konsole ausführen, oder suchen Sie das Paket im NuGet Paket Manager.

Starten Sie Codex in einem .NET 9-Konsolenprojekt, das die Ordner Data und TestData enthält, wobei der Testkatalog auf Port 5461 läuft.

$ironwebscraper Add IronWebScraper 2026.10.1 to this console app and read the first catalogue page.

The test catalogue runs at http://localhost:5461/catalog/page-1.html.
Program.cs crawls that page alone and writes out/quickstart.csv, one row per product.
The CSV has these columns:

- sku, from the data-sku attribute
- name
- price, from the data-price attribute
- shown, the price text the page displays

The price monitor reads IRONWEBSCRAPER_LICENSE_KEY in code and assigns it to License.LicenseKey.
Keep the value out of output, files and logs.
Don't run anything that lists environment variables.

After three failed builds or runs, stop and paste the last error.
Otherwise, count the CSV rows and tell me the number.
Text


Was ist ChatGPT Codex und wie passt es zur .NET-Webscraping-Arbeit?

Codex handelt innerhalb der ihm erteilten Berechtigungen. Die Codex CLI-Dokumentation behandelt die Installation und die Terminalnutzung, und das Open-Source-Repository veröffentlicht seine Veröffentlichungen.

Ein Mitglied, das Codex erfindet, schlägt den Build fehl. Ein Crawler, der kompiliert, läuft und eine Seite stillschweigend überspringt, besteht den Build, und diese Anleitung befasst sich mit diesem zweiten Fehler.

IronWebScraper liefert .NET Standard 2.0- und 2.1-Assemblys und analysiert das HTML, das ein Server zurückgibt. Kein Crawl in dieser Anleitung erreicht eine Drittanbieter-Site.

Wie schreibt man eine IronWebScraper-Eingabeaufforderung und richtet Codex dafür ein?

Die Schnellstart-Eingabeaufforderung benennt die Startseite, die Felder und die Ausgabedatei. Die Schnappschuss- und Dienst-Eingabeaufforderungen beziehen sich auf Data/README.md für die Regeln der Website.

Codex durchsucht .agents/skills in jedem Ordner vom Arbeitsverzeichnis bis zum Repository-Stamm. Das Speichern von IronWebScraper's skill.md als .agents/skills/IronWebScraper/SKILL.md ermöglicht die Auflösung der $ironwebscraper-Erwähnung. Das Beispielprogramm der Fähigkeit zielt auf IronWebScraper 2026.8.1, während diese Anleitung 2026.10.1 installiert.

Codex liest AGENTS.md einmal, wenn ein Lauf gestartet wird. Es bewegt sich vom Repository-Stamm bis zum Arbeitsordner, und eine tiefere Datei überschreibt eine oberflächlichere. Eine während eines Laufs geschriebene Datei wirkt sich im nächsten Lauf aus. Der /init-Befehl erzeugt einen ersten Entwurf.

Create AGENTS.md in the repository root with a Price watch heading.
Give it these rules, one per line:

- IronWebScraper 2026.10.1 does all fetching and parsing.
- No HttpClient code, HtmlAgilityPack or AngleSharp.
- Data/README.md describes the site, the snapshot and the change report. It overrides anything else.
- Crawl localhost only: the test site on port 5461, or a listener a test starts.
- Every scraper adds the patterns */cart/* and */account/* to BannedUrls.
- RateLimitPerHost stays at one second or more.
- Init adds an HttpIdentity whose UserAgent is the one Data/README.md names.
- Data/ and TestData/ are read-only.
- Check IronWebScraper members in the ironwebscraper skill and the installed IronWebScraper.xml.
- When a probe against the test site disagrees with either of them, the probe wins.
- Any count you report comes from a file written that turn, and the reply names it.
- The key stays in IRONWEBSCRAPER_LICENSE_KEY.

Show me the file when it's done.
Text

Die Regeln fügen in Init ein HttpIdentity hinzu, sodass jede Anfrage den Crawler benennt. Die Standard-Crawl-Einstellungen des Hubs zeigen, was IronWebScraper ohne eine sendet.

Wie fügt man IronWebScraper hinzu und wendet den Schlüssel an?

Show me the IronWebScraper PackageReference in PriceWatch.csproj and the version NuGet restored.
Paste all of what dotnet list package --include-transitive prints after that.
Leave every package reference as it is.
Text

IronWebScraper 2026.10.1 hängt von IronSoftware.Common 2026.4.2 und IronSoftware.System.Drawing 2026.8.2 ab. Die Paketliste im Testlauf zeigte 30 transitive Pakete, darunter SixLabors.ImageSharp 3.1.12, Grpc.Net.Client 2.62.0 und Polly 8.6.6. Überprüfen Sie das IronWebScraper-Changelog, bevor Sie eine Veröffentlichung festlegen.

IronWebScraper ignoriert IRONWEBSCRAPER_LICENSE_KEY, sodass der Code, der den Schlüssel unter diesem Namen behält, License.LicenseKey vor dem ersten Crawl zuweist.

Move the key line into Startup.ApplyIronWebScraperKey and call it at the top of Program.cs.
After the assignment, the method prints License.IsLicensed.

Next, find out what IronWebScraper does without a key.
Launch three child copies of the program, each with --licence-check N, set up like this:

1. The first child runs with IRONWEBSCRAPER_LICENSE_KEY removed from its environment.
2. The second keeps the variable, but --no-startup stops it from calling Startup.
3. The third keeps the variable and calls Startup.

Each child crawls catalogue page 1 into out/licence-check-N.csv.
Log every child in out/licence-check.csv with these columns:

- run and IsLicensed
- exception type, with no message
- rows written, and whether the child's CSV exists

Tell me which of the three wrote rows.
Text

Die Seite für Lizenzschlüssel listet die anderen Möglichkeiten zur Bereitstellung eines Schlüssels auf.

Was macht IronWebScraper mit fehlgeschlagenen Seiten, robots.txt und Ausgabedateien?

Der Guide zur Einkaufs-Website schreibt Produkte mit Scrape und folgt dem Nächste-Seite-Link von seinem Kategorieparser. Vier Verhaltensweisen von IronWebScraper 2026.10.1 entscheiden, ob eine nächtliche Preisdokumentation vertraut werden kann, und die Sonden maßen jede gegen den Testkatalog.

  • Mit Katalogseite 3, die jedes Mal mit 503 antwortet, forderte IronWebScraper sie neunmal unter dem Standard HttpRetryAttempts an und ließ sie dann ohne Fehler fallen. Die Ausgabe hielt 37 von 47 Produkten.
  • ObeyRobotsDotTxt ist standardmäßig aktiviert, aber keine Anfrage nach /robots.txt erreichte die Testseite, und Links unter /cart/, die robots.txt verbietet, wurden abgerufen. IronWebScraper sucht robots.txt nur auf dem Standardport. Das Muster */cart/* in BannedUrls schloss diese Links aus.
  • Scrape hängt an seine Datei an. Zwei Läufe in dieselbe Datei hinterließen 94 Zeilen für 47 Produkte.
  • ScrapeUnique verliert den ersten Datensatz, den es schreibt. Drei frische Läufe mit jeweils 47 Produkten schrieben 46 Zeilen, und LK-1001 fehlte jedes Mal.
Probe how IronWebScraper treats the test site, in a console app at scratch/crawl-probe/.
Add a Compile Remove item so PriceWatch.csproj skips scratch/**.
Apply the key as Startup does.
Each case gets its own scraper, output folder and try block.

Measure these cases from Parse calls, FailedUrls and the files written:

- queue every nav.pager link from every page, then compare Parse calls with pages
- Scrape the same 10 rows into one file in two separate runs, and count lines after each
- ScrapeUnique 10 different rows into a new file, and count the lines
- request /probe/once-503.html and /probe/always-503.html, and note what reaches Parse
- leave ObeyRobotsDotTxt on and request /probe/blocked/page.html, which robots.txt disallows
- read LK-1045 on catalogue page 5: the price text and the data-price attribute

Then have the explorer agent read IronWebScraper.xml and the ironwebscraper skill, editing nothing.
It reports what both say about Scrape, ScrapeUnique, HttpRetryAttempts and ObeyRobotsDotTxt.

Write every finding into out/crawl-probe.csv, with a quote from the run, the XML or the skill.
Flag each row where a source and the probe disagree, and list those rows for me.
Text

Wie baut man den Schnappschuss-Crawler?

Data/README.md definiert einen vollständigen Schnappschuss als einen, bei dem jede Seite von 1 bis M Parse erreicht und keine Anfrage fehlgeschlagen ist. Der Preis stammt aus dem Datenpreis-Attribut, da der angezeigte Text von LK-1045 $1.249,00 anzeigt, während das Attribut 1249.00 enthält.

Have the worker agent write Services/CatalogueCrawler.cs.
It builds a snapshot as Data/README.md describes.

PriceWatch takes two commands:

- --snapshot --date YYYY-MM-DD crawls every catalogue page into out/snapshots/<date>.csv
- --compare OLD NEW writes out/changes-NEW.csv from those two snapshot files

Use what the probe found when the crawler writes and checks its output:

- every run starts a new output file, so no rows carry over from an earlier run
- the snapshot is refused when FailedUrls is above zero
- it is also refused when a page from 1 to M never reached Parse
- a refusal prints FailedUrls and the page numbers that reached Parse
- the price column comes from data-price
- the was column comes from span.price-was, without the $ sign or commas

Run --snapshot --date 2026-10-15.
Tell me the row count and the number of pages, both read from the snapshot file.
Text

Wie überprüfen Sie die von Codex gemeldeten Preisänderungen?

The store changed its prices overnight.
Run --snapshot --date 2026-10-16, then --compare 2026-10-15 2026-10-16.

Check the report with code kept apart from the crawler.
That code reads both snapshots and out/changes-2026-10-16.csv.
It writes out/changes-check.csv with these columns:

- sku
- the change the snapshots show
- the change the report lists
- match, yes or no

Give me the count of each change type in the report, plus any row that doesn't match.
Text

Ausgabe

Der untenstehende Bericht ist die Datei, die der Crawler für die zweite Nacht im Testlauf unverändert geschrieben hat.

Änderungsbericht CSV listet drei Preisrückgänge, drei Preiserhöhungen, zwei neue Produkte, ein entferntes Produkt und eine Bestandsänderung auf

Der Änderungsbericht aus dem Testlauf, out/changes-2026-10-16.csv, als Klartext angezeigt.

Was passiert, wenn eine Katalogseite fehlschlägt?

Catalogue page 3 now answers 503 to every request.
Show me that no snapshot gets saved in that state.

Run --snapshot --date 2026-10-17.
out/snapshots/2026-10-16.csv must stay identical, byte for byte.
Write out/failure-check.csv, holding these values:

- the exit code and the message printed
- FailedUrls and the pages that reached Parse, copied from that message
- whether out/snapshots/2026-10-17.csv exists
- the SHA-256 of the 2026-10-16 snapshot before and after the run

Say whether the snapshot was refused and whether the two hashes are equal.
Text

Wie überprüfen Sie einen Preis von einem Screenshot?

Codex akzeptiert Bilder als Kontext. Lassen Sie einen mit dem -i-Flag (Langform --image) zu codex exec oder codex exec resume bestehen oder fügen Sie es in den interaktiven Komponisten ein.

Test-Katalogseite 1 mit Trail Lantern bei $24.99, Ridge Tent 2P bei $289,00 und Summit Pack 45L bei $179,95

Der im Testlauf angehängte Screenshot, Katalogseite 1 der Testseite, wie sie in der ersten Nacht serviert wurde.

A customer sent the screenshot I attached with -i.
They say the Ridge Tent 2P price on it is wrong.
Leave the code alone and go through this in order:

1. Read the name, price and stock of the first three products in the image.
2. Compare them with out/snapshots/2026-10-15.csv and out/snapshots/2026-10-16.csv.
3. Save the comparison as out/screenshot-check.csv.

Then quote the heading shown in the image.
Tell me which day's catalogue it shows and what the tent costs now.
Text

Wie debuggen Sie einen falsch ausgegebenen Preisalarm?

Work out why the 2026-10-16 price alerts went out wrong.
These files describe what happened:

- Data/alert-complaint.md lists four problems.
- Output/price-alerts-2026-10-16.csv is the file that was sent.
- Logs/price-check-2026-10-16.log reports success.
- Logs/store-access-2026-10-16.log is the store's record of the price check's requests.

Start with the explorer agent.
It reads Jobs/LegacyPriceCheck.cs, the two logs and the alert file.
Don't edit any code.
A script under scratch/ may read the files if that helps.

Write out/legacy-diagnosis.md, and include:

- the code line that causes each problem
- why the job log still said it succeeded
- the smallest fix for each problem, backed by a row of out/crawl-probe.csv

Then tell me each problem and its cause, one line per problem.
Text

Überprüfen Sie die Diagnose, bevor Sie Änderungen zulassen. Der Legacy-Job protokollierte seine Erfolgszeile, nachdem Start zurückkehrte und FailedUrls nie gelesen wurde.

Wie wandeln Sie den Crawler in einen getesteten Dienst um?

Ask the worker agent for a PriceWatchService class with these properties:

- A Microsoft.Extensions.DependencyInjection container can resolve it.
- A WatchOptions record configures it with the date, base URL, output folder and rate limit.
- It keeps every rule from Data/README.md and every check CatalogueCrawler makes.
- PriceWatchService.cs stays below 150 lines.
- Every public member carries an XML doc comment.
- Nothing calls Jobs/LegacyPriceCheck.cs.

Then take the 2026-10-16 snapshot again through the service, into out/final/2026-10-16.csv.
Compare it with out/snapshots/2026-10-16.csv and list every difference for me.
Text

IronWebScraper analysiert nur die Antworten, die er selbst abruft. Response hat keine öffentliche Möglichkeit, gespeichertes HTML zu laden, und eine lokale Dateiadresse, die an Request übergeben wurde, erzeugte keinen Parse-Anruf und keinen Fehler. In einem Codex-Sandbox-Test löste der HttpListener-Konstruktor in Windows PowerShell eine PlatformNotSupportedException aus. Ein TcpListener, der an Loopback gebunden ist, funktionierte, also serviert die Testaufforderung die gespeicherten Seiten von einem.

Add an xUnit project at tests/PriceWatch.Tests, in one solution with the main project.
Keep tests/** out of PriceWatch.csproj.
The tests apply the key through Startup.ApplyIronWebScraperKey.

IronWebScraper only parses pages it fetches.
So the tests serve TestData/ from a small TcpListener server on a free localhost port.
None of them calls port 5461.

Together, the tests cover these cases:

- catalog-page-1.html yields 10 products, the first being LK-1001
- LK-1045 on catalog-page-5.html has the price 1249.00
- a crawl where one page answers 503 and the rest answer 200 writes no snapshot
- comparing two small snapshot files finds each change type once

TestData/ holds only pages 1 and 5 of the catalogue.
The 503 case can serve a small made-up catalogue, so the 503 is the only failure.

Use dotnet test --logger trx --results-directory out/tests/.
Read the pass and fail counts from the trx file and tell me both.
Text

Die letzte Eingabeaufforderung überprüft die Mitglieder in IronWebScraper.xml gegen die Sondenergebnisse und Testergebnisse, da die XML ScrapeUnique als Fehler ignorierend beschreibt und nichts über den verlorenen ersten Datensatz sagt.

$ironwebscraper Find the IronWebScraper.xml members that pace, retry, filter or save a crawl.
For each member, give me these two things:

- the XML's own description of it
- whether out/crawl-probe.csv or a test result under out/tests/ covers it

Then write a line that compiles for each member, in a project at scratch/api-probe/.
Build it with dotnet build scratch/api-probe, and don't run it.
Text

Wie wiederverwenden Sie diese Eingabeaufforderungen auf einem anderen Katalog?

Die Eingabeaufforderungen nennen die Selektoren, Produktcodes und Testseiten dieses Katalogs. Um sie auf eine Lieferantenpreisliste, eine Marktplatzkategorie oder einen internen Produktfeed wiederzuverwenden, ersetzen Sie diese Namen in den Eingabeaufforderungen sowie die Startseite, die Selektoren und die Schnappspalten in Data/README.md. Für die Einrichtung, die für jeden Assistenten gilt, lesen Sie den IronWebScraper AI-Coding-Assistentenleitfaden.

Was haben die Aufforderungen in einem realen Lauf erzeugt?

Die oben stehenden Eingabeaufforderungen gelangen in einer Sitzung in Codex, gegen den Testkatalog auf localhost. Die Site wechselte vor der Vergleichsaufforderung zu den Preisen der zweiten Nacht. Der Legacy-Job, seine Protokolle und seine Warnungen wurden vor der Debugging-Eingabeaufforderung hinzugefügt. Separate Skripte lesen jede Ausgabedatei und das Anforderungsprotokoll der Testseite.

  • Zu Beginn enthielt das Repository ein Konsolenprojekt ohne Pakete, die Katalogregeln und zwei gespeicherte Katalogseiten.
  • Mit der gelöschten Variablen und dem übersprungenen Startup-Aufruf warf der Crawl eine Lizenzierungsausnahme und schrieb keine Produktzeilen.
  • In der Probe schrieb ScrapeUnique 9 Zeilen für 10 verschiedene Zeilen, und LK-1001 fehlte.
  • Der erste Schnappschuss hielt alle 47 Produkte von fünf Seiten.
  • Jedes Feld in beiden Schnappschüssen stimmte mit dem Katalog überein.
  • Der Änderungsbericht listete 3 Preisrückgänge, 3 Preiserhöhungen, 2 neue Produkte, 1 Entfernung und 1 Bestandsveränderung auf.
  • Mit einer fehlschlagenden Seite 3 beendete sich der Crawler mit Code 2 und speicherte keinen Schnappschuss.
  • Kataloganfragen von IronWebScraper waren mindestens 1.037 Millisekunden voneinander entfernt.
  • Keine der 93 Anfragen im Lauf ging zu einer Warenkorb- oder Kontoseite.
  • Codex stimmte den Screenshot mit dem Schnappschuss der ersten Nacht überein.
  • Codex gab den aktuellen Preis des Zeltes als $259.00 an.
  • Die Diagnose verband jede der vier Beschwerden mit ihren Zeilen im Legacy-Job.
  • Codex startete in jeder der vier Eingabeaufforderungen, die den Explorer oder den Arbeitsagenten nannte, einen separaten Agenten.
  • Der Dienst hat den zweiten Schnappschuss Byte für Byte neu erstellt.
  • Der 503-Test bediente einen erfundenen Katalog von zwei Seiten, und seine zweite Seite antwortete 503.
  • Alle vier Tests bestanden im letzten Lauf von Codex und in unserem.
  • Einige Schritte liefen anders als die Seite. Der erste vollständige Testlauf schlug bei einem von vier Tests fehl, und Codex korrigierte das CSV-Parsing dieses Tests. Während ein Testbefehl ins Stocken geriet, stoppte Codex alle nach einer festgelegten Zeit gestarteten dotnet-Prozesse gewaltsam, unabhängig davon, welches Programm sie gestartet hatte. NuGet-Pakete kamen aus einem vor dem Lauf wiederhergestellten Cache, weil die Sandbox keinen Zugriff auf nuget.org hatte.

Der Google Antigravity-Leitfaden überprüft auch die Crawl-Ausgabe gegen die Seite, die eine Person sieht, durch einen Browser. Der Claude Code-Leitfaden misst auch, wie IronWebScraper eine fehlschlagende Seite fallen lässt, in einem Blog-Archiv-Crawl. Der geteilte Laufrekord listet die Codex-Version, Modell, Testmaschine und Timing für diesen Lauf auf.


Fehlerbehebung


Fragen?

Wenn Sie Fragen haben, wenden Sie sich an support@ironsoftware.com.

Curtis Chau hat einen Bachelor-Abschluss in Informatik von der Carleton University und ist spezialisiert auf Frontend-Entwicklung mit Expertise in Node.js, TypeScript, JavaScript und React. Leidenschaftlich widmet er sich der Erstellung intuitiver und ästhetisch ansprechender Benutzerschnittstellen und arbeitet gerne mit modernen Frameworks sowie der Erstellung gut strukturierter, optisch ansprechender Handbücher.

Mehr lesen

Bereit loszulegen?

NuGet-Downloads 150,061Version:2026.11gerade veröffentlicht