Verwendung von IronWebScraper mit KI-Coding-Assistenten
IronWebScraper ist die Web-Scraping-Bibliothek von Iron Software für .NET. Es durchsucht Websites, folgt Links zwischen Seiten und extrahiert strukturierte Daten aus HTML in C#, und ein einziges Paket deckt jede Plattform ab, die .NET Standard 2.0 ausführt.
Ein Coding-Assistent kann aus einer einzigen Anfrage einen .NET-Webscraper erstellen. Ob dieser Code die Zielseite respektiert und ob er auf der zweiten Seite noch funktioniert, muss überprüft werden. Ein Assistent, der aus dem Gedächtnis arbeitet, kann eine rohe HttpClient-Schleife verfassen, seine eigene Wiederholungslogik hinzufügen und Anfragen so schnell senden, wie es die Verbindung erlaubt. IronWebScraper verwaltet bereits die Anfragenwarteschlange, die Drosselung und die Identität, sodass der Code, den ein Assistent verfassen muss, eine Klasse mit zwei Überschreibungen ist. Mit der verfügbaren Dokumentation schrieb der Assistent in diesem Leitfaden-Testlauf eine WebScraper-Unterklasse und keinen HttpClient-Aufruf.
Der Einrichtungsprozess ist für jeden Assistenten derselbe. Fügen Sie das Paket hinzu, weisen Sie den Schlüssel aus der Umgebung zu, stellen Sie dem Assistenten die maschinenlesbare Dokumentation von IronWebScraper zur Verfügung und vergleichen Sie die Ausgabe des Crawlers und seine Anfragen mit der Seite, bevor Sie die Aufgabe als abgeschlossen markieren. Dies gilt für das grundlegende Scraping-Tutorial, Blog-Scraping, Einkaufsseiten-Scraping und die erweiterten Einstellungen.
So verwenden Sie IronWebScraper mit einem KI-Coding-Assistenten
- Laden Sie die C# Web-Scraping-Bibliothek von NuGet herunter
- Weisen Sie
IronWebScraper.License.LicenseKeyvonIronWebScraper_LICENSE_KEYbeim Start zu - Geben Sie dem Assistenten den llms.txt-Index von IronWebScraper, bevor er Code schreibt
- Speichern Sie die Crawl-Regeln in der Anleitungsdatei, die Ihr Assistent lädt
- Setzen Sie den User-Agent, das Ratenlimit und die Anzahl der Wiederholungen vor der ersten Anfrage
- Vergleichen Sie die Ausgabedatei und das Anfragelog der Seite mit den Seiten
Kann mein KI-Assistent einen Scraper selbst schreiben?
Er kann einen schreiben. Die Schwierigkeiten treten außerhalb des Programms auf, in dem, was die Zielseite empfängt und in dem, was die Ausgabedatei enthält.
- Ein laufender Scraper kann eine Seite immer noch überlasten:
RateLimitPerHostsetzt die Mindestverzögerung zwischen Anfragen an einen Host undOpenConnectionLimitPerHostbegrenzt parallele Verbindungen. - HTML-Auswahl benötigt keine regulären Ausdrücke:
ResponsebietetCss,XPath,QuerySelectorundGetElementById. - Benennen Sie das Paket exakt: Das Paket und der Namespace sind beide
IronWebScraper. Angreifer registrieren Paketnamen, die ein Assistent versehentlich erzeugen kann, eine Praxis, die als Slopsquatting bezeichnet wird. - Lizenzbedingungen sind im Voraus festgelegt: Die Lizenzseite listet die Anzahl der Entwickler, die jede Stufe erlaubt.
Schritt 1: Installieren Sie IronWebScraper
Add the IronWebScraper NuGet package, version 2026.10.1, to this project and restore it.
Tell me which IronWebScraper version the project file lists now.
Fixieren Sie die Veröffentlichung explizit über ein Terminal.
dotnet add package IronWebScraper --version 2026.10.1
Das Paket enthält keine Browser-Engine und keine nativen Binärdateien. Die einzigen Abhängigkeiten sind IronSoftware.Common und IronSoftware.System.Drawing, und die zweite zieht SixLabors.ImageSharp 3.1.12 ein. Für diese Veröffentlichung wurden dotnet list package --vulnerable --include-transitive fünf Hinweise gemeldet, von denen drei als hoch eingestuft wurden.
Schritt 2: Anwenden des Lizenzschlüssels
Ohne Schlüssel wirft Start vor der ersten Anfrage des Crawlers eine IronSoftware.Exceptions.LicensingException und nichts erreicht den Ausgabeordner. Die Nachricht erwähnt sieben Tage kostenlose Entwicklungsnutzung, dennoch erschien die Ausnahme beim ersten Aufruf in der Untersuchung für diesen Artikel. Ein falsch getippter Schlüssel verursacht eine "nicht erkannt"-Nachricht, die den Schlüssel nicht wiederholte. Ein kostenloser Testschlüssel ist unten verfügbar.
Beginnen Sie noch heute, IronWebScraper in Ihrem Projekt mit einer kostenlosen Testversion zu verwenden.
Weisen Sie den Lizenzschlüssel einmal beim Start der Anwendung zu, vor dem ersten Crawl. Rufen Sie ihn aus einer Umgebungsvariablen ab, damit er nicht im Repository gespeichert wird.
IronWebScraper.License.LicenseKey = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
IronWebScraper.License.IsLicensed gibt true zurück, nachdem ein gültiger Schlüssel zugewiesen wurde, und IronWebScraper.License.IsValidLicense testet einen Schlüsselstring, ohne ihn anzuwenden. Ohne die obige Zuweisung ignoriert IronWebScraper IRONWEBSCRAPER_LICENSE_KEY. Es liest eine Umgebungsvariable mit dem Namen IronWebScraper.LicenseKey, IronWebScraper_LicenseKey oder IronSuite.LicenseKey ohne Code.
Schritt 3: Weisen Sie Ihren Assistenten auf die LLM-Dokumentation von IronWebScraper
- llms.txt listet 17 Links, jeder mit einer Einzeilenbeschreibung.
- llms-full.txt fasst 13 Dokumentationsseiten in einer einzigen Datei zusammen.
- llms-full.txt beschreibt llms-full-catalog.txt als ein Index, das auch Blogartikel abdeckt, doch am 17. Oktober 2026 war die Datei identisch mit llms.txt.
- Die API Referenz listet die Signatur jedes Mitglieds auf.
- Tools, die Skill-Dateien unterstützen, können skill.md verwenden, das Einrichtung, Lizenzierung, Rezepte und häufige Fehler abdeckt.
- Das Produktdatenblatt beschreibt unterstützte Plattformen und primäre Anwendungsfälle.
Stellen Sie den Index zu Beginn jeder Sitzung zusammen mit klaren Anleitungen bereit.
Read https://ironsoftware.com/webscraper/csharp/llms.txt before you touch the scraper code again.
Keep to what the pages it links describe.
An IronWebScraper crawl is built like this:
- A scraper class extends WebScraper and overrides Init and Parse.
- Init sets the crawl options and queues the first URL with Request.
- Parse gets a Response, selects nodes with Css or XPath, and queues more pages.
- Scrape appends one JSON line per record to a file under WorkingDirectory.
- Start runs the crawl and returns once the queue is empty.
Response.RequestlUrl has that extra l in the real API, so don't correct it.
For a member those pages don't mention, follow these steps:
1. Look it up at https://ironsoftware.com/webscraper/csharp/object-reference/api/.
2. Compile once to show it exists.
3. If you're still unsure, tell me and don't guess.
Then list every IronWebScraper call here that none of those pages covers.
Die Eigenschaft mit der Rechtschreibung RequestlUrl ist das echte Mitglied, und die Assembly hat kein RequestUrl. Ein Assistent, der die Rechtschreibung korrigiert, erzeugt Code, der nicht kompiliert.
Schritt 4: Fügen Sie IronWebScraper-Kontext Ihrem Projekt hinzu
Anweisungen im Chat gehen nach Ende der Sitzung verloren. Speichern Sie die Crawl-Regeln in der Projektdatei, die Ihr Team verwendet. Claude Code liest CLAUDE.md, ChatGPT Codex liest AGENTS.md, GitHub Copilot liest .github/copilot-instructions.md, Cursor liest .mdc-Dateien in .cursor/rules/oder AGENTS.md, und Google Antigravity liest AGENTS.md oder GEMINI.md. Ein einzelner Textblock ist mit allen kompatibel, obwohl Cursor-Regeldateien auch MDC-Frontmatter enthalten. Beginnen Sie mit dem Folgenden.
Crawlers in this project are written with IronWebScraper and follow these rules:
- The NuGet package and the namespace share one name, `IronWebScraper`.
- The documentation index is https://ironsoftware.com/webscraper/csharp/llms.txt.
- If the tool supports skill files, use https://ironsoftware.com/webscraper/csharp/skill.md too.
- Startup code assigns `IronWebScraper.License.LicenseKey` before any crawl runs.
- Its value is looked up by name in IRONWEBSCRAPER_LICENSE_KEY, and nothing prints the environment.
- The key stays out of console output, log files and commits.
- A scraper is a subclass of `WebScraper` with `Init` and `Parse` overridden.
- No raw `HttpClient` loop fetches pages beside it.
- Pick content out of the `Response` with `Css` or `XPath`, never with regular expressions.
- Add an `HttpIdentity` whose `UserAgent` names the crawler. Without one, no user agent is sent.
- Set `RateLimitPerHost`, `OpenConnectionLimitPerHost` and `HttpRetryAttempts` in `Init`.
- Never lower those limits to speed up a crawl.
- `ObeyRobotsDotTxt` reads robots.txt from the default port only.
- For a site on another port, add its disallowed paths to `BannedUrls`.
- A page that keeps failing never reaches `Parse`. Override `Log` to record which URL failed.
- Each crawl adds lines to the file `Scrape` wrote last time. Delete it before a new crawl.
- `ScrapeUnique` drops the first record it writes to a file.
- Write records with `Scrape` and remove duplicates by id.
- Develop against a local copy of the site before pointing at a live host.
Die Skill-Datei ist in drei Bereichen veraltet. Ihr Einzeldateibeispiel hält IronWebScraper 2026.8.1 fest, präsentiert ObeyRobotsDotTxt als roboter.txt-Pfade und -Raten einzuhalten und beschreibt ScrapeUnique als eine deduplizierte Anhängefunktion. Die Untersuchungen für 2026.10.1 widersprachen den letzten beiden.
Schritt 5: Einmaliger Einrichtungsaufforderung
Schritte 1 bis 4 können zu Beginn eines Projekts oder einer Sitzung als eine Nachricht gesendet werden.
Set this project up for IronWebScraper crawls with these rules:
- Keep the IronWebScraper package pinned at 2026.10.1.
- The app fills IronWebScraper.License.LicenseKey before the first crawl.
- It looks up IRONWEBSCRAPER_LICENSE_KEY itself and never enumerates the environment.
- No console line, log or committed file ever contains the key.
- Start from https://ironsoftware.com/webscraper/csharp/llms.txt and keep the code within it.
- Look up anything those pages miss in the API reference that llms.txt links.
- A tool that reads skill files also loads the agent skill listed there.
- Every scraper sets a user agent, a rate limit and a retry count before its first request.
- Nobody removes those settings to make a crawl finish sooner.
- Test selectors on a local copy of a site first.
Save these rules in the file your later sessions load.
Tell me that file's name and list any other change you made.
Schritt 6: Aufforderungsmuster, die funktionierenden Code produzieren
Benennen Sie die Startseite, die zu folgenden Seiten, die Felder und die Ausgabedatei.
Vage Schreiben Sie einen Scraper für eine Veranstaltungsseite mit IronWebScraper.
Besser Erweitern Sie
WebScraper. Fügen Sie inIniteinenHttpIdentitymit einem benannten Benutzeragenten hinzu, setzen Sie eine einsekündigeRateLimitPerHostund fordern Sie die erste Angebotsseite an. InParse, folgen Sie dem Link "Weiter", fordern Sie jede Veranstaltungsseite mit einer zweiten Parse-Methode an und schreiben Sie einen Datensatz pro Veranstaltung mitScrapein events.jsonl.
Geben Sie die IronWebScraper-Version und das Ziel-Framework an.
Besser Verwenden Sie IronWebScraper 2026.10.1 auf .NET 9 und weisen Sie den Schlüssel aus IronWebScraper_LICENSE_KEY zu, bevor
Start.
Fordern Sie vollständige Dateien an. Ein Scraper ist eine Unterklasse, sodass ein partieller Codeausschnitt die Klassendeklaration oder die using IronWebScraper;-Direktive weglassen kann.
Besser Geben Sie das gesamte Program.cs und die Scraper-Klasse zurück, mit ihren Using-Direktiven und der Lizenzzeile, bereit, wie es ist erstellt zu werden.
Schritt 7: Verifizieren Sie, was Sie zurückbekommen
Jeder der folgenden Fehler ist in einer Überprüfung des generierten Codes leicht zu übersehen.
- Eine Anfrageschleife neben der Bibliothek: Eine Seite, die mit
HttpClientabgerufen wurde, umgeht jede Drosselungseinstellung, daher sollte der generierte Code keinen solchen Anruf enthalten. - Ein Rate-Limit wurde entfernt, um einen Test zum Abschluss zu bringen: Überprüfen Sie die Einstellung in
Init, vor dem erstenRequest. - Ein Selektor, der mit einem Attribut beginnt:
Css("[data-event-id]")warf XPathException in 2026.10.1, währendCss("article[data-event-id]")das Element zurückgab. Setzen Sie einen Tag-Namen vor jeden Attributtest.
Lassen Sie den Agenten seine eigene Arbeit überprüfen
Rebuild in Release from clean and remove the previous crawl's output files.
Keep events.run1.json, then run the crawl again.
Show me what that run proves:
- Every IronWebScraper class and member used, with its documentation page.
- Whether IronWebScraper.License.IsLicensed came back true.
- The user agent, rate limit, connection limit and retry count set in Init.
- How many records events.json has, plus every event link without one and the reason.
Then tell me whether events.json holds every event the crawl was meant to collect.
Standardwerte für Crawling mit IronWebScraper
Die Untersuchungen für diesen Artikel crawlden eine lokale Seite auf Port 5467 mit jedem Standardwert, der an seinem Platz blieb.
| Einstellung | Standard in 2026.10.1 | Effekt gemessen auf der Testseite |
|---|---|---|
ObeyRobotsDotTxt | true | Keine robots.txt-Anfrage erreichte die Seite, und eine nicht erlaubte Seite wurde abgerufen |
RateLimitPerHost | 50 Millisekunden | Die 42 Anfragen eines vollständigen Crawls trafen innerhalb von 2,55 Sekunden ein |
OpenConnectionLimitPerHost | 2 | Alle 42 Anfragen trafen über eine Verbindung ein |
HttpRetryAttempts | 8 | Neun Anfragen für jede Seite, die fehlgeschlagen ist |
Benutzeragent (Identities leer) | none | Jede Anfrage wurde ohne User-Agent-Header gesendet |
WorkingDirectory | Scrape | Ausgabedateien erschienen in einem Scrape-Ordner unter dem aktuellen Verzeichnis |
IronWebScraper baut die robots.txt-Adresse aus dem Schema und dem Hostnamen und lässt den Port weg. Für die Testseite versuchte der Crawler Port 80 auf beiden Loopback-Adressen, wartete 4,1 Sekunden, bis diese Verbindungen scheiterten, und crawlte dann ohne Regeln. Sein Log zeigte immer noch an, dass robots.txt für den Host eingehalten würde. Eine Seite auf dem Standardport ist nicht betroffen. Für eine Seite auf einem anderen Port fügen Sie die nicht erlaubten Pfade zu BannedUrls hinzu, die die Mitglieder-seite aus dem Crawl in der Untersuchung hielt.
Fehlgeschlagene und übersprungene Seiten mit IronWebScraper
IronWebScraper behandelt eine Seite, die auf 404 antwortet, und eine Seite, die auf 500 antwortet, auf die gleiche Weise.
- Mit
HttpRetryAttemptsauf 2 gesetzt, wurde jede fehlgeschlagene Seite dreimal angefordert, und die Logzeile meldete immer noch "nach 2 Versuchen". - Eine Einstellung von 0 führte zu einer Anfrage für jede fehlgeschlagene Seite.
Parsewurde nie für eine fehlgeschlagene Seite aufgerufen, sodass der Scraper nie seinen Statuscode sieht.- Die URL erscheint nur in der kritischen Logzeile "Url failed permanently", und
FailedUrlszählt sie. Eine Überschreibung vonLogkann festhalten, welche Seiten fehlgeschlagen sind. - Eine Ausnahme, die innerhalb einer Parse-Methode geworfen wird, hat den gleichen Effekt wie eine fehlgeschlagene Anfrage. Die Seite wurde neunmal angefordert, als fehlgeschlagen protokolliert und der Crawl fortgesetzt.
IronWebScraper 2026.10.1 überspringt auch einige Seiten, die in Init angefordert wurden, ohne ein Fehlschlag zu protokollieren. In den Untersuchungen für diese Leitfäden riefen Crawler, die drei Veranstaltungsseiten in Init anforderten, alle drei in 1 von 26 Durchläufen ab. Ein Crawler, der dort 10 Seiten in die Warteschlange stellte, forderte in 8 Durchläufen zwischen 2 und 9 davon an. Die übersprungenen Seiten erreichten nie die Seite, FailedUrls blieb bei 0, und das Log meldete immer noch "Crawl Complete". Das Anfordern der ersten Seite in Init und das Queueing der restlichen Seiten mit einer Parse-Methode holte jede Veranstaltungsseite in 8 von 8 Durchläufen.
Ausgabedateien mit IronWebScraper
Scrape serialisiert jedes Objekt zu einer Zeile JSON und fügt es einer JSON Lines-Datei hinzu. Ein relativer Dateiname wird relativ zu WorkingDirectory aufgelöst, und ein Aufruf ohne Dateiname wird in einen nach dem Typ benannt, wie IronWebScraper.ScrapedData.jsonl geschrieben.
- Die Datei ist UTF-8 ohne Byte Order Mark, mit CRLF-Zeilenenden. Akzentuierte Titel wurden als die Zeichen selbst geschrieben.
- Ein
DateTimeOffset-Wert behielt seinen Offset, und ein Dezimalpreis von 12,50 behielt beide Nachkommastellen. Scrapefügt bei jedem Lauf hinzu. Ein zweites Crawl in denselben Ordner verdoppelt die Datei, es sei denn, das Programm löscht sie zuerst.ScrapeUniqueüberspringt einen Datensatz, dessen gesamte JSON-Zeile bereits geschrieben wurde, sodass dasselbe Ereignis mit einem geänderten Preis erneut geschrieben wird.ScrapeUniquelässt auch den ersten Datensatz fallen, den es für jede Datei in jedem Scraper-Instanz schreibt. Das Schreiben von A, B, C und A in eine neue Datei ließ B und C übrig. Ein einzelner Aufruf erstellte nie die Datei, und bei einem vollständigen Crawl fehlte das erste verarbeitete Ereignis in der Ausgabe.
Ein Ergebnis, das Sie reproduzieren können
Der Test besteht aus einer Eingabeaufforderung, und Sie schreiben keinen Code. Dienen Sie die Testseite, öffnen Sie eine neue Sitzung in einem leeren Ordner, fügen Sie die Eingabeaufforderung ein und vergleichen Sie das Ergebnis mit den Passkriterien.
IRONWEBSCRAPER_LICENSE_KEY und die Testseite auf Port 5467. gen_site.py schreibt seine Seiten und serve.py dient sie auf den Loopback-Adressen und protokolliert jede Anfrage.Die Seite listet 23 verschiedene Veranstaltungslinks auf drei Seiten. Zwanzig führen zu Veranstaltungsseiten, robots.txt verbietet eine, eine antwortet 404 und eine antwortet 500. Ein Ereignis erscheint sowohl in einem hervorgehobenen Feld als auch in der Liste.
Die Aufforderung
Make a .NET 9 console program that exports a local test site's event listings to JSON.
If this folder already holds project files, say so and stop.
Don't ask me anything.
Write all output here.
Add the NuGet package IronWebScraper 2026.10.1.
Go through https://ironsoftware.com/webscraper/csharp/llms.txt, then its agent skill.
Also read its license keys page and the tutorial /tutorials/webscraping-in-c-sharp/.
Call only members documented there or in the API reference.
The events app's first action sets IronWebScraper.License.LicenseKey.
It reads IRONWEBSCRAPER_LICENSE_KEY by name for that value.
Never let the key reach the console, files, shell echoes or environment variable listings.
If IronWebScraper.License.IsLicensed is false, the app exits with a message.
The site's listings start at http://localhost:5467/events/.
Follow the Next link through every listing page and open each event link.
The IronWebScraper crawler keeps to these limits:
- It requests only http://localhost:5467/ addresses.
- It requests no path that http://localhost:5467/robots.txt disallows.
- It sends the user agent RiversideEventsBot/1.0 on every request.
- It waits at least one second between requests, over one connection at a time.
- It retries a failed page at most twice.
Write a record per loaded event page with IronWebScraper's Scrape or ScrapeUnique.
events.json holds those records as a UTF-8 JSON array sorted by start time.
Each record has these fields:
- id, from the data-event-id attribute.
- title, with its accented letters intact.
- start, the time element's datetime value, unchanged.
- venue.
- price as a number, null when the page says Free.
- tags as an array.
- status in lower case, "scheduled" when the page shows none.
- url, the page's full address.
Also write these files:
- links.json lists every distinct a.event-link target on the listing pages.
- skipped.json gives each failed or disallowed link and its reason.
- requests.log has every URL the crawler requests, with a timestamp.
Each link in links.json ends as a record, a failed request, or a path robots.txt disallows.
Next, do a Release build and run it twice.
Keep the first run's file as events.run1.json and both runs' SHA-256 values.
The second run's events.json must match events.run1.json byte for byte.
Last, add a check mode that sends no requests, and run it to write readback.md.
It reads each actual value from disk.
readback.md gives expected, actual and match for these checks:
- Records plus skipped links equal the distinct event links found.
- No two records share an id.
- Records are in start order, and every start keeps its UTC offset.
- requests.log has no disallowed path, no other host, and no gap under one second.
- The two SHA-256 values are equal.
readback.md names any request you sent the site outside the crawl, and why.
When a check fails, find the cause, fix it and rerun.
Some causes are inside IronWebScraper, with no workaround.
For those, readback.md names the member, what you tried and the unmatched check.
Then finish the rest.
Tell me the Release build result, matching checks out of the total, and your assumptions.
Ausgabe
Die unbearbeitete readback.md der App listet ihre fünf Überprüfungen auf, und events.json und skipped.json sind verfügbar, wie die App sie geschrieben hat. Das Eingabeaufforderung wurde nach dem Lauf nicht bearbeitet. Die untenstehenden Zahlen stammen aus einer unabhängigen Lektüre dieser Dateien und des Logs der Testseite.

Zeilen 104 bis 129 von events.json, wie die App es schrieb, als einfacher Text dargestellt.
- Ein Release-Build für net9.0 wurde ohne Warnungen und Fehler abgeschlossen.
- events.json enthielt 20 Datensätze, einen für jede Veranstaltungsseite, sortiert nach Startzeit.
- Jedes Feld jedes Datensatzes stimmte mit seiner Veranstaltungsseite überein. Die akzentuierten Titel und der UTC-Offset jeder Startzeit wurden beibehalten.
- Der Crawler forderte robots.txt selbst als seine erste Anfrage an und lehnte die nicht erlaubten Pfade in einer Überschreibung von AcceptUrl ab.
- Kein Crawl, den die App sendete, forderte einen nicht erlaubten Pfad an.
- Bevor die App ihre robots.txt-Regeln hatte, wurde die Mitglieder-seite dreimal von Hand abgerufen.
- Jeder der beiden Release-Crawls sendete 30 Anfragen mit dem Benutzeragenten RiversideEventsBot/1.0.
- Der kürzeste Abstand zwischen den Anfragen in diesen Crawls betrug 1,028 Sekunden.
- Jede fehlgeschlagene Seite erhielt drei Anfragen, den ersten Versuch und zwei Wiederholungen.
- Die Notizen der App verzeichneten, dass ScrapeUnique den ersten Datensatz verlor und der endgültige Code jeden Datensatz mit Scrape schrieb.
- events.json war Byte für Byte gleich nach den zwei Läufen der App und nach zwei Läufen eines separaten Neuaufbaus.
- Das Readback der App stimmte mit 5 der 5 Überprüfungen überein.
- Die unabhängige Lektüre stimmte mit allen 37 ihrer Überprüfungen überein.
- readback.md listete 165 Anfragen auf, die außerhalb der beiden Release-Crawls gesendet wurden, und das Log der Testseite verzeichnete 195.
- Keine Datei im Projektordner, dessen Git-Verlauf oder die Claude Code-Sitzungsdateien enthielt den Lizenzschlüssel.
- Die Einrichtungseingabeaufforderung schrieb ihre Regeln in ein neues CLAUDE.md mit 112 Zeilen.
- Einige Schritte liefen anders als die Seite. Die Eingabeaufforderungen Schritt 1, 3, 5 und 7 liefen nach der Annahmeeingabe in derselben Sitzung. Das Test-Setup blockierte sieben gültige Befehle, und die Sitzung erledigte jede Aufgabe auf andere Weise.
Was besteht
- Ein Release-Build wird ohne manuelle Bearbeitungen fertiggestellt.
- events.json enthält 20 Datensätze, sortiert nach Startzeit, wobei jedes Feld bei der Lektüre der Seiten selbst mit seiner Veranstaltungsseite übereinstimmt.
- skipped.json nennt die Mitglieder-seite und die zwei Links, die fehlgeschlagen sind.
- Das eigene Anfragelog der Seite zeigt keinen nicht erlaubten Pfad, keinen Abstand unter einer Sekunde zwischen Crawler-Anfragen und höchstens drei Anfragen für eine fehlgeschlagene Seite.
- Ein zweiter Durchlauf produziert ein identisches events.json.
- Eine Suche im Projektordner findet keine Datei, die den Lizenzschlüssel enthält.
Der Laufaufzeichnung
- Alle Läufe verwendeten einen Windows 11 x64-Desktop mit einem Core i9-14900KF und 64 GB Speicher.
- Das Projekt dieses Leitfadens zielt auf net9.0 ab und hält
IronWebScraper2026.10.1 fest, und jeder Crawl zielte auf eine Testseite, die auf derselben Maschine bereitgestellt wurde. - Die Dauer eines Leitfadens ist die Summe der protokollierten Zeiten für die Eingaben auf seiner Seite, und die Zeile dieses Leitfadens zählt nur die Akzeptanzeingabe.
- Die Versionen und Modelle in der Tabelle stammen aus den eigenen Sitzungsdateien und Protokollen des jeweiligen Tools für den Lauf, nicht aus einer separaten Versionsprüfung.
- Cursor CLI verzeichnet keine Version in seinen Sitzungsdateien, sodass seine Zeile den installierten Build gibt, dessen Prozessaufzeichnungen den Lauf abdecken.
- Zuletzt getestet am 26. Oktober 2026 für den Claude-Code-Leitfaden und am 17. Oktober 2026 für jeden anderen Leitfaden in der Tabelle.
| Anleitung | Assistent und Version | Modell | Dauer (Minuten) |
|---|---|---|---|
| Dieser Leitfaden | Claude Code 2.1.277, eine Sitzung, Erlaubnishinweise aus | Claude Opus 5 | 23.7 |
| Claude Code | Claude Code 2.1.277, Hinweis 3 im Planmodus | Sonett 5 mit Opus 5 Planung | 28.0 |
| ChatGPT Codex | Codex CLI 0.160.0 | GPT-6 Luna | 27.8 |
| GitHub Copilot | Copilot CLI 1.0.95 | GPT-6 Luna, automatisch ausgewählt | 18.9 |
| Cursor | Cursor CLI 2026.10.16-e3cb207, headless | Komponist 2.5 | 17.0 |
| Google Antigravity | Antigravity CLI 1.4.0, Berechtigungseingaben übersprungen | Gemini 4 Argon (Medium) | 109.9 |
Agentenspezifische Anleitungen
Jeder der untenstehenden Leitfäden wendet diese Schritte auf ein Werkzeug und eine Scraping-Aufgabe an.
- Verwenden Sie IronWebScraper mit Claude Code, um ein Unternehmens-Blogarchiv in ein Inhaltsverzeichnis zu verwandeln
- Verwenden Sie IronWebScraper mit ChatGPT Codex für die Preiskontrolle über einen paginierten Produktkatalog hinweg
- Verwenden Sie IronWebScraper mit GitHub Copilot für ein Aggregator für Kinovorstellungen
- Verwenden Sie IronWebScraper mit Cursor, um einen Lieferantenverzeichnis-Crawler von HttpClient und HtmlAgilityPack weg zu bewegen
- Verwenden Sie IronWebScraper mit Google Antigravity für einen Jobbörsen-Crawler, der nach einem Stopp wieder startet
Fehlerbehebung
- IronWebScraper Lizenzschlüssel wenn
Starteine Lizenzierungs-Ausnahme auslöst - IronWebScraper und JavaScript wenn eine Seite leer aussieht, weil ihr Inhalt erst nach dem Laden ankommt
- Thread-Sicherheit wenn parallele Analysen Ergebnisse erzeugen, die nicht aufgehen
Fragen?
Wenn Sie Fragen haben, wenden Sie sich an support@ironsoftware.com.
Curtis Chau hat einen Bachelor-Abschluss in Informatik von der Carleton University und ist spezialisiert auf Frontend-Entwicklung mit Expertise in Node.js, TypeScript, JavaScript und React. Leidenschaftlich widmet er sich der Erstellung intuitiver und ästhetisch ansprechender Benutzerschnittstellen und arbeitet gerne mit modernen Frameworks sowie der Erstellung gut strukturierter, optisch ansprechender Handbücher.