Wie verwendet man IronWebScraper mit Claude Code
Ein Scraper ist leicht zu schreiben und leicht schlecht zu schreiben. Die schlechte Version funktioniert auf der Seite vor Ihnen, ignoriert den Host, auf den sie verweist, und wird beim ersten Layoutwechsel unrichtig. Ein Marketingteam, das plant, seinen Unternehmensblog auf eine neue Plattform zu verlagern, benötigt zunächst ein Inventar aller veröffentlichten Beiträge, mit Adresse, Titel, Autor, Veröffentlichungsdatum, Kategorien, Tags, Wortanzahl und Bildern von jedem. Das Archiv umfasst fünf Jahre und zwei Seitenthemen, und ein Beitrag ist von keiner Archivseite verlinkt. Anthropic hat Claude Code als Agent für die Programmierung aufgebaut, verfügbar über die Befehlszeile, innerhalb von VS Code oder JetBrains, als Desktop-Anwendung und im Browser. In allen Fällen liest es Code, bearbeitet Dateien und führt Befehle aus, was für Crawler-Arbeiten geeignet ist, bei denen jede Änderung an einem Selektor von einem weiteren Lauf und einem weiteren Blick auf das Ergebnis gefolgt wird.
IronWebScraper basiert auf einer Basisklasse. Sie erweitern WebScraper, überschreiben Init, um eine Start-URL anzufordern und die Crawl-Regeln festzulegen, und überschreiben Parse, um Werte aus jeder Antwort zu extrahieren. Die Warteschlange und das Throttling sind bereits vorhanden, sodass der Agent nur die Teile schreibt, die vom Standort abhängen. Das Blog-Tutorial zeigt das Muster auf einem Blog. Diese Anleitung erklärt, wie man Claude Code konfiguriert, um das Inhaltsinventar mit vier getesteten Aufforderungen zu erstellen, und dokumentiert das Verhalten von IronWebScraper, auf das jede Aufforderung angewiesen ist.
Anthropic dokumentiert Claude Fable 5.1 und Claude Fable 5 als die leistungsfähigsten Modelle in Claude Code, die für Aufgaben geeignet sind, die größer sind als eine einzelne Sitzung. Der Befehl /model ändert das Modell, ohne die Sitzung zu beenden.
Benennen Sie die Felder, die Ausgabedatei und die Crawl-Limits in jeder Aufforderung und überlassen Sie den Rest dem Agenten.
SchnellstartÖffnen Sie ein Terminal im Projektordner, führen Sie claude aus und geben Sie /model opusplan vor der ersten Aufforderung ein. Der Test diente als Kopie des Unternehmensblogs auf Port 5437 der lokalen Maschine, und jede Aufforderung nennt diese Adresse.
Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.
The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:
- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.
After setting the key, Program.cs does these things in order:
1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.
Run it once and show me the console output.
Minimaler Arbeitsablauf (5 Schritte)
- Laden Sie die C# Web-Scraping-Bibliothek von NuGet herunter
- Öffnen Sie Claude Code aus dem Projektverzeichnis und setzen Sie das Modell mit /model.
- Dokumentieren Sie die gemessenen Crawl-Regeln von IronWebScraper in CLAUDE.md, damit jede Sitzung sie lädt.
- Richten Sie den Crawler vor jedem Live-Host auf eine lokale Kopie der Seite aus.
- Überprüfen Sie das Inventar mit jedem Beitrag und dem Anforderungsprotokoll, bevor eine Migration beginnt.
Was macht Claude Code in einem .NET-Crawler-Projekt?
Der Agent schreibt die WebScraper-Unterklasse und führt sie gegen den Testblog aus. Der Entwickler entscheidet, welche Seite gecrawlt wird, wie schnell und welche Seiten ausgeschlossen werden.
Die Projektregeln in den nächsten Abschnitten verbieten eine handgeschriebene Anforderungsschleife und benennen das Paket und seine Version, damit der Agent nicht allein nach Namen ein Paket auswählt.
Wie richten Sie Claude Code ein?
Installieren Sie Claude Code und melden Sie sich an, indem Sie dem Schnellstart von Anthropic folgen. Setup ist abgeschlossen, wenn claude in einem Terminal startet und antwortet.
Wie richten Sie ein Projekt ein, in dem Claude Code arbeiten kann?
Geben Sie dem Agenten zuerst ein echtes Ziel. Das Testgerät ist eine .NET 9 Konsolenanwendung ohne Paketreferenz, und der Blog läuft als lokale Seite mit 26 Beiträgen. Beiträge ab 2023 verwenden das aktuelle Thema, und die neun älteren Beiträge verwenden das vorherige. Das Archiv verlinkt einen Beitrag durch eine Umleitung, ein Beitrag antwortet mit einem Serverfehler, ein älterer Beitrag wird in der windows-1252-Codierung gesendet, und robots.txt verbietet einen Entwurfsordner, den die zweite Archivseite verlinkt.
CLAUDE.md wird zu Beginn jeder Sitzung geladen, sodass die dort geschriebenen Regeln für jeden späteren Prompt gelten. Die zweite Aufforderung erstellt die Datei und einen schreibgeschützten Prüfer für den Crawler-Code.
Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:
- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.
Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.
Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:
- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?
I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Für Anleitungen jenseits der Mitgliederliste listet IronWebScraper seine Dokumentation für Agents in llms.txt auf.
Welche IronWebScraper-Crawl-Regeln gehören in CLAUDE.md?
Jede Zeile stammt von einem Sondierungstest, der den lokalen Blog mit und ohne Lizenzschlüssel gecrawlt und das Anforderungsprotokoll der Seite mit dem verglichen hat, was Parse empfangen hat. Fügen Sie den Block unter dem Crawling-Abschnitt ein.
These crawl rules were measured on IronWebScraper 2026.10.1:
- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Wie wendet IronWebScraper robots.txt auf eine lokale Kopie einer Seite an?
ObeyRobotsDotTxt ist standardmäßig aktiviert, aber IronWebScraper hat robots.txt von http://localhost/robots.txt, auf Port 80 angefordert, unabhängig davon, welchen Port die Start-URL benannt hat. Auf dem Testblog wurde nie nach robots.txt gefragt und es wurde das verbotene Draft abgeholt. Da auf Port 80 nichts lauschte, erreichte die erste Anforderung den Blog 4,5 Sekunden nachdem der Sondierungsprozess gestartet war und das Setzen von ObeyRobotsDotTxt auf falsch verringerte dies auf 0,5 Sekunden.
Eine zweite Sonde diente auch den Regeln des Blogs auf Port 80. Ohne gesetzten Benutzeragenten warf Request eine ArgumentException mit der Nachricht „Keine gültige Benutzer-Agent-Zeichenfolge“ gegen diese Regeln, die eine Crawl-Delay-Zeile enthalten. Mit einem HttpIdentity, das eines setzte, blieb der Entwurf unangefordert und die Anfragen hielten sich an das Crawl-Delay von einer Sekunde. Ein BannedUrls-Glob wie */blog/drafts/* hielt den Entwurf in der Sonde draußen.
Welche Seiten erreichen Parse und wie oft wird jede angefordert?
Bei den Standardeinstellungen schickte das Crawl der Sonde 43 Anfragen an den Testblog. Eine URL, die der Code zweimal mit derselben Parse-Methode angefordert hat, wurde einmal abgeholt. Eine Weiterleitung und ihr Ziel zählten als zwei URLs, daher wurde der umgeleitete Beitrag zweimal abgeholt und erreichte Parse zweimal mit demselben FinalUrl.
Der Beitrag, der mit 500 antwortete, erhielt 9 Anfragen mit dem Standard-HttpRetryAttempts von 8 und Parse lief nie dafür. Ein Crawler, der seine Fehler auflisten muss, vergleicht daher die Links, die er eingereiht hat, mit den Zeilen, die er geschrieben hat.
RateLimitPerHost verteilt den Beginn jeder Anfrage an einen Host. Bei 1.000 Millisekunden maßen sich die Lücken zwischen 1,03 und 1,06 Sekunden, aber der Beitrag, der 2,5 Sekunden zum Antworten brauchte, überlappte sich mit zwei späteren Anfragen, weil OpenConnectionLimitPerHost standardmäßig auf 2 eingestellt ist. IronWebScraper schickte auch die Anfragen außer der Seitenreihenfolge, sodass ein Crawler, der geordneten Output benötigt, seine Zeilen vor dem Schreiben sortiert.
Was schreibt IronWebScraper in die Ausgabedateien?
Scrape ergänzt seine JSON-Lines-Datei, und ein zweiter Lauf im selben Arbeitsordner verdoppelte die Datei der Sonde von 27 Zeilen auf 54. ScrapeUnique lässt den ersten Datensatz fallen, den jeder Scraper in eine Datei schreibt, und der erste geschriebene Beitrag fehlte in der einzigartigen Datei in allen 14 Sonden-Crawls.
Der windows-1252-Beitrag verlor seine Akzente. Response.CharSet meldete windows-1252, jedoch wurde der Text als UTF-8 dekodiert, und der Autorenname kam mit Ersatzzeichen anstelle der betonten Buchstaben an. Beiträge desselben Autors, die als UTF-8 gesendet wurden, wurden korrekt decodiert. Die Registrierung von CodePagesEncodingProvider mit Encoding.RegisterProvider vor Start behob das Decoding.
So sieht der windows-1252-Beitrag in einem Browser aus. Das Inventar muss die Akzente im Autorennamen beibehalten.

Der windows-1252-Beitrag auf dem lokalen Testblog, wie Chrome ihn darstellte. Die Seite und ihre Beiträge wurden für den Test erstellt.
Wie fordern Sie IronWebScraper-Code an, der kompiliert?
Fordern Sie den Crawler und seine Ausgaberichtlinien in einer Aufforderung an und erlauben Sie dem Planmodus, das Design festzulegen, bevor Änderungen an Dateien vorgenommen werden. Wechseln Sie mit Shift+Tab in den Planmodus, bevor Sie den Prompt senden. Mit opusplan ausgewählt, schreibt Opus den Plan und Sonnet führt ihn aus, sobald der Plan genehmigt ist.
Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:
- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.
Write out/content-inventory.csv with one row per post, in this shape:
- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.
Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.
Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Zwei Teile der Aufforderung schützen das Inventar.
- Eine Zeile pro bedienter Adresse: Das Inventar speist eine Migration und ein Beitrag, der unter zwei Adressen aufgeführt ist, würde zweimal verschoben.
- Fehler in einer separaten Datei: Ohne sie kann ein Beitrag, der im Inventar fehlt, nicht von einem Beitrag unterschieden werden, der nie veröffentlicht wurde.
Was passiert, wenn der Blog sein Beitragstemplate ändert?
Der Test schaltete den lokalen Blog während des dritten und vierten Prompts auf ein neues Beitragstemplate um. Archivseiten und ältere Beiträge behielten ihr Markup, während jeder Beitrag ab 2023 auf neue Klassennamen umgestellt wurde. Ein Pfad, der mit @ beginnt, hängt diese Datei an die Anfrage an.
The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:
1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.
Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
Was sollten Sie überprüfen, bevor Sie dem generierten Crawler-Code vertrauen?
Schließen Sie die folgenden Prüfungen in die Überprüfung ein.
- Das Anforderungsprotokoll: Zählen Sie die Anfragen pro Seite, überprüfen Sie, dass nichts unter einem verbotenen Pfad abgeholt wurde, und messen Sie die Abstände zwischen den Anforderungen.
- Der Build:
dotnet buildlehnt ein nicht vorhandenes Mitglied ab, wie zum Beispiel eine korrigierte Rechtschreibung vonResponse.RequestlUrl. - Eine Stichprobe der Zeilen: Öffnen Sie mehrere Beiträge von jedem Thema und vergleichen Sie deren Felder mit dem Inventar, bevor die Migration beginnt.
Für eine vollständige IronWebScraper-Aufgabe mit festen Passkriterien, die erneut ausgeführt werden kann, siehe den Leitfaden für KI-Codierungsassistenten.
Was haben die Aufforderungen in einem realen Lauf erzeugt?
Claude Code führte die vier Aufforderungen in einer Sitzung, der Reihe nach gegen den lokalen Blog aus. Der Regelblock ging vor dem dritten Prompt in CLAUDE.md ein. Kein Code wurde manuell bearbeitet.
- Vor dem Lauf enthielt das Repository einzeiliges Program.cs und keine Paketreferenz.
- Das Quickstart-Programm druckte True für IsLicensed, zählte 10 Postkarten und nannte den ersten Beitrag korrekt.
- CLAUDE.md erhielt die fünf Crawling-Regeln, und die Subagent-Datei listete nur die Read-, Grep- und Glob-Tools.
- Während der Planung schickte die Sitzung und ihre Subagenten 370 Curl-Anfragen an den Blog, 5 davon an den verbotenen Drafts-Ordner.
- Der Crawler setzte ObeyRobotsDotTxt auf false, las robots.txt selbst und wandelte seine Regeln in BannedUrls und RateLimitPerHost-Einstellungen um.
- Der Crawl des dritten Prompts schickte 38 Anfragen, alle mit dem LarkspurInventory/1.0 Benutzeragent und keine an den Drafts-Ordner.
- Seine mittlere Lücke zwischen den Anforderungsstarts betrug 1,04 Sekunden, und die zwei kürzeren Lücken folgten robots.txt und einem Redirect.
- Der fehlerhafte Beitrag erhielt 3 Anfragen in diesem Crawl und war der einzige Eintrag in failed-pages.txt.
- Nach dem dritten Prompt beinhaltete das Inventar 25 Zeilen, und jedes Feld entsprach den Daten des Blogs in unserer Überprüfung.
- Der umgeleitete Beitrag erschien einmal unter seiner endgültigen Adresse und der Beitrag, der auf den Archivseiten fehlte, war vorhanden.
- Der windows-1252-Beitrag behielt seinen Akzentnamen des Autors und keine Zeile enthielt ein Ersatzzeichen.
- Auf der neuen Vorlage schrieb der dritte Prompt-Crawler 8 Zeilen und listete 19 fehlgeschlagene Adressen, obwohl ein Beitrag allein einen Fehler zurückgab.
- Nach einer Korrektur im vierten Prompt war das neue Inventar byte-identisch mit der Kopie, die vor der Template-Änderung gemacht wurde.
- Frische Klone des endgültigen Codes produzierten die gleichen 25 Zeilen auf dem aktuellen Design und auf der neuen Vorlage.
- Ohne Schlüssel meldete das Programm, dass das Lizenzieren fehlgeschlagen ist und keine Anforderung an den Blog gesendet wurde.
- Der Lizenzschlüssel erschien in keinem Protokoll, Sitzungs-, Log-, oder Repository-Dateien aus diesem Lauf.
- Einige Schritte liefen anders als die Seite. Die Sitzung lief kopflos, sodass eine getippte Antwort den Plan genehmigte. Der Schutz des Laufs, der den Agenten im Repository hielt, blockierte vier Werkzeugaufrufe, zwei davon irrtümlich.
Die letzten acht Zeilen des Inventars enthalten die Beiträge im alten Thema.

Der Kopf und die letzten acht Zeilen von content-inventory.csv aus dem Testrun, als Text aus der Datei gezeichnet. Die Zeilennummern sind die der Datei.
Der Cursor-Leitfaden lässt den Agenten auch die Arbeit vor dem Schreiben des Codes planen, genauso wie es der Planmodus hier tut. Der ChatGPT Codex-Leitfaden behält seine Crawl-Regeln in AGENTS.md, die Codex vor jeder Arbeit liest, so wie dieser Leitfaden mit CLAUDE.md. Die Claude Code-Version, Modelle, Zeitabläufe und Testmaschine für diesen Lauf befinden sich in der gemeinsamen Laufaufzeichnung.
Fehlerbehebung
- Lizenzschlüssel anwenden, wenn
StartLicensingException wirft - Thread-Sicherheit für die Einstellungen, die steuern, wie viele Anfragen gleichzeitig laufen
- IronWebScraper Sicherheit CVE für die Sicherheitslage der Bibliothek selbst
Fragen?
Wenn Sie Fragen haben, wenden Sie sich an support@ironsoftware.com.
Curtis Chau hat einen Bachelor-Abschluss in Informatik von der Carleton University und ist spezialisiert auf Frontend-Entwicklung mit Expertise in Node.js, TypeScript, JavaScript und React. Leidenschaftlich widmet er sich der Erstellung intuitiver und ästhetisch ansprechender Benutzerschnittstellen und arbeitet gerne mit modernen Frameworks sowie der Erstellung gut strukturierter, optisch ansprechender Handbücher.