Wie Sie IronWebScraper mit Cursor verwenden

Curtis Chau
Curtis Chau
Aktualisiert: 26. Oktober 2026

Wenn ein C#-Crawler von HttpClient und HtmlAgilityPack zu IronWebScraper wechselt, verliert ein Port, der jede Auflistungsseite in Init einreiht, Datensätze. IronWebScraper 2026.10.1 kann einen solchen Crawl beenden, bevor er jede eingereihte Seite angefordert hat. In unseren Tests wurden vier Auflistungsseiten in Init eingereiht, wobei jeder Request-Aufruf drei, drei und zwei abgerufene Seiten in drei Läufen produzierte, und die Ausgabe verlor 10, 10 und 24 von 46 Anbietern ohne Fehler.

Cursor ist ein KI-Code-Editor, der auf der VS Code-Codebasis aufgebaut ist, mit einem Agenten, der Dateien bearbeitet und Befehle ausführt. Diese Anleitung nutzt zwei seiner Funktionen, die Dokumentationslinks, die der Agent liest, und die im Projekt hinterlegten Regeln in .cursor/rules, um den Lieferantenverzeichnis-Crawler eines Einkaufsteams zu migrieren. Der Crawler kopiert 46 Anbieter und ihre nur für Mitglieder zugänglichen Kontaktdaten aus einem Handelsverzeichnis in eine CSV-Datei und die Anleitung portiert ihn zu IronWebScraper, ohne eine Zeile dieser Datei zu ändern oder das Verzeichnislimit von 4 Anfragen pro Sekunde zu überschreiten.

Der Leitfaden folgt den Drosselungs- und Identitätsfunktionen des fortgeschrittenen Web-Scraping-Tutorials. Jeder Crawl lief gegen eine lokale Kopie des Verzeichnisses, das auf localhost bereitgestellt wurde. Lesen Sie die Bedingungen einer öffentlichen Website und holen Sie die Erlaubnis ein, bevor Sie einen Crawler dafür schreiben.

Schnellstart
NuGetMit NuGet installieren

PM > Install-Package IronWebScraper

Installieren Sie IronWebScraper, indem Sie den obigen Befehl in der NuGet Packet Manager-Konsole ausführen, oder suchen Sie das Paket im NuGet Paket Manager.

Mit dem geöffneten HarborDirectory-Repository fügen Sie diese Eingabeaufforderung in einen neuen Agent-Chat ein.

@src/HarborDirectory/ @README.md

Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.

Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.

The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.

The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.

When it builds, run the pages command and show me what it printed.
Text

Fügen Sie den Lizenzschlüssel nicht in einen Chat ein, da eingefügter Inhalt in einer Quelldatei, einem Commit oder einem Build-Log erscheinen kann. IronWebScraper 2026.10.1 ignoriert eine Umgebungsvariable namens IRONWEBSCRAPER_LICENSE_KEY, daher kopiert das Program.cs des Repositories diese Variable in License.LicenseKey. Der Lizenzschlüssel-Leitfaden listet die Orte auf, an denen der Schlüssel gespeichert werden kann.



Welches Cursor-Modell sollten Sie für die Arbeit mit IronWebScraper verwenden?

Composer ist Cursors eigenes agentisches Modell. Der Modellwähler bietet auch die Grok-Modelle von SpaceXAI, die Cursor mitentwickelt hat, sowie Modelle von OpenAI, Anthropic, Google und anderen Laboren. Der folgende Testrun nutzte Composer 2.5.

Wie geben Sie Cursor die Dokumentation von IronWebScraper?

Schließen Sie den llms.txt-Link von IronWebScraper in die Anfrage ein oder speichern Sie ihn in einer Regel, die das gesamte Team teilt. Ab Oktober 2026 hängt das Cursor-@-Menü Dateien, Ordner, Terminals, Chats, Git-Diffs und den Browser an, sodass die Dokumentation von IronWebScraper als Link den Agenten erreicht.

Das fortgeschrittene Tutorial setzt RateLimitPerHost in seinen Beispielen fest, gibt aber keine Standardwerte an, und keine Seite gibt an, ob zwei Scraper ein Ratenlimit teilen.

@src/HarborDirectory/Legacy/PoliteHttp.cs

Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?

Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
Text

Wie schreiben Sie Projektregeln für IronWebScraper-Crawler-Code?

Eine Projektregel ist eine .mdc-Datei, die in .cursor/rules gespeichert und mit dem Repository versioniert wird. Cursor ignoriert eine einfache .md-Datei in diesem Ordner, da eine Datei ohne Frontmatter ihm keine Möglichkeit gibt, zu entscheiden, wann die Regel geladen werden soll.

Die folgende Regel listet ihre Dateimuster in globs auf, getrennt durch Kommata, wie es die Regeln-Seite von Cursor spezifiziert, und setzt alwaysApply auf false. Cursor hängt es dann an, wenn eine Datei unter diesen Pfaden im Kontext ist. Speichern Sie es als .cursor/rules/harbor-crawlers.mdc.

---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---

Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Markdown

Die Regeln zu Init, dem Login und fehlerhaften Anfragen verzeichnen das Verhalten von IronWebScraper, das die unten stehenden Abschnitte messen.

Wie werden HttpClient- und HtmlAgilityPack-Aufrufe auf IronWebScraper abgebildet?

Der alte Crawler rief jede Seite selbst ab und wartete zwischen den Anfragen. IronWebScraper reiht die Anfragen ein, verteilt sie nach Host und ruft für jede erfolgreiche Antwort eine Parse-Methode auf.

HttpClient und HtmlAgilityPackIronWebScraper
Eine Schleife über Seitenzahlen mit GetAsyncRequest für Seite 1 in Init, dann der Link zur nächsten Seite, der aus Parse eingereiht wurde
Task.Delay zwischen AnfragenRateLimitPerHost, mit OpenConnectionLimitPerHost für parallele Anfragen
DefaultRequestHeaders.UserAgentUserAgent auf einer HttpIdentity, die zu Identities hinzugefügt wurde
DefaultRequestHeaders.Authorization mit BasisanmeldeinformationenNetworkUsername und NetworkPassword auf einer Identität, oder HttpIdentity.DefaultHttpRequestHeaders
Eine Wiederholungsschleife, die auf Retry-After bei 429 und 503 wartetHttpRetryAttempts
SelectNodes und SelectSingleNode mit XPathCss oder XPath auf dem Response, die HtmlNode-Arrays zurückgeben
File.WriteAllTextAsync für die CSVScrape, die JSON-Zeilen unter WorkingDirectory anhängt, oder den eigenen Writer des Programms

Warum verpasst ein portierter Crawler Auflistungsseiten?

Der GitHub Copilot Leitfaden misst, wie IronWebScraper Anfragen fallen lässt, die in Init gestellt wurden. In den Untersuchungen für diesen Leitfaden blieb FailedUrls für die ausgelassenen Seiten bei 0. Die Überladung von Request, die eine Liste von URLs aufnimmt, rief in drei Durchläufen zwei, vier und drei der vier Auflistungsseiten ab.

Eine Anfrage in Init und jede weitere Anfrage, die aus einer Parse-Methode eingereiht wurde, rief alle 46 Anbieter in 8 von 8 Läufen ab, weshalb die Regel Init auf Seite 1 der Auflistung beschränkt.

Wie verteilt IronWebScraper seine Anfragen auf einen Host?

Ein neuer WebScraper verwendete einen RateLimitPerHost von 50 ms, einen OpenConnectionLimitPerHost von 2, einen MaxHttpConnectionLimit von 10, 8 für HttpRetryAttempts und eine 20-Sekunden-HttpTimeOut. Mit diesen Werten sendete der Crawler die 50 Verzeichnisanfragen zwischen 50 und 88 ms auseinander.

Gegen eine Testseite, die zu schnell ankommende Anfragen mit 429 und einem Retry-After-Header ablehnte, schlugen die Standardwerte fehl. Jede abgelehnte URL wurde neunmal im gleichen Abstand angefordert, der Retry-After-Header machte keinen Unterschied, und 13 URLs wurden aufgegeben. Der alte Crawler respektierte Retry-After, also verliert ein Port, der sich nur auf Wiederholungen verlässt, Datensätze. Ein RateLimitPerHost von 500 ms erzeugte Lücken von 533 bis 563 ms, was einen Scraper innerhalb des Verzeichnislimits hält.

Wie planen und führen Sie die Migration durch?

Drücken Sie Shift+Tab im Chat-Eingabefeld, bis der Planmodus ausgewählt ist, und senden Sie dann die folgende Anfrage. Cursor schreibt den Plan als bearbeitbare Markdown-Datei.

@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv

Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.

The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?

List your assumptions at the end of the plan.
Text

Korrigieren Sie eventuelle Fehler im Plan. Bauen Sie es dann aus dem Plan oder wechseln Sie zurück zu Agent und senden Sie diese Anfrage.

@harbor-crawlers

The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.

Then tell me both match counts, how long each run took and how many requests the new run sent.
Text

Die @harbor-crawlers-Erwähnung hängt die Regel nach Namen an.

Welches Cursor-Feature passt zu jeder Änderung?

Wählen Sie ein Feature basierend auf dem Umfang der Änderung. Tab vervollständigt eine Bearbeitung, die der Entwickler begonnen hat, und Inline-Bearbeitung (Strg+K) ändert eine Auswahl, die ein Satz beschreiben kann. Agent deckt Änderungen über mehrere Dateien oder Arbeiten ab, die einen Crawl erfordern, und der Plan-Modus ist sinnvoll, wenn eine fehlerhafte Änderung mehr kostet, um rückgängig zu machen, als ein Plan zu schreiben. Jede Anfrage in diesem Leitfaden ging an Agent oder den Plan-Modus.

Welche Identität sendet jede Anfrage?

Jede Identität in Identities trägt ihren eigenen User-Agent, Cookies und Login. Ohne Identität sendete IronWebScraper keinen User-Agent-Header. Bei mehreren Identitäten wurde zufällig eine für jede Anfrage und jeden Wiederholversuch ausgewählt. Ein Scraper, der eine Mitgliedsidentität und eine öffentliche Identität hielt, benötigte 140 Anfragen für 46 Kontaktseiten, von denen 94 mit 401 abgelehnt wurden.

Ein Login, das über NetworkUsername und NetworkPassword festgelegt wird, kostet eine zweite Anfrage auf jeder geschützten Seite. Jede Mitgliederseite wurde zuerst ohne Anmeldeinformationen gesendet, erhielt eine 401, und die authentifizierte Anfrage folgte innerhalb von 1,4 ms, außerhalb des RateLimitPerHost-Abstands. Die Übergabe der Mitglieder-Identität an Request beseitigt die zufällige Wahl, nicht aber die zweite Anfrage.

Das Tutorial listet HttpRequestHeaders für benutzerdefinierte Header auf, doch kein dort platzierter Header erreichte die Website. Die Untersuchung fügte Authorization und einen benutzerdefinierten X-Crawler-Header hinzu, und keiner von beiden kam an. Ein Header, der vor der Erstellung der Identität zum statischen HttpIdentity.DefaultHttpRequestHeaders hinzugefügt wurde, wurde bei jeder Anfrage gesendet und bei jeder 401 entfernt. Dieses Wörterbuch gilt für jede Identität, die der Prozess anschließend erstellt, einschließlich öffentlicher Seiten.

Wie debuggen Sie den Scraper, der bereits IronWebScraper verwendet?

Der Zertifikate-Scraper verwendete bereits IronWebScraper vor der Migration. Er hielt eine öffentliche Identität und eine Mitgliedsidentität, reihte die drei Registerseiten in Init ein und setzte kein Ratenlimit.

@src/HarborDirectory/Scrapers/CertificateScraper.cs

The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.

Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.

Then fix CertificateScraper.
Run the command three times and give me the count from each run.
Text

Ausgabe

Der korrigierte Scraper schreibt das Register als eine JSON-Zeile pro Zertifikat, in der Reihenfolge, in der die Seiten geparst werden.

Die ersten 10 von 32 Zeilen von out/certificates.jsonl, ein JSON-Objekt pro Zertifikat

Die ersten 10 der 32 Zeilen in out/certificates.jsonl, wie der Testlauf sie nach der crawl-all-Eingabeaufforderung zurückließ, als Klartext aus der Datei gerendert.

Was passiert, wenn zwei Scraper denselben Host crawlen?

Jede WebScraper-Instanz drosselt ihre eigenen Anfragen. Zwei Scraper, die jeweils RateLimitPerHost auf 500 ms setzen und eine Verbindung verwendeten, hielten zwei Anfragen eingehend und sendeten bis zu 6 Anfragen in einer Sekunde an denselben Host. Ihre kombinierte Rate muss daher im Code geplant werden.

@src/HarborDirectory/

Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.

The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.

Run crawl-all, compare both files with TestData/expected and tell me what matched.
Text

Ausgabe

Das Diagramm zählt die Anfragen, die die lokale Seite in jeder Sekunde des crawl-all-Durchlaufs erhielt.

Gestapeltes Balkendiagramm der Anfragen pro Sekunde von SupplierScraper und CertificateScraper, nie über dem Limit von 4

Anfragen pro Sekunde während des crawl-all-Durchlaufs des Tests, aus dem Anfragelog der lokalen Seite entnommen. 209 Anfragen in 100 Sekunden.

Wie schreiben Sie Regressionstests für die Scraper?

Ein Response, das mit seinem öffentlichen Konstruktor erstellt wurde, warf eine ArgumentNullException von Css, und der ChatGPT Codex Leitfaden erklärt, warum IronWebScraper nur Seiten parst, die es selbst abgerufen hat. Die Tests stellen daher die gespeicherten Seiten über HTTP bereit.

@src/HarborDirectory/ @TestData/pages/

Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.

Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.

Finish by running dotnet test, then report the passing and failing test counts.
Text

Was haben die Aufforderungen in einem realen Lauf erzeugt?

Frische Release-Builds jedes Commits, der den Code änderte, wiederholten jeden Crawl unten gegen eine neue Kopie der lokalen Seite. Ein Skript las das Anfragelog der Seite und verglich jede Ausgabedatei mit TestData/expected.

  • Vor dem Umzug schrieb der HttpClient und HtmlAgilityPack-Crawler alle 46 Anbieter in 96 Anfragen und 49,2 Sekunden.
  • Nach dem Umzug schrieb SupplierScraper dieselben 46 Zeilen, mit derselben Kopf- und Zeilenreihenfolge.
  • Der neue Crawl sendete 142 Anfragen in 57,9 Sekunden, und die Kontaktseiten antworteten 46 davon mit 401.
  • Cursor meldete 96 Anfragen für den neuen Lauf, eine Zählung nur der erfolgreichen Anfragen.
  • SupplierScraper reihte nur die erste Listen-Seite in Init ein und folgte dem Nächste-Seite-Link von Parse.
  • Cursor beantwortete die fünf Dokumentationsfragen, ohne eine Datei zu ändern, und fand keine Seite, die die Standardlimits angibt oder die Zwei-Scraper-Frage beantwortet.
  • Für den Authorization-Header fand Cursor kein dokumentiertes Beispiel und beschrieb HttpRequestHeaders als mit jeder Anfrage gesendet, was die Untersuchung als falsch zeigte.
  • Der Plan behauptete, dass das Festpinnen der Mitglieder-Identität bei Kontaktanfragen das doppelte Abrufen vermeidet, was 46 Antworten von 401 widerlegten.
  • Vor seiner Korrektur schrieb der Zertifikate-Befehl in den Läufen von Cursor 1 und 0 Zertifikate und 6 von 32 in einem unabhängigen Lauf.
  • Cursor verfolgte die Fehler bis zur zufälligen Identität, der Mitglieder-Identität im zufälligen Pool und dem fehlenden Ratenlimit.
  • Der korrigierte CertificateScraper fragte immer noch alle drei Registerseiten von Init an, entgegen der Projektregel.
  • Nach der Korrektur schrieb der Befehl 32 von 32 Zertifikaten in drei unabhängigen Läufen, jeweils mit 67 Anfragen und keinem 429.
  • Der erste crawl-all-Build erhielt keinen 429, und keiner der zweiten hielt mehr als 4 Anfragen.
  • Zwei unabhängige crawl-all-Läufe schrieben alle 46 Anbieter und alle 32 Zertifikate in 105,2 und 104,8 Sekunden.
  • Das Ausführen der beiden Befehle nacheinander dauerte 80,8 Sekunden.
  • Die xUnit-Suite bestand 4 von 4 Tests, und die Seite auf Port 5493 loggte keine Anfrage, während sie liefen.
  • Einige Schritte liefen anders als die Seite. Alle sieben Prompts wurden in einer kopflosen Sitzung über das Cursor-CLI durchgeführt. Der Plan-Modus blieb nach Aufforderung 03 bestehen, sodass Aufforderungen 05 bis 07 jeweils die Folge-Nachricht 'Plan erstellen.' erforderlich machten. In Aufforderung 04 änderte Cursor auch den Seiten-Scraper und das README, was die Aufforderung nicht verlangte.

Der GitHub Copilot Leitfaden beschränkt seine IronWebScraper-Konventionen auf die Crawler- und Testpfade in einer pfadspezifischen Anweisungsdatei, wie es die Regeldatei hier tut. Der Google Antigravity Leitfaden arbeitet mit demselben fortgeschrittenen Tutorial und misst, was der Web-Cache und der gespeicherte Crawl-Status von IronWebScraper speichern. Der Laufrekord listet die Assistentenversion, das Modell, die Dauer und die Testmaschine für jeden Leitfaden auf.


Fehlerbehebung


Fragen?

Wenn Sie Fragen haben, wenden Sie sich an support@ironsoftware.com.

Curtis Chau hat einen Bachelor-Abschluss in Informatik von der Carleton University und ist spezialisiert auf Frontend-Entwicklung mit Expertise in Node.js, TypeScript, JavaScript und React. Leidenschaftlich widmet er sich der Erstellung intuitiver und ästhetisch ansprechender Benutzerschnittstellen und arbeitet gerne mit modernen Frameworks sowie der Erstellung gut strukturierter, optisch ansprechender Handbücher.

Mehr lesen

Bereit loszulegen?

NuGet-Downloads 150,061Version:2026.11gerade veröffentlicht