Comment utiliser IronWebScraper avec Cursor
Lorsqu'un crawler C# passe de HttpClient et HtmlAgilityPack à IronWebScraper, un port qui met en file d'attente chaque page de liste dans Init perd des enregistrements. IronWebScraper 2026.10.1 peut terminer une telle exploration avant qu'il n'ait demandé chaque page en file d'attente. Dans nos tests, quatre pages de liste mises en file d'attente dans Init avec un appel Request chacune ont produit trois, trois et deux pages récupérées en trois exécutions, et la sortie a perdu 10, 10 et 24 des 46 fournisseurs sans erreur.
Cursor est un éditeur de code IA basé sur VS Code, avec un agent qui édite les fichiers et exécute des commandes. Ce guide utilise deux de ses fonctionnalités, les liens de documentation que l'agent lit et les règles de projet engagées dans .cursor/rules, pour migrer le crawler de l'annuaire des fournisseurs d'une équipe d'achats. Le crawler copie 46 fournisseurs et leurs coordonnées réservées aux membres à partir d'un annuaire commercial dans un fichier CSV, et le guide le transfère à IronWebScraper sans modifier une ligne de ce fichier ni dépasser la limite de 4 requêtes par seconde de l'annuaire.
Le guide suit les fonctionnalités de limitation et d'identité du tutoriel avancé de scraping web. Chaque exploration a été effectuée contre une copie locale de l'annuaire servi sur localhost. Lisez les conditions d'un site public et obtenez l'autorisation avant d'écrire un crawler pour celui-ci.
Démarrage rapideAvec le dépôt HarborDirectory ouvert, collez ce prompt dans une nouvelle conversation d'Agent.
@src/HarborDirectory/ @README.md
Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.
Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.
The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.
The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.
When it builds, run the pages command and show me what it printed.
Ne collez pas la clé de licence dans une conversation, car le contenu collé peut apparaître dans un fichier source, un commit ou un journal de build. IronWebScraper 2026.10.1 ignore une variable d'environnement nommée IRONWEBSCRAPER_LICENSE_KEY, donc le Program.cs du dépôt copie cette variable dans License.LicenseKey. Le guide de la clé de licence répertorie les endroits où la clé peut être stockée.
Flux de travail minimal (5 étapes)
- Télécharger la bibliothèque de scraping web C# depuis NuGet
- Ajoutez une règle de projet sous .cursor/rules contenant le lien de documentation d'IronWebScraper
- Enregistrez la limite de requêtes du site et la règle de mise en file d'attente Init dans cette règle
- Référencez le code du crawler et la sortie attendue dans chaque requête
- Comparez chaque exécution avec le journal des requêtes du site, puis confirmez chaque nom de membre dans la référence API
Quel modèle Cursor devriez-vous utiliser pour le travail avec IronWebScraper ?
Composer est le propre modèle agentique de Cursor. Le sélecteur de modèle offre également les modèles Grok de SpaceXAI, que Cursor a co-développés, ainsi que des modèles d'OpenAI, Anthropic, Google et d'autres laboratoires. Le test ci-dessous a utilisé Composer 2.5.
Comment donner à Cursor la documentation IronWebScraper ?
Incluez le lien IronWebScraper's llms.txt dans la requête, ou stockez-le dans une règle que toute l'équipe partage. En octobre 2026, le menu @ de Cursor attache des fichiers, dossiers, terminaux, conversations, différences Git et le navigateur, donc la documentation d'IronWebScraper atteint l'agent sous forme de lien.
Le tutoriel avancé fixe RateLimitPerHost dans ses exemples, mais ne déclare aucune valeur par défaut, et aucune page ne dit si deux crawlers partagent une limite de taux.
@src/HarborDirectory/Legacy/PoliteHttp.cs
Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?
Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
Comment écrire les règles de projet pour le code du crawler IronWebScraper ?
Une règle de projet est un fichier .mdc stocké dans .cursor/rules et versionné avec le dépôt. Cursor ignore un fichier .md ordinaire dans ce dossier, car un fichier sans frontmatter ne lui fournit pas les moyens de décider quand charger la règle.
La règle ci-dessous répertorie ses motifs de fichiers dans globs, séparés par des virgules comme spécifié sur la page des règles de Cursor, et définit alwaysApply à false. Cursor l'attache ensuite lorsqu'un fichier sous ces chemins est en contexte. Enregistrez-le sous .cursor/rules/harbor-crawlers.mdc.
---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---
Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Les règles sur Init, la connexion et les requêtes échouées enregistrent le comportement d'IronWebScraper que les sections ci-dessous mesurent.
Comment les appels HttpClient et HtmlAgilityPack se mappent-ils à IronWebScraper ?
L'ancien crawler récupérait chaque page lui-même et attendait entre les requêtes. IronWebScraper met en file d'attente les requêtes, les espace par hôte et appelle une méthode de parsing pour chaque réponse réussie.
| HttpClient et HtmlAgilityPack | IronWebScraper |
|---|---|
Une boucle sur les numéros de pages avec GetAsync | Request pour la page 1 dans Init, puis le lien de page suivante mis en file d'attente à partir de Parse |
Task.Delay entre les requêtes | RateLimitPerHost, avec OpenConnectionLimitPerHost pour les requêtes parallèles |
DefaultRequestHeaders.UserAgent | UserAgent sur un HttpIdentity ajouté à Identities |
DefaultRequestHeaders.Authorization avec des identifiants basiques | NetworkUsername et NetworkPassword sur une identité, ou HttpIdentity.DefaultHttpRequestHeaders |
| Une boucle de réessai qui attend Retry-After sur 429 et 503 | HttpRetryAttempts |
SelectNodes et SelectSingleNode avec XPath | Css ou XPath sur le Response, qui retournent des tableaux HtmlNode |
File.WriteAllTextAsync pour le CSV | Scrape, qui ajoute des lignes JSON sous WorkingDirectory, ou le propre écrivain du programme |
Pourquoi un crawler porté manque-t-il des pages de liste ?
Le guide GitHub Copilot mesure comment IronWebScraper laisse tomber des requêtes faites dans Init. Dans les sondes pour ce guide, FailedUrls est resté à 0 pour les pages abandonnées. La surcharge de Request qui prend une liste d'URLs a récupéré deux, quatre et trois des quatre pages de la liste en trois exécutions.
Une requête dans Init et chaque requête supplémentaire mise en file d'une méthode de parsing a récupéré les 46 fournisseurs dans 8 sur 8 exécutions, c'est pourquoi la règle limite Init à la page 1 de la liste.
Comment IronWebScraper espace-t-il ses requêtes vers un hôte ?
Un nouveau WebScraper utilisait un RateLimitPerHost de 50 ms, un OpenConnectionLimitPerHost de 2, un MaxHttpConnectionLimit de 10, 8 pour HttpRetryAttempts et un intervalle de 20 secondes HttpTimeOut. Avec ces valeurs, le crawler a envoyé les 50 requêtes de l'annuaire entre 50 et 88 ms d'intervalle.
Contre un site de test qui refusait les requêtes arrivant trop vite avec 429 et un en-tête Retry-After, les valeurs par défaut ont échoué. Chaque URL refusée a été demandée 9 fois au même espacement, l'en-tête Retry-After n'a fait aucune différence, et 13 URLs ont été abandonnées. L'ancien crawler honorait Retry-After, donc un port qui repose uniquement sur les réessais perd des enregistrements. Un RateLimitPerHost de 500 ms a produit des écarts de 533 à 563 ms, ce qui maintient un seul scraper dans la limite de l'annuaire.
Comment planifiez-vous et exécutez-vous la migration ?
Appuyez sur Maj+Tab dans la saisie de chat jusqu'à ce que le mode Plan soit sélectionné, puis envoyez la demande ci-dessous. Cursor écrit le plan sous forme de fichier Markdown éditable.
@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv
Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.
The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?
List your assumptions at the end of the plan.
Corrigez les erreurs dans le plan. Ensuite, construisez-le à partir du plan, ou revenez à l'Agent et envoyez cette requête.
@harbor-crawlers
The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.
Then tell me both match counts, how long each run took and how many requests the new run sent.
L'évocation @harbor-crawlers joint la règle par son nom.
Quel élément de Cursor convient à chaque changement ?
Sélectionnez une fonctionnalité basée sur l'ampleur du changement. Tab complète une édition que le développeur a commencée, et l'édition en ligne (Ctrl+K) modifie une sélection qu'une phrase peut décrire. L'Agent couvre les changements dans plusieurs fichiers ou travaux nécessitant une exploration, et le Mode Plan vaut la peine lorsque corriger un changement incorrect coûte plus cher que d'écrire un plan. Chaque demande dans ce guide est allée à l'Agent ou au Mode Plan.
Quelle identité envoie chaque requête ?
Chaque identité dans Identities porte son propre agent utilisateur, cookies et connexion. Sans identité, IronWebScraper n'a pas envoyé d'en-tête User-Agent du tout. Avec plusieurs identités, il en choisissait une au hasard pour chaque requête et pour chaque réessai. Un scraper qui détenait une identité de membre et une identité publique avait besoin de 140 requêtes pour 46 pages de contact, 94 d'entre elles refusées avec 401.
Un login défini via NetworkUsername et NetworkPassword coûte une seconde requête sur chaque page protégée. Chaque page de membre est d'abord partie sans identifiants, a reçu un 401, et la requête avec identifiants a suivi dans un délai de 1,4 ms, en dehors de l'espacement RateLimitPerHost. Passer l'identité de membre à Request supprime le choix aléatoire mais pas la seconde requête.
Le tutoriel répertorie HttpRequestHeaders pour les en-têtes personnalisés, cependant aucun en-tête placé là ne parvient au site. Le sondeur a ajouté Authorization et un en-tête personnalisé X-Crawler, et ni l'un ni l'autre n'ont été reçus. Un en-tête ajouté au HttpIdentity.DefaultHttpRequestHeaders statique avant la création de l'identité a été envoyé à chaque requête et supprimé à chaque 401. Ce dictionnaire s'applique à chaque identité que le processus crée par la suite, y compris les pages publiques.
Comment déboguer le scraper qui utilise déjà IronWebScraper ?
Le scraper de certificats utilisait déjà IronWebScraper avant la migration. Il détenait une identité publique et une identité de membre, mettait en file les trois pages de registre dans Init et n'imposait aucune limite de taux.
@src/HarborDirectory/Scrapers/CertificateScraper.cs
The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.
Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.
Then fix CertificateScraper.
Run the command three times and give me the count from each run.
Sortie
Le scraper corrigé écrit le registre comme une ligne JSON par certificat, dans l'ordre où les pages sont analysées.

Les 10 premières des 32 lignes dans out/certificates.jsonl tel que laissé après l'exécution du test après le prompt crawl-all, rendu comme texte brut à partir du fichier.
Que se passe-t-il lorsque deux scrapers explorent le même hôte ?
Chaque instance WebScraper limite ses propres requêtes. Deux scrapers qui fixent chacun RateLimitPerHost à 500 ms et utilisaient une connexion ont gardé deux requêtes en vol et ont envoyé jusqu'à 6 requêtes par seconde au même hôte. Leur taux combiné doit donc être planifié dans le code.
@src/HarborDirectory/
Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.
The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.
Run crawl-all, compare both files with TestData/expected and tell me what matched.
Sortie
Le graphique compte les requêtes que le site local a reçues chaque seconde de la course crawl-all.

Requêtes par seconde lors de l'exécution du test crawl-all, tiré du journal des requêtes du site local. 209 requêtes en 100 secondes.
Comment écrire des tests de régression pour les scrapers ?
Un Response construit avec son constructeur public a lancé une ArgumentNullException de Css, et le guide ChatGPT Codex explique pourquoi IronWebScraper analyse uniquement les pages qu'il a lui-même récupérées. Les tests servent donc les pages enregistrées sur HTTP.
@src/HarborDirectory/ @TestData/pages/
Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.
Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.
Finish by running dotnet test, then report the passing and failing test counts.
Qu'est-ce que les messages ont produit lors d'une réelle exécution ?
Les versions Fresh Release de chaque commit qui a changé le code ont répété chaque exploration ci-dessous contre une nouvelle copie du site local. Un script a lu le journal des requêtes du site et a comparé chaque fichier de sortie avec TestData/expected.
- Avant le déplacement, le crawler HttpClient et HtmlAgilityPack a écrit tous les 46 fournisseurs en 96 requêtes et 49,2 secondes.
- Après le déplacement, SupplierScraper a écrit les mêmes 46 lignes, avec le même en-tête et ordre des lignes.
- La nouvelle exploration a envoyé 142 requêtes en 57,9 secondes, et les pages de contact ont répondu à 46 d'entre elles avec 401.
- Cursor a rapporté 96 requêtes pour la nouvelle exécution, un décompte uniquement des requêtes réussies.
- SupplierScraper a mis en file d'attente uniquement la première page de liste dans Init et a suivi le lien de page suivante depuis Parse.
- Cursor a répondu aux cinq questions de documentation sans changer un fichier et n'a trouvé aucune page indiquant les limites par défaut ou répondant à la question des deux scrapers.
- Pour l'en-tête d'Authorization, Cursor n'a trouvé aucun exemple documenté et a décrit HttpRequestHeaders comme envoyé avec chaque requête, ce que le sondeur a montré être incorrect.
- Le plan a affirmé que fixer l'identité de membre sur les requêtes de contact évite la double récupération, ce que 46 réponses de 401 ont prouvé incorrect.
- Avant sa correction, la commande de certificats a écrit 1 et 0 certificats dans les exécutions de Cursor et 6 sur 32 dans une exécution indépendante.
- Cursor a tracé les échecs jusqu'à l'identité aléatoire, l'identité de membre dans le pool aléatoire et la limite de taux manquante.
- Le CertificateScraper corrigé a encore demandé toutes les trois pages de registre depuis Init, contrairement à la règle de projet.
- Après la correction, la commande a écrit 32 des 32 certificats en trois exécutions indépendantes, chacune avec 67 requêtes et aucun 429.
- La première construction crawl-all n'a reçu aucun 429, et aucun second n'a tenu plus de 4 requêtes.
- Deux exécutions crawl-all indépendantes ont écrit les 46 fournisseurs et les 32 certificats en 105,2 et 104,8 secondes.
- Exécuter les deux commandes l'une après l'autre a pris 80,8 secondes.
- La suite xUnit a passé 4 tests sur 4, et le site sur le port 5493 n'a enregistré aucune requête pendant leur exécution.
- Certaines étapes ont été exécutées différemment de la page. Les sept invites ont traversé le CLI Cursor dans une session sans tête. Le Mode Plan a persisté après le prompt 03, donc les prompts 05 à 07 ont chacun nécessité le message de suivi "Construire le plan." Dans le prompt 04, Cursor a également changé le scraper de pages et le README, ce que le prompt n'a pas demandé.
Le guide GitHub Copilot limite ses conventions IronWebScraper aux chemins de crawler et de test dans un fichier d'instructions spécifiques au chemin, comme le fait le fichier de règle ici. Le guide Google Antigravity fonctionne à partir du même tutoriel avancé et mesure ce que le cache web d'IronWebScraper et l'état d'exploration enregistré conservent. Le dossier des exécutions répertorie la version de l'assistant, le modèle, la durée et la machine de test pour chaque guide.
Dépannage
- Fonctionnalités avancées de scraping web lorsqu'une exploration nécessite de la limitation ou une connexion
- Sécurité des threads lorsqu'une exploration exécute plusieurs requêtes à la fois
- Application des clés de licence lorsque Démarrer lance une exception de licence
- IronWebScraper & JavaScript lorsqu'une page est pleine dans le navigateur et vide pour le scraper
Des questions ?
Si vous avez des questions, contactez support@ironsoftware.com
Curtis Chau détient un baccalauréat en informatique (Université de Carleton) et se spécialise dans le développement front-end avec expertise en Node.js, TypeScript, JavaScript et React. Passionné par la création d'interfaces utilisateur intuitives et esthétiquement plaisantes, Curtis aime travailler avec des frameworks modernes et créer des manuels bien structurés et visuellement attrayants.