Comment utiliser IronWebScraper avec Claude Code
Un scraper est facile à écrire et facile à mal écrire. La mauvaise version fonctionne sur la page devant vous, ignore l'hôte auquel elle est dirigée, et cesse d'être correcte dès qu'un changement de disposition intervient. Une équipe marketing qui prévoit de déplacer le blog de l'entreprise vers une nouvelle plateforme a d'abord besoin d'un inventaire de chaque poste publié, avec l'adresse, le titre, l'auteur, la date de publication, les catégories, les tags, le nombre de mots et les images de chacun. Les archives couvrent cinq ans et deux thèmes de site, et un article n'est lié par aucune page d'archive. Anthropic a créé Claude Code comme un agent pour programmer, disponible depuis la ligne de commande, à l'intérieur de VS Code ou JetBrains, comme une application de bureau, et dans le navigateur. Dans tous ces cas, il lit le code, édite des fichiers et exécute des commandes, ce qui convient au travail de crawlers, où chaque changement à un sélecteur est suivi d'une autre exécution et d'un autre examen de la sortie.
IronWebScraper est construit autour d'une seule classe de base. Vous étendez WebScraper, substituez Init pour demander une URL de départ et définir les règles de crawl, et substituez Parse pour extraire les valeurs de chaque réponse. La file d'attente et le throttling sont déjà en place, donc l'agent n'écrit que les parties qui dépendent du site. Le tutoriel du blog montre le modèle sur un blog. Ce guide explique comment configurer Claude Code pour construire l'inventaire de contenu avec quatre invites testées, et enregistre les comportements d'IronWebScraper dont chaque invite dépend.
Anthropic documente Claude Fable 5.1 et Claude Fable 5 comme les modèles les plus performants dans Claude Code, adaptés à des tâches plus importantes qu'une seule session. La commande /model change le modèle sans terminer la session.
Nommez les champs, le fichier de sortie et les limites de crawl dans chaque invite, et laissez le reste à l'agent.
Démarrage rapideOuvrez un terminal dans le dossier du projet, exécutez claude, et entrez /model opusplan avant la première invite. Le test a servi une copie du blog d'entreprise sur le port 5437 de la machine locale, et chaque invite nomme cette adresse.
Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.
The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:
- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.
After setting the key, Program.cs does these things in order:
1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.
Run it once and show me the console output.
Flux de travail minimal (5 étapes)
- Télécharger la bibliothèque de scraping web C# depuis NuGet
- Ouvrez Claude Code à partir du dossier du projet et définissez le modèle avec /model
- Enregistrez les règles de crawl mesurées d'IronWebScraper dans CLAUDE.md pour que chaque session les charge.
- Dirigez le crawler vers une copie locale du site avant tout hôte en direct.
- Vérifiez l'inventaire par rapport à chaque publication et le journal des requêtes avant le début d'une migration.
Que fait Claude Code dans un projet de crawler .NET ?
L'agent écrit la sous-classe WebScraper et l'exécute contre le blog de test. Le développeur décide quel site est crawlé, à quelle vitesse, et quelles pages sont exclues.
Les règles du projet dans les sections suivantes interdisent une boucle de requêtes écrite à la main et nomment le package et sa version, pour que l'agent ne choisisse pas un package uniquement par son nom.
Comment configurer Claude Code ?
Installez Claude Code et connectez-vous en suivant le quickstart d'Anthropic. L'installation est complète lorsque claude démarre dans un terminal et répond.
Comment configurer un projet dans lequel Claude Code peut travailler ?
Donnez à l'agent une véritable cible d'abord. Le dispositif de test est une application console .NET 9 sans référence de package, et le blog fonctionne comme un site local avec 26 publications. Les publications de 2023 et après utilisent le thème actuel, et les neuf publications plus anciennes utilisent le précédent. Les archives lient un article via une redirection, un article répond par une erreur serveur, un article plus ancien est envoyé dans l'encodage windows-1252, et le fichier robots.txt interdit un dossier de brouillons auquel la deuxième page d'archives est liée.
CLAUDE.md est chargé au début de chaque session, donc les règles écrites là-bas s'appliquent à chaque invite ultérieure. La deuxième invite crée le fichier et un réviseur en lecture seule pour le code du crawler.
Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:
- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.
Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.
Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:
- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?
I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Pour des guides au-delà de la liste des membres, IronWebScraper répertorie sa documentation pour les agents dans llms.txt.
Quelles règles de crawl d'IronWebScraper appartiennent à CLAUDE.md ?
Chaque ligne provient d'une sonde qui a crawlé le blog local avec et sans clé de licence et a comparé le journal des requêtes du site avec ce que Parse a reçu. Collez le bloc sous la section Crawling.
These crawl rules were measured on IronWebScraper 2026.10.1:
- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Comment IronWebScraper applique-t-il robots.txt à une copie locale d'un site ?
ObeyRobotsDotTxt est activé par défaut, mais IronWebScraper a demandé robots.txt à http://localhost/robots.txt, sur le port 80, quel que soit le port nommé par l'URL de départ. Sur le blog de test, il n'a jamais demandé robots.txt et a récupéré le brouillon interdit. Avec rien à l'écoute sur le port 80, la première requête a atteint le blog 4,5 secondes après le début du processus de sonde, et le fait de régler ObeyRobotsDotTxt sur false a réduit cela à 0,5 secondes.
Une deuxième sonde a également servi les règles du blog sur le port 80. Sans agent utilisateur défini, Request a lancé une ArgumentException avec le message "Chaîne d'agent-utilisateur non valide" contre ces règles, qui incluent une ligne Crawl-delay. Avec un HttpIdentity qui en a défini un, le brouillon est resté non demandé et les requêtes ont conservé le délai de crawl d'une seconde. Un glob BannedUrls tel que */blog/drafts/* a gardé le brouillon hors de la sonde.
Quelles pages atteignent Parse, et combien de fois chacune est-elle demandée ?
Avec les paramètres par défaut, le crawl de la sonde a envoyé 43 requêtes au blog de test. Une URL que le code a demandée deux fois avec la même méthode parse a été récupérée une fois. Une redirection et sa cible comptaient pour deux URL, donc l'article redirigé a été récupéré deux fois et a atteint Parse deux fois avec le même FinalUrl.
L'article qui a répondu 500 a reçu 9 requêtes avec le HttpRetryAttempts par défaut de 8, et Parse n'a jamais été exécuté pour cet article. Un crawler qui doit lister ses échecs compare donc les liens qu'il a mis en file d'attente avec les lignes qu'il a écrites.
RateLimitPerHost espace le début de chaque requête à un hôte. À 1 000 millisecondes, les écarts mesurés allaient de 1,03 à 1,06 secondes, mais l'article qui a pris 2,5 secondes pour répondre a chevauché deux requêtes ultérieures, car OpenConnectionLimitPerHost est par défaut à 2. IronWebScraper a également envoyé les requêtes dans le désordre des pages, donc un crawler qui a besoin d'une sortie ordonnée trie ses lignes avant de les écrire.
Qu'écrit IronWebScraper dans les fichiers de sortie ?
Scrape ajoute à son fichier JSON Lines, et une deuxième exécution dans le même dossier de travail a doublé le fichier de la sonde de 27 lignes à 54. ScrapeUnique laisse tomber le premier enregistrement que chaque scraper écrit dans un fichier, et le premier article écrit manquait du fichier unique dans les 14 crawls de sonde.
L'article windows-1252 a perdu ses accents. Response.CharSet a signalé windows-1252, mais le texte a été décodé comme UTF-8, et le nom de l'auteur est arrivé avec des caractères de remplacement à la place des lettres accentuées. Les articles du même auteur envoyés en UTF-8 ont été décodés correctement. Enregistrer CodePagesEncodingProvider avec Encoding.RegisterProvider avant Start a résolu le décodage.
L'article windows-1252 ressemble à ceci dans un navigateur. L'inventaire doit conserver les lettres accentuées dans le nom de l'auteur.

L'article windows-1252 sur le blog de test local, tel que Chrome l'a affiché. Le site et ses articles ont été créés pour le test.
Comment demander du code IronWebScraper qui se compile ?
Demandez le crawler et ses règles de sortie en une seule invite, et permettez au mode plan d'établir le design avant toute modification de fichier. Passez en mode plan avec Shift+Tab avant d'envoyer l'invite. Avec opusplan sélectionné, Opus écrit le plan et Sonnet l'exécute une fois le plan approuvé.
Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:
- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.
Write out/content-inventory.csv with one row per post, in this shape:
- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.
Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.
Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Deux parties de l'invite protègent l'inventaire.
- Une ligne par adresse servie : l'inventaire alimente une migration, et un article listé sous deux adresses serait déplacé deux fois.
- Échecs dans un fichier séparé : sans cela, un article manquant de l'inventaire ne peut pas être distingué d'un article qui n'a jamais été publié.
Que se passe-t-il lorsque le blog change son modèle de post ?
Le test a changé le blog local pour un nouveau modèle de post entre la troisième et la quatrième invite. Les pages d'archives et les articles plus anciens ont conservé leur balisage, tandis que chaque article de 2023 et au-delà est passé à de nouveaux noms de classe. Un chemin qui commence par @ attache ce fichier à la requête.
The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:
1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.
Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
Qu'est-ce que vous devriez vérifier avant de faire confiance au code du crawler généré ?
Incluez les contrôles suivants dans la révision.
- Le journal des requêtes : comptez les requêtes par page, confirmez que rien sous un chemin interdit n'a été récupéré et mesurez les écarts entre les requêtes.
- La construction :
dotnet buildrejette un membre qui n'existe pas, comme une orthographe corrigée deResponse.RequestlUrl. - Un échantillon de lignes : ouvrez plusieurs articles de chaque thème et comparez leurs champs avec l'inventaire avant que la migration ne commence.
Pour une tâche IronWebScraper complète avec des critères de passage fixés qui peuvent être réexécutés, voir le guide des assistants de programmation IA.
Qu'est-ce que les messages ont produit lors d'une réelle exécution ?
Claude Code a exécuté les quatre invites en une session, dans l'ordre, contre le blog local. Le bloc de règles a été placé dans CLAUDE.md avant la troisième invite. Aucun code n'a été modifié à la main.
- Avant l'exécution, le dépôt contenait un Program.cs d'une seule ligne et aucune référence de package.
- Le programme Quickstart a imprimé True pour IsLicensed, compté 10 cartes de publication et nommé correctement le premier article.
- CLAUDE.md a reçu les cinq règles de Crawling, et le fichier du sous-agent ne listait que les outils Read, Grep et Glob.
- Pendant la planification, la session et ses sous-agents ont envoyé 370 requêtes curl au blog, dont 5 vers le dossier de brouillons interdit.
- Le crawler a défini ObeyRobotsDotTxt sur false, lu robots.txt lui-même et converti ses règles en paramètres BannedUrls et RateLimitPerHost.
- Le crawl de la troisième invite a envoyé 38 requêtes, toutes avec l'agent utilisateur LarkspurInventory/1.0 et aucune vers le dossier des brouillons.
- Son écart médian entre le début des requêtes était de 1,04 secondes, et les deux écarts plus courts ont suivi robots.txt et une redirection.
- L'article défaillant a reçu 3 requêtes dans ce crawl et était la seule entrée de failed-pages.txt.
- Après la troisième invite, l'inventaire comprenait 25 lignes, et chaque champ correspondait aux données du blog dans notre vérification.
- L'article redirigé apparaissait une fois, sous son adresse finale, et l'article manquant des pages d'archives était présent.
- L'article windows-1252 a conservé le nom d'auteur accentué, et aucune ligne ne contenait de caractère de remplacement.
- Sur le nouveau modèle, le crawler de la troisième invite a écrit 8 lignes et listé 19 adresses échouées, bien qu'un seul article ait renvoyé une erreur.
- Après une correction dans la quatrième invite, le nouvel inventaire était identique octet par octet à la copie prise avant le changement de modèle.
- Des clones frais du code final ont produit les mêmes 25 lignes sur le thème actuel et sur le nouveau modèle.
- Sans la clé, le programme a rapporté que la licence a échoué et n'a envoyé aucune requête au blog.
- La clé de licence n'apparaissait dans aucun transcript, fichier de session, journal ni fichier du dépôt de cette exécution.
- Certaines étapes ont été exécutées différemment de la page. La session s'est déroulée sans interface graphique, donc une réponse tapée a approuvé le plan. La garde de l'exécution, qui a maintenu l'agent à l'intérieur du dépôt, a bloqué quatre appels d'outils, dont deux par erreur.
Les huit dernières lignes de l'inventaire contiennent les articles de l'ancien thème.

L'en-tête et les huit dernières lignes de content-inventory.csv du test, tirées sous forme de texte du fichier. Les numéros de ligne sont ceux du fichier.
Le guide du Cursor fait également planifier le travail par l'agent avant qu'il n'écrive du code, comme le mode plan le fait ici. Le guide ChatGPT Codex garde ses règles de crawl dans AGENTS.md, que Codex lit avant tout travail, comme ce guide le fait avec CLAUDE.md. La version de Claude Code, les modèles, les temps et la machine de test pour cette exécution sont dans le journal partagé.
Dépannage
- Application des clés de licence si
Startlance LicensingException - Sécurité des threads pour les paramètres qui contrôlent combien de requêtes s'exécutent en même temps
- Sécurité CVE d'IronWebScraper pour la position de sécurité sur la bibliothèque elle-même
Des questions ?
Si vous avez des questions, contactez support@ironsoftware.com
Curtis Chau détient un baccalauréat en informatique (Université de Carleton) et se spécialise dans le développement front-end avec expertise en Node.js, TypeScript, JavaScript et React. Passionné par la création d'interfaces utilisateur intuitives et esthétiquement plaisantes, Curtis aime travailler avec des frameworks modernes et créer des manuels bien structurés et visuellement attrayants.