Comment utiliser IronWebScraper avec GitHub Copilot

Curtis Chau
Curtis Chau
Mis à jour : 26 octobre 2026

Un agrégateur d'horaires de cinéma collecte les projections de plusieurs salles dans un fichier que l'application de listes lit chaque nuit. Chaque salle publie son programme sur ses propres pages, et le même film peut être projeté dans trois salles en même temps. Une projection que le crawl rate n'apparaît pas du tout dans l'application.

GitHub Copilot fonctionne avec le dépôt par le biais du chat et du mode agent dans Visual Studio et VS Code, et via Copilot CLI dans un terminal. Son agent cloud sur GitHub transforme un problème assigné en une pull request. IronWebScraper explore des sites Web depuis .NET via une sous-classe de WebScraper qui remplace Init et Parse. Les fichiers d'instructions commis dans le dépôt transmettent les règles du robot d'exploration à chacun de ces environnements.

Ce guide couvre la direction de Copilot pour construire et maintenir le robot d'exploration. Le guide du site de films décrit la page de liste, la page de détail et le modèle MetaData que le robot d'exploration suit. Chaque exploration décrite ici cible un site de test hébergé sur l'ordinateur local, jamais le site en direct d'un cinéma.

Démarrage rapide
NuGetInstaller avec NuGet

PM > Install-Package IronWebScraper

Installez IronWebScraper en exécutant la commande ci-dessus dans la console du gestionnaire de packages NuGet, ou recherchez le package dans le gestionnaire de packages NuGet.

Ouvrez un terminal à la racine du dépôt, lancez Copilot CLI et soumettez l'invite. Les mentions @ attachent les fichiers nommés dans Copilot CLI, et Copilot Chat dans Visual Studio prend les références # à la place.

Build the showtimes crawler in @src/Showtimes.Scraper/ShowtimeScraper.cs.
It collects every screening from the cinema test site at http://localhost:5447/.
Directory.Packages.props already pins IronWebScraper 2026.10.1.

The crawler should do this:
- Start at the site's start page and follow each venue's pages, page 2 included.
- Write one line per screening to out/showtimes.jsonl, using the Screening class.
- Fill the venue-page fields as @docs/output-format.md describes.
- Leave the film-page fields empty for now.

Then do these steps in order:
1. Add a crawl command to @src/Showtimes.Cli/Program.cs that takes --site <url> and --out <path>.
2. Run dotnet build.
3. In the repo root, run crawl --site http://localhost:5447/ --out out/showtimes.jsonl.

Tell me how many screenings each venue has.
Text

L'invite ne mentionne aucun sélecteur, car docs/output-format.md liste l'élément source de chaque champ.

Définissez IRONWEBSCRAPER_LICENSE_KEY dans l'environnement où Copilot s'exécute, et faites en sorte que le programme le copie dans License.LicenseKey. Le guide du hub nomme les variables que IronWebScraper lit par lui-même, et le guide de la clé de licence répertorie les autres emplacements pris en charge.



Comment définissez-vous les conventions IronWebScraper pour Copilot ?

Placez les règles à l'échelle du projet dans .github/copilot-instructions.md. La référence de support de GitHub répertorie ce fichier pour Copilot Chat dans Visual Studio, VS Code et les IDE JetBrains, ainsi que pour l'agent cloud et la révision de code Copilot. Copilot CLI le lit à partir du même emplacement.

This repo holds the showtimes crawler, which gathers cinema screenings into one file.
Follow these rules in every change:
- Use IronWebScraper for all crawling and HTML parsing, never HttpClient.
- Don't add AngleSharp, HtmlAgilityPack or another scraping package.
- Change the IronWebScraper version in Directory.Packages.props only in an upgrade task.
- The showtimes crawler and its tests read IRONWEBSCRAPER_LICENSE_KEY into License.LicenseKey.
- IronWebScraper won't read that variable name on its own, so set the key before Start.
- Keep the key out of all output, logs included.
- Don't list environment variables.
- Crawl only the site a task names, which is http://localhost:5447/ in development.
- Tests crawl TestData/site through a local HTTP listener and never touch that address.
- Keep RateLimitPerHost at one second.
- Write records with WebScraper.Scrape, not with a JSON writer of your own.
- Treat docs/output-format.md as the contract for out/showtimes.jsonl.
- If the contract looks wrong, tell me and leave the file alone.
- Read the IronWebScraper docs for agents at https://ironsoftware.com/webscraper/csharp/llms.txt
Markdown

La règle de limite de fréquence définit l'intervalle entre les requêtes dans chaque crawl. À la RateLimitPerHost par défaut de 50 millisecondes, un crawl de test a atteint le site de test avec des requêtes espacées de 0,048 à 0,064 secondes. À une seconde les écarts mesuraient de 1,02 à 1,10 secondes.

Comment donner au robot d'exploration ses propres règles ?

Un fichier tel que .github/instructions/scraper.instructions.md contient des règles pour les parties de l'arborescence que ses modèles applyTo nomment, ici le robot d'exploration et ses tests. Selon la documentation de GitHub, Copilot CLI inclut le fichier uniquement lorsqu'il fonctionne sur un fichier qui correspond à l'un de ces modèles.

---
applyTo: "src/**/*,tests/**/*"
---

The crawler and its tests rely on IronWebScraper 2026.10.1, which behaves like this:
- A crawl fetches each URL once per parse method.
- A second Request for that URL with the same parse method is dropped, even with new MetaData.
- MetaData passes the parse method the same object instance, not a copy.
- When a parse method throws, the page is fetched and parsed again, up to 8 more times.
- Each retry repeats every Scrape call made before the throw.
- A URL that answers 500 is requested 9 times, and its parse method is never called.
- Css throws an XPathException on a selector with two > combinators, such as div > p > a.
- TextContentClean returns entities such as &eacute; unchanged.

Follow these rules in this code:
- Request each film page once and copy its details onto every screening of that film.
- Decode text from TextContentClean with WebUtility.HtmlDecode.
Markdown

Chaque comportement listé dans ce fichier provient d'une sonde contre le site de test.

Que fait IronWebScraper avec une page de film à laquelle trois salles sont liées ?

Les pages des salles lient chaque film à une page de film, donc les trois salles qui montrent Harbour Lights lient au même URL.

Fill in the film-page fields on every line the crawler writes.
They are RuntimeMinutes, Genres and Rating, and @docs/output-format.md gives the source of each.
Follow this guide for the detail requests:
https://ironsoftware.com/webscraper/csharp/how-to/scraping-from-an-online-movie-website/

Two things about the test site matter here:
- Harbour Lights plays at all three venues, and all 6 of its screenings need the runtime.
- The Night Train to Arles page answers 500 on purpose.

Keep the Night Train to Arles screening, with its film fields empty.
Then run the crawl again with --out out/details/showtimes.jsonl.
Tell me how many lines got a runtime, and which film's lines didn't.
Text

IronWebScraper cherche un URL une fois par méthode d'analyse pour tout le crawl. Dans la sonde, trois salles ont demandé la page de Harbour Lights avec la même méthode d'analyse et différents MetaData, et le site a reçu une seule demande. La méthode d'analyse n'a vu que le MetaData de la première salle, donc les projections des deux autres salles n'ont jamais reçu de détails. La même URL demandée avec une méthode d'analyse différente a été récupérée à nouveau, et ainsi fut la page avec une chaîne de requête différente.

Le parseur de détail du guide de films échoue sur son propre balisage. Son sélecteur de genre div > p > a et son sélecteur d'acteur div > p:nth-child(2) > a ont tous deux levé une XPathException, car IronWebScraper rejette un sélecteur avec deux combinateurs enfants. Les sélecteurs avec un combinateur, comme div.mvici-left > p, ont fonctionné.

IronWebScraper réessaie une page dont la méthode d'analyse lève une exception, comme il réessaie une page qui échoue à charger. Dans la sonde, la méthode d'analyse a été appelée 9 fois pour une page, et un appel Scrape effectué avant l'exception a écrit 9 lignes.

Sortie

Dans un navigateur, la page du lieu Riverside affiche son nom avec une lettre accentuée. La source de la page écrit cette lettre comme une entité HTML nommée, et TextContentClean a renvoyé l'entité inchangée.

Page du lieu Riverside du site de test local avec trois films et leurs horaires

Page 1 du lieu Riverside sur le site de test local, capturée dans Microsoft Edge. Tous les films et lieux sur le site sont fictifs.

Sept lignes du fichier JSONL des horaires avec Harbour Lights dans trois salles et Night Train to Arles avec des champs de film vides

Les lignes Harbour Lights et Night Train to Arles de out/details/showtimes.jsonl telles qu'écrites par la deuxième invite, avec leurs numéros de ligne dans le fichier.

Comment tester le robot d'exploration sans le site en direct ?

Utilisez Shift+Tab pour faire passer Copilot CLI en mode plan, puis soumettez cette invite.

Plan a new xUnit project, tests/Showtimes.Tests, listed in Showtimes.slnx.
Show me the plan, and don't write code until I say go.

The tests' local listener must answer 500 for /film/night-train-to-arles-20790/, like the test site.

Each test runs ShowtimeScraper and checks one of these:
- Northgate Picturehouse has 10 screenings, and the other two venues have 7 each.
- The Riverside venue name has no HTML entity left in it.
- All 6 Harbour Lights screenings have a RuntimeMinutes of 112.
- The Night Train to Arles screening is still there, with a null RuntimeMinutes.

After my go, write the tests and rerun dotnet test until every one passes.
Then give me the number that pass.
Text

Le robots.txt dans TestData/site n'a aucun effet sur un crawl de test. IronWebScraper demande robots.txt sans le port de l'URL de départ, donc un écouteur sur un port aléatoire ne sert jamais ces règles. Avec un écouteur sur le port 80, un crawl de test les a lues et a sauté la page /booking/non autorisée. Le guide Claude Code couvre ce comportement en détail.

Pourquoi un lieu disparaît-il de certaines exécutions ?

Dans ce scénario, les outils/tools/VenueCheck d'un coéquipier sollicitent les trois pages de lieu avant le crawl de nuit et rapportent tout lieu qui ne répond pas.

tools/VenueCheck reports a venue as DOWN on some runs, though the site is up.
It checks the three venue pages listed in tools/VenueCheck/venues.json.
Find out why and fix it.

Before you fix anything, do these steps in order:
1. Run it five times against http://localhost:5447/ and note which venues came back DOWN.
2. Turn on LogLevel.All and find out what IronWebScraper does with the Request calls in Init.
3. Tell me the cause.

Keep the fix within these limits:
- Change files in tools/VenueCheck only.
- Add no sleep, and keep a single call to Start.

Then run it five more times and show me the results.
Text

IronWebScraper ne conserve pas toutes les requêtes faites dans Init. Avec trois URLs de lieu demandées depuis Init, le crawl a récupéré les trois dans 1 sur 26 exécutions de test et une ou deux dans les 25 autres. Ces 26 exécutions combinent 18 exécutions d'un robot de test avec 8 exécutions de tools/VenueCheck comme engagé avant la correction. Le journal listait trois requêtes et signalait le crawl comme complet après deux, et les URLs ignorées n'ont jamais atteint le serveur. Les requêtes faites depuis une méthode d'analyse n'ont jamais été perdues. Demander le premier lieu depuis Init et les deux autres depuis sa méthode d'analyse a renvoyé les trois lieux dans 8 sur 8 exécutions.

Qu'est-ce qui rend un problème sur lequel l'agent cloud peut agir ?

Selon GitHub, un problème assigné à Copilot transmet à l'agent son titre, sa description, les commentaires présents lors de l'attribution et toutes les instructions données à ce moment. Les commentaires ajoutés par la suite n'atteignent pas l'agent, donc le corps du problème doit contenir l'ensemble de la demande.

Title: A second crawl must not double out/showtimes.jsonl

Files: src/Showtimes.Scraper and tests/Showtimes.Tests
Versions: net9.0 with IronWebScraper 2026.10.1

Background: IronWebScraper's Scrape appends to the file it writes and never empties it.
Without a cleanup step, a second crawl to the same --out path leaves 48 lines instead of 24.

Expected: after any crawl, the output file holds exactly one line per screening.

Constraint: the crawl command keeps its options.

Acceptance: close the issue once these are true:
- Two crawls in a row leave the same 24 lines, in any order.
- A new test crawls twice into one temp folder and counts the lines.
- dotnet test passes.

Summary: say where the old output gets cleared, and why there.
Markdown

Pourquoi les tests de l'agent cloud échouent-ils sur un projet IronWebScraper ?

Les tests qui crawlent ont besoin de la clé de licence dans l'environnement de l'agent cloud. La documentation de GitHub décrit cet environnement par défaut comme Ubuntu Linux, et un travail copilot-setup-steps dans .github/workflows/copilot-setup-steps.yml peut le préparer. Le travail s'exécute dans GitHub Actions avant que Copilot ne commence à travailler, et le workflow ne se déclenche que si le fichier est sur la branche par défaut. Lorsqu'une étape de configuration échoue, Copilot saute les étapes de configuration restantes et commence à travailler dans son environnement tel qu'il est.

Create the cloud agent's setup workflow in .github/workflows/copilot-setup-steps.yml.
Call its job copilot-setup-steps, because GitHub skips a job with any other name.

The job needs these settings:
- The runner is ubuntu-latest.
- The workflow token has contents: read and nothing else.
- workflow_dispatch triggers it, and so does a pull request that edits the file.

Its steps go in this order:
1. Check out the code.
2. Install .NET 9.
3. Run dotnet restore, then dotnet build -c Release.
4. Look for the license key.

The key is IRONWEBSCRAPER_LICENSE_KEY, saved as an Agents secret.
The job gets it as an environment variable already, so skip the secrets context.

When the key is missing, the last step behaves like this:
- On pull_request or workflow_dispatch, it logs a warning and passes.
- On any other event, it fails with an error naming the secret.

Show me the finished YAML, and don't try to run the workflow.
Text

Stockez la clé comme un secret des Agents : selon GitHub, l'agent cloud n'a pas accès aux secrets d'Actions, Codespaces ou Dependabot. Dans les Paramètres du dépôt, ouvrez Secrets et variables dans la section Sécurité, sélectionnez Agents et ajoutez IRONWEBSCRAPER_LICENSE_KEY sur l'onglet Secrets. GitHub précise que ces secrets sont "exposés à Copilot en tant que variables d'environnement" et peuvent être utilisés par les scripts et outils que Copilot utilise, "y compris par votre workflow copilot-setup-steps.yml." La documentation ne dit pas qu'une étape du workflow lit une variable sans un mapping env, ce que suppose l'invite ci-dessus.

Que faut-il vérifier avant de fusionner ?

Exécutez la révision comme une commande copilot -p distincte, en dehors de la session qui a écrit le code.

/review the changes on this branch compared with main.

Check the code against these three files:
- .github/copilot-instructions.md
- .github/instructions/scraper.instructions.md
- IronWebScraper.xml in the IronWebScraper package of the NuGet cache

Also look for two patterns that neither instructions file covers:
- an Init method that calls Request more than once
- a crawl that starts with an old output file still in place

List every mismatch you find, or say that nothing came up.
Don't change any file.
Text

Qu'est-ce que les messages ont produit lors d'une réelle exécution ?

Les sept invites ont été exécutées sans surveillance dans Copilot CLI contre un dépôt d'horaires et le site de test local construit pour ce guide. Chaque chiffre ci-dessous provient des fichiers de sortie, du journal des requêtes du site et du dépôt, et non des réponses de Copilot.

  • Avant l'exécution, le CLI a imprimé une ligne d'utilisation et a quitté avec le code 1.
  • Après la première invite, out/showtimes.jsonl contenait 24 projections, 10 à Northgate Picturehouse et 7 dans chacun des deux autres lieux.
  • Dans le crawl de la deuxième invite, chaque page de film a reçu une demande, sauf Night Train to Arles, qui en a reçu 9 et a répondu 500 à chacune.
  • Le fichier de la deuxième invite contenait 24 lignes, et 23 d'entre elles avaient une durée.
  • La projection de Night Train to Arles est restée, avec une durée, une liste de genres et une note vides.
  • Les 6 projections de Harbour Lights, dans trois lieux, portaient la durée de 112 minutes.
  • En mode plan, Copilot a écrit un plan, n'a modifié aucun fichier et a attendu le message d'approbation.
  • Les 4 tests de la troisième invite ont été réussis sans une seule requête au site de test.
  • Avant la correction, VenueCheck a signalé un ou deux lieux comme en panne dans 4 des 5 contrôles.
  • La correction a laissé un appel de requête dans Init et a demandé chaque lieu suivant depuis la méthode d'analyse.
  • Les trois lieux ont répondu dans 10 des 10 exécutions du contrôle corrigé.
  • Avec le premier lieu répondant 500, le VenueCheck corrigé a signalé les trois lieux comme en panne dans 3 des 3 exécutions.
  • Les pages des deux autres lieux n'ont reçu aucune demande dans ces exécutions.
  • La session de problème a ajouté le nouveau test et a laissé le robot d'exploration inchangé, car son Init avait supprimé les anciens résultats depuis la première invite.
  • Les 5 tests du dépôt final ont réussi avec la clé définie et échoué sans elle.
  • La session de révision n'a signalé aucune inadéquation et n'a changé aucun fichier. Aucun des modèles qu'elle a recherchés n'est resté après les invites précédentes, donc cette exécution n'a pas testé si la révision les trouve.
  • Certaines étapes ont été exécutées différemment de la page. Le corps du problème est allé à une nouvelle session Copilot CLI, car le dépôt de test n'a pas de distant GitHub. Le flux de travail de configuration a été écrit mais non exécuté, pour la même raison.

Cursor limite également les règles engagées aux chemins qu'elles nomment, et Claude Code détient également un plan pour approbation avant d'éditer le projet. Le dossier d'exécution partagé répertorie la version de Copilot CLI, le modèle Auto sélectionné, la durée et la machine de test.


Dépannage


Des questions ?

Si vous avez des questions, contactez support@ironsoftware.com

Curtis Chau détient un baccalauréat en informatique (Université de Carleton) et se spécialise dans le développement front-end avec expertise en Node.js, TypeScript, JavaScript et React. Passionné par la création d'interfaces utilisateur intuitives et esthétiquement plaisantes, Curtis aime travailler avec des frameworks modernes et créer des manuels bien structurés et visuellement attrayants.

Lire la suite

Prêt à commencer ?

Téléchargements NuGet 150,061Version :2026.11tout juste publié