Wie Sie IronWebScraper mit GitHub Copilot verwenden

Curtis Chau
Curtis Chau
Aktualisiert: 26. Oktober 2026

Ein Kino-Showtimes-Aggregator sammelt die Vorführzeiten verschiedener Veranstaltungsorte in einer Datei, die eine Listings-App jede Nacht ausliest. Jeder Veranstaltungsort veröffentlicht sein Programm auf seinen eigenen Seiten, und der gleiche Film kann gleichzeitig in drei Veranstaltungsorten laufen. Ein Screening, das der Crawler verpasst, erscheint in der App gar nicht.

GitHub Copilot arbeitet mit dem Repository über Chat und Agent-Modus in Visual Studio und VS Code sowie über Copilot CLI in einem Terminal. Sein Cloud-Agent auf GitHub verwandelt ein zugewiesenes Issue in einen Pull Request. IronWebScraper durchforstet Webseiten von .NET aus durch eine Unterklasse von WebScraper, die Init und Parse überschreibt. In das Repository eingebrachte Anleitungsdateien tragen die Regeln des Crawlers zu jeder dieser Oberflächen.

Diese Anleitung beschreibt, wie Copilot angewiesen wird, den Crawler zu erstellen und zu pflegen. Der Film-Website-Leitfaden beschreibt die Listenseite, die Detailseite und das MetaData-Muster, dem der Crawler folgt. Jeder hier beschriebene Crawl zielt auf eine Testseite, die auf der lokalen Maschine bereitgestellt wird, niemals auf die Live-Website eines Kinos.

Schnellstart
NuGetMit NuGet installieren

PM > Install-Package IronWebScraper

Installieren Sie IronWebScraper, indem Sie den obigen Befehl in der NuGet Packet Manager-Konsole ausführen, oder suchen Sie das Paket im NuGet Paket Manager.

Öffnen Sie ein Terminal im Stammverzeichnis des Repositorys, starten Sie Copilot CLI und geben Sie die Eingabeaufforderung ein. Die @-Erwähnungen hängen die benannten Dateien in Copilot CLI an, und in Visual Studio nimmt Copilot Chat stattdessen #-Referenzen.

Build the showtimes crawler in @src/Showtimes.Scraper/ShowtimeScraper.cs.
It collects every screening from the cinema test site at http://localhost:5447/.
Directory.Packages.props already pins IronWebScraper 2026.10.1.

The crawler should do this:
- Start at the site's start page and follow each venue's pages, page 2 included.
- Write one line per screening to out/showtimes.jsonl, using the Screening class.
- Fill the venue-page fields as @docs/output-format.md describes.
- Leave the film-page fields empty for now.

Then do these steps in order:
1. Add a crawl command to @src/Showtimes.Cli/Program.cs that takes --site <url> and --out <path>.
2. Run dotnet build.
3. In the repo root, run crawl --site http://localhost:5447/ --out out/showtimes.jsonl.

Tell me how many screenings each venue has.
Text

Die Aufforderung benennt keinen Selektor, da in docs/output-format.md das Quellenelement jedes Feldes aufgelistet ist.

Setzen Sie IRONWEBSCRAPER_LICENSE_KEY in der Umgebung, in der Copilot läuft, und lassen Sie das Programm es in License.LicenseKey kopieren. Der Hub-Leitfaden benennt die Variablen, die IronWebScraper selbst liest, und der Lizenzschlüssel-Leitfaden listet die anderen unterstützten Standorte.



Wie legen Sie IronWebScraper-Konventionen für Copilot fest?

Platzieren Sie die projektweiten Regeln in .github/copilot-instructions.md. Die Supportreferenz von GitHub listet diese Datei für Copilot Chat in Visual Studio, VS Code und den JetBrains IDEs sowie für den Cloud-Agenten und die Copilot-Codeüberprüfung auf. Copilot CLI liest sie am selben Ort.

This repo holds the showtimes crawler, which gathers cinema screenings into one file.
Follow these rules in every change:
- Use IronWebScraper for all crawling and HTML parsing, never HttpClient.
- Don't add AngleSharp, HtmlAgilityPack or another scraping package.
- Change the IronWebScraper version in Directory.Packages.props only in an upgrade task.
- The showtimes crawler and its tests read IRONWEBSCRAPER_LICENSE_KEY into License.LicenseKey.
- IronWebScraper won't read that variable name on its own, so set the key before Start.
- Keep the key out of all output, logs included.
- Don't list environment variables.
- Crawl only the site a task names, which is http://localhost:5447/ in development.
- Tests crawl TestData/site through a local HTTP listener and never touch that address.
- Keep RateLimitPerHost at one second.
- Write records with WebScraper.Scrape, not with a JSON writer of your own.
- Treat docs/output-format.md as the contract for out/showtimes.jsonl.
- If the contract looks wrong, tell me and leave the file alone.
- Read the IronWebScraper docs for agents at https://ironsoftware.com/webscraper/csharp/llms.txt
Markdown

Die Regel zur Begrenzung der Anfragerate setzt das Intervall zwischen den Anfragen in jedem Crawl fest. Mit dem Standard-RateLimitPerHost von 50 Millisekunden erreichte ein Probe-Crawl die Testseite mit Anfragen, die 0,048 bis 0,064 Sekunden auseinander lagen. Mit einer Sekunde betrugen die Lücken 1,02 bis 1,10 Sekunden.

Wie geben Sie dem Crawler eigene Regeln?

Eine Datei wie .github/instructions/scraper.instructions.md enthält Regeln für die Teile des Baumes, die ihre applyTo-Muster benennen, hier der Crawler und seine Tests. Laut der Dokumentation von GitHub enthält Copilot CLI die Datei nur, wenn sie an einer Datei arbeitet, die mit einem dieser Muster übereinstimmt.

---
applyTo: "src/**/*,tests/**/*"
---

The crawler and its tests rely on IronWebScraper 2026.10.1, which behaves like this:
- A crawl fetches each URL once per parse method.
- A second Request for that URL with the same parse method is dropped, even with new MetaData.
- MetaData passes the parse method the same object instance, not a copy.
- When a parse method throws, the page is fetched and parsed again, up to 8 more times.
- Each retry repeats every Scrape call made before the throw.
- A URL that answers 500 is requested 9 times, and its parse method is never called.
- Css throws an XPathException on a selector with two > combinators, such as div > p > a.
- TextContentClean returns entities such as &eacute; unchanged.

Follow these rules in this code:
- Request each film page once and copy its details onto every screening of that film.
- Decode text from TextContentClean with WebUtility.HtmlDecode.
Markdown

Jedes in dieser Datei aufgeführte Verhalten stammt von einer Probe gegen die Testseite.

Was macht IronWebScraper mit einer Filmseite, zu der drei Veranstaltungsorte verlinken?

Die Veranstaltungsseiten verlinken jeden Film auf eine Filmseite, sodass die drei Veranstaltungsorte, die Harbour Lights zeigen, auf dieselbe URL verlinken.

Fill in the film-page fields on every line the crawler writes.
They are RuntimeMinutes, Genres and Rating, and @docs/output-format.md gives the source of each.
Follow this guide for the detail requests:
https://ironsoftware.com/webscraper/csharp/how-to/scraping-from-an-online-movie-website/

Two things about the test site matter here:
- Harbour Lights plays at all three venues, and all 6 of its screenings need the runtime.
- The Night Train to Arles page answers 500 on purpose.

Keep the Night Train to Arles screening, with its film fields empty.
Then run the crawl again with --out out/details/showtimes.jsonl.
Tell me how many lines got a runtime, and which film's lines didn't.
Text

IronWebScraper ruft eine URL einmal pro Parse-Methode für den gesamten Crawl ab. Bei der Probe forderten drei Veranstaltungsorte die Harbour Lights-Seite mit der gleichen Parse-Methode und unterschiedlichen MetaData an, und die Seite erhielt eine Anfrage. Die Parse-Methode sah nur das MetaData des ersten Veranstaltungsorts, sodass die Vorführungen der beiden anderen Veranstaltungsorte keine Details erhielten. Die gleiche URL, die mit einer anderen Parse-Methode angefordert wurde, wurde erneut abgerufen, ebenso wie die Seite mit einer anderen Abfragestring.

Der Detail-Parser des Filmleitfadens versagt bei der Markup des Leitfadens selbst. Sein Genre-Selektor div > p > a und sein Schauspieler-Selektor div > p:nth-child(2) > a warfen beide eine XPathException, da IronWebScraper einen Selektor mit zwei Kind-Kombinatoren ablehnt. Selektoren mit einem Kombinator, wie div.mvici-left > p, funktionierten.

IronWebScraper versucht erneut, eine Seite aufzurufen, deren Parse-Methode wirft, wie es eine Seite erneut versucht, die nicht geladen werden kann. Bei der Probe wurde die Parse-Methode 9 Mal für eine Seite aufgerufen, und ein Scrape-Aufruf vor dem Wurf schrieb 9 Zeilen.

Ausgabe

In einem Browser zeigt die Veranstaltungsseite von Riverside ihren Namen mit einem Akzentbuchstaben. Der Seitenquellcode schreibt diesen Buchstaben als benannte HTML-Entität, und TextContentClean gab die Entität unverändert zurück.

Riverside Veranstaltungsseite der lokalen Testseite mit drei Filmen und deren Vorführzeiten

Seite 1 der Riverside-Veranstaltung auf der lokalen Testseite, aufgenommen in Microsoft Edge. Alle Filme und Veranstaltungsorte auf der Seite sind frei erfunden.

Sieben Zeilen der Showtimes JSONL-Datei mit Harbour Lights an drei Veranstaltungsorten und Nachtzug nach Arles mit leeren Filminformationen

Die Harbour Lights und Nachtzug nach Arles-Linien von out/details/showtimes.jsonl, wie sie der zweite Prompt schrieb, mit ihren Zeilennummern in der Datei.

Wie testen Sie den Crawler ohne die Live-Seite?

Verwenden Sie Shift+Tab, um in den Planmodus von Copilot CLI zu wechseln, und geben Sie diese Eingabeaufforderung ein.

Plan a new xUnit project, tests/Showtimes.Tests, listed in Showtimes.slnx.
Show me the plan, and don't write code until I say go.

The tests' local listener must answer 500 for /film/night-train-to-arles-20790/, like the test site.

Each test runs ShowtimeScraper and checks one of these:
- Northgate Picturehouse has 10 screenings, and the other two venues have 7 each.
- The Riverside venue name has no HTML entity left in it.
- All 6 Harbour Lights screenings have a RuntimeMinutes of 112.
- The Night Train to Arles screening is still there, with a null RuntimeMinutes.

After my go, write the tests and rerun dotnet test until every one passes.
Then give me the number that pass.
Text

Die robots.txt in TestData/site hat keinen Einfluss auf einen Test-Crawl. IronWebScraper fordert robots.txt ohne den Port der Start-URL an, sodass ein Listener auf einem zufälligen Port diese Regeln nie bereitstellt. Mit einem Listener auf Port 80 las ein Probe-Crawl sie und übersprang die nicht erlaubte /booking/Seite. Der Claude Code-Leitfaden behandelt dieses Verhalten vollständig.

Warum fehlt bei einigen Läufen ein Veranstaltungsort?

In diesem Szenario fordert das Werkzeug eines Teammitglieds tools/VenueCheck die drei Veranstaltungsseiten vor dem nächtlichen Crawl an und meldet jeden Veranstaltungsort, der nicht antwortet.

tools/VenueCheck reports a venue as DOWN on some runs, though the site is up.
It checks the three venue pages listed in tools/VenueCheck/venues.json.
Find out why and fix it.

Before you fix anything, do these steps in order:
1. Run it five times against http://localhost:5447/ and note which venues came back DOWN.
2. Turn on LogLevel.All and find out what IronWebScraper does with the Request calls in Init.
3. Tell me the cause.

Keep the fix within these limits:
- Change files in tools/VenueCheck only.
- Add no sleep, and keep a single call to Start.

Then run it five more times and show me the results.
Text

IronWebScraper behält nicht jede Anfrage, die in Init gemacht wurde. Mit drei Veranstaltungs-URLs, die von Init angefordert wurden, rief der Crawl alle drei in 1 von 26 Probe-Läufen und ein oder zwei in den anderen 25 ab. Diese 26 Läufe kombinieren 18 Läufe eines Probe-Crawlers mit 8 Läufen des tools/VenueCheck, wie sie vor der Fixierung begangen wurden. Das Protokoll listete drei Anfragen auf und meldete den Crawl als abgeschlossen nach zwei, und die übersprungenen URLs erreichten nie den Server. Anfragen, die von einer Parse-Methode getätigt wurden, gingen nie verloren. Die erste Veranstaltung von Init anzufordern und die anderen beiden von seiner Parse-Methode brachte alle drei Veranstaltungsorte in 8 von 8 Läufen zurück.

Was macht ein Problem aus, auf das der Cloud-Agent reagieren kann?

Laut GitHub gibt ein an Copilot zugewiesenes Issue dem Agent seinen Titel, seine Beschreibung, die bei der Zuweisung vorhandenen Kommentare und alle zu diesem Zeitpunkt angegebenen Anweisungen. Nachträglich hinzugefügte Kommentare erreichen den Agent nicht, sodass der Issue-Body die gesamte Anforderung enthalten muss.

Title: A second crawl must not double out/showtimes.jsonl

Files: src/Showtimes.Scraper and tests/Showtimes.Tests
Versions: net9.0 with IronWebScraper 2026.10.1

Background: IronWebScraper's Scrape appends to the file it writes and never empties it.
Without a cleanup step, a second crawl to the same --out path leaves 48 lines instead of 24.

Expected: after any crawl, the output file holds exactly one line per screening.

Constraint: the crawl command keeps its options.

Acceptance: close the issue once these are true:
- Two crawls in a row leave the same 24 lines, in any order.
- A new test crawls twice into one temp folder and counts the lines.
- dotnet test passes.

Summary: say where the old output gets cleared, and why there.
Markdown

Warum schlagen die Tests des Cloud-Agenten bei einem IronWebScraper-Projekt fehl?

Die Tests, die durchsuchen, benötigen den Lizenzschlüssel in der Umgebung des Cloud-Agenten. GitHubs Dokumentation beschreibt diese Umgebung standardmäßig als Ubuntu Linux, und ein copilot-setup-steps-Job in .github/workflows/copilot-setup-steps.yml kann sie vorbereiten. Der Job läuft in GitHub Actions, bevor Copilot zu arbeiten beginnt, und der Workflow wird nicht ausgelöst, es sei denn, die Datei befindet sich auf dem Standardzweig. Wenn ein Einrichtungsschritt fehlschlägt, überspringt Copilot die verbleibenden Einrichtungsschritte und beginnt in seiner Umgebung zu arbeiten, wie sie ist.

Create the cloud agent's setup workflow in .github/workflows/copilot-setup-steps.yml.
Call its job copilot-setup-steps, because GitHub skips a job with any other name.

The job needs these settings:
- The runner is ubuntu-latest.
- The workflow token has contents: read and nothing else.
- workflow_dispatch triggers it, and so does a pull request that edits the file.

Its steps go in this order:
1. Check out the code.
2. Install .NET 9.
3. Run dotnet restore, then dotnet build -c Release.
4. Look for the license key.

The key is IRONWEBSCRAPER_LICENSE_KEY, saved as an Agents secret.
The job gets it as an environment variable already, so skip the secrets context.

When the key is missing, the last step behaves like this:
- On pull_request or workflow_dispatch, it logs a warning and passes.
- On any other event, it fails with an error naming the secret.

Show me the finished YAML, and don't try to run the workflow.
Text

Speichern Sie den Schlüssel als Agenten-Geheimnis: Laut GitHub hat der Cloud-Agent keinen Zugriff auf Actions-, Codespaces- oder Dependabot-Geheimnisse. Öffnen Sie in den Einstellungen des Repositories 'Secrets und Variablen' im Abschnitt 'Sicherheit', wählen Sie 'Agents' aus und fügen Sie IRONWEBSCRAPER_LICENSE_KEY auf der 'Secrets'-Registerkarte hinzu. GitHub erklärt, dass diese Geheimnisse "als Umgebungsvariablen für Copilot offengelegt werden" und von Skripten und Tools verwendet werden können, die Copilot ausführt, "einschließlich in Ihrem copilot-setup-steps.yml-Workflow." Die Dokumentation besagt nicht, dass ein Workflow-Schritt eins ohne ein env-Mapping liest, was der obige Prompt annimmt.

Was sollten Sie prüfen, bevor Sie zusammenführen?

Führen Sie die Überprüfung als separaten copilot -p-Befehl außerhalb der Sitzung durch, die den Code geschrieben hat.

/review the changes on this branch compared with main.

Check the code against these three files:
- .github/copilot-instructions.md
- .github/instructions/scraper.instructions.md
- IronWebScraper.xml in the IronWebScraper package of the NuGet cache

Also look for two patterns that neither instructions file covers:
- an Init method that calls Request more than once
- a crawl that starts with an old output file still in place

List every mismatch you find, or say that nothing came up.
Don't change any file.
Text

Was haben die Aufforderungen in einem realen Lauf erzeugt?

Die sieben Prompts liefen unbeaufsichtigt in Copilot CLI gegen ein Vorführzeiten-Repository und die für diesen Leitfaden erstellte lokale Testseite. Jede untenstehende Zahl stammt aus den Ausgabedateien, dem Anfrageprotokoll der Seite und dem Repository, nicht aus Copilots Antworten.

  • Vor dem Lauf druckte die CLI eine Verwendungszeile und beendete mit Code 1.
  • Nach dem ersten Prompt hielt out/showtimes.jsonl 24 Vorführungen, 10 im Northgate Picturehouse und 7 an jedem der anderen beiden Veranstaltungsorte.
  • Im Crawl des zweiten Prompts erhielt jede Filmseite eine Anfrage, außer Nachtzug nach Arles, der 9 Anfragen erhielt und jeweils 500 antwortete.
  • Die Datei aus dem zweiten Prompt enthielt 24 Zeilen, und 23 davon hatten eine Laufzeit.
  • Die Vorführung des Nachtzugs nach Arles blieb mit leerer Laufzeit, Genre-Liste und Bewertung.
  • Alle 6 Vorführungen von Harbour Lights, an drei Veranstaltungsorten, hatten die 112-minütige Laufzeit.
  • Im Planmodus schrieb Copilot einen Plan, änderte keine Datei und wartete auf die Bestätigungsnachricht.
  • Die 4 Tests aus dem dritten Prompt bestanden ohne eine einzige Anfrage an die Testseite.
  • Vor der Behebung meldete VenueCheck eine oder zwei Veranstaltungsorte als ausgefallen in 4 von 5 Überprüfungsläufen.
  • Die Behebung ließ einen Request-Aufruf in Init und forderte jede nächste Veranstaltung von der Parse-Methode an.
  • Alle drei Veranstaltungsorte antworteten in 10 von 10 Läufen der behobenen Überprüfung.
  • Mit der ersten Veranstaltungsortantwort 500 meldete das behobene VenueCheck alle drei Veranstaltungsorte als ausgefallen in 3 von 3 Läufen.
  • Die anderen beiden Veranstaltungsseiten erhielten in diesen Läufen keine Anfrage.
  • Die Issuesitzung fügte den neuen Test hinzu und ließ den Crawler unverändert, weil seine Init seit dem ersten Prompt alte Ausgaben gelöscht hatte.
  • Alle 5 Tests im finalen Repository bestanden mit gesetztem Schlüssel und scheiterten ohne ihn.
  • Die Überprüfungssitzung meldete keine Übereinstimmung und änderte keine Datei. Keines der beiden Muster, nach denen sie suchte, blieb nach den früheren Prompts, sodass dieser Lauf nicht testete, ob die Überprüfung sie findet.
  • Einige Schritte liefen anders als die Seite. Der Problemkörper ging zu einer neuen Copilot CLI-Sitzung, da das Test-Repository kein GitHub-Remote hat. Das Setup-Workflow wurde geschrieben, aber aus demselben Grund nicht ausgeführt.

Cursor schließt auch festgelegte Regeln auf die benannten Pfade ein, und Claude Code hält auch einen Plan zur Genehmigung, bevor es das Projekt bearbeitet. Das freigegebene Laufprotokoll listet die Copilot CLI-Version, das Auto-ausgewählte Modell, die Dauer und die Testmaschine auf.


Fehlerbehebung


Fragen?

Wenn Sie Fragen haben, wenden Sie sich an support@ironsoftware.com.

Curtis Chau hat einen Bachelor-Abschluss in Informatik von der Carleton University und ist spezialisiert auf Frontend-Entwicklung mit Expertise in Node.js, TypeScript, JavaScript und React. Leidenschaftlich widmet er sich der Erstellung intuitiver und ästhetisch ansprechender Benutzerschnittstellen und arbeitet gerne mit modernen Frameworks sowie der Erstellung gut strukturierter, optisch ansprechender Handbücher.

Mehr lesen

Bereit loszulegen?

NuGet-Downloads 150,061Version:2026.11gerade veröffentlicht