Jak korzystać z IronWebScraper z GitHub Copilot
Agregator programów kinowych zbiera projekcje z kilku miejsc do jednego pliku, który aplikacja do list odczytuje każdej nocy. Każda lokalizacja publikuje swój program na własnych stronach, a ten sam film może być wyświetlany w trzech miejscach jednocześnie. Projekcja pominięta w przeszukiwaniu w ogóle nie pojawia się w aplikacji.
GitHub Copilot współpracuje z repozytorium poprzez czat i tryb agenta w Visual Studio i VS Code, oraz poprzez Copilot CLI w terminalu. Jego agent w chmurze na GitHub zamienia przypisane zgłoszenie w żądanie pull. IronWebScraper przeszukuje strony internetowe z .NET poprzez podklasę WebScraper, która nadpisuje Init i Parse. Pliki instrukcji dodane do repozytorium przenoszą zasady przeszukiwania do każdej z tych powierzchni.
Ten przewodnik obejmuje kierowanie Copilot do budowy i utrzymania przeszukiwania. Przewodnik strony filmowej opisuje stronę listy, stronę szczegółową i wzorzec MetaData, który śledzi przeszukiwanie. Każde przeszukiwanie opisane tutaj skierowane jest na stronę testową obsługiwaną na lokalnym komputerze, nigdy na stronę internetową kina na żywo.
Otworzyć terminal w katalogu głównym repozytorium, uruchomić Copilot CLI i przesłać prompt. Wzmianki @ dołączają wymienione pliki do Copilot CLI, a Copilot Chat w Visual Studio przyjmuje zamiast tego odniesienia #.
Build the showtimes crawler in @src/Showtimes.Scraper/ShowtimeScraper.cs.
It collects every screening from the cinema test site at http://localhost:5447/.
Directory.Packages.props already pins IronWebScraper 2026.10.1.
The crawler should do this:
- Start at the site's start page and follow each venue's pages, page 2 included.
- Write one line per screening to out/showtimes.jsonl, using the Screening class.
- Fill the venue-page fields as @docs/output-format.md describes.
- Leave the film-page fields empty for now.
Then do these steps in order:
1. Add a crawl command to @src/Showtimes.Cli/Program.cs that takes --site <url> and --out <path>.
2. Run dotnet build.
3. In the repo root, run crawl --site http://localhost:5447/ --out out/showtimes.jsonl.
Tell me how many screenings each venue has.
Podpowiedź nie zawiera nazwy selektora, ponieważ docs/output-format.md wymienia element źródłowy każdego pola.
Ustaw IRONWEBSCRAPER_LICENSE_KEY w środowisku, w którym działa Copilot, a program skopiuje go do License.LicenseKey. Przewodnik huba wymienia zmienne, które IronWebScraper odczytuje samodzielnie, a przewodnik klucza licencyjnego wymienia inne obsługiwane lokalizacje.
Minimalny proces (5 kroków)
- Pobierz bibliotekę do zbierania danych z sieci w C# z NuGet
- Napisz zasady przeszukiwania w .github/copilot-instructions.md oraz jeden plik instrukcji specyficzny dla ścieżki
- Zażądaj każdą stronę filmu tylko raz i skopiuj jej szczegóły na każdą projekcję tego filmu
- Zażądaj jednej strony startowej z Init, a następnie dodaj do kolejki wszystkie inne strony z metody parsowania
- Przypisać kolejną zmianę do agenta w chmurze jako zgłoszenie i zweryfikować żądanie pull względem dokumentacji API IronWebScraper
Jak ustawić konwencje IronWebScraper dla Copilot?
Umieścić zasady dla całego projektu w .github/copilot-instructions.md. Dokumentacja wsparcia GitHub zawiera ten plik dla Copilot Chat w Visual Studio, VS Code i IDE JetBrains, oraz dla agenta chmury i przeglądu kodu Copilot. Copilot CLI odczytuje go z tej samej lokalizacji.
This repo holds the showtimes crawler, which gathers cinema screenings into one file.
Follow these rules in every change:
- Use IronWebScraper for all crawling and HTML parsing, never HttpClient.
- Don't add AngleSharp, HtmlAgilityPack or another scraping package.
- Change the IronWebScraper version in Directory.Packages.props only in an upgrade task.
- The showtimes crawler and its tests read IRONWEBSCRAPER_LICENSE_KEY into License.LicenseKey.
- IronWebScraper won't read that variable name on its own, so set the key before Start.
- Keep the key out of all output, logs included.
- Don't list environment variables.
- Crawl only the site a task names, which is http://localhost:5447/ in development.
- Tests crawl TestData/site through a local HTTP listener and never touch that address.
- Keep RateLimitPerHost at one second.
- Write records with WebScraper.Scrape, not with a JSON writer of your own.
- Treat docs/output-format.md as the contract for out/showtimes.jsonl.
- If the contract looks wrong, tell me and leave the file alone.
- Read the IronWebScraper docs for agents at https://ironsoftware.com/webscraper/csharp/llms.txt
Zasada limitu szybkości ustawia interwał między żądaniami w każdych przeszukiwaniach. Przy domyślnym RateLimitPerHost równa 50 milisekund, jedno przeszukiwanie próbne dotarło do strony testowej z żądaniami oddzielonymi od 0,048 do 0,064 sekundy. Przy jednej sekundzie, przerwy mierzyły od 1,02 do 1,10 sekundy.
Jak nadać przeszukiwaniu jego własne zasady?
Plik taki jak .github/instructions/scraper.instructions.md zawiera zasady dla części drzewa, których wzorce applyTo nazywają, tutaj przeszukiwania i jego testy. Według dokumentacji GitHub, Copilot CLI zawiera plik tylko wtedy, gdy działa na plikach pasujących do jednego z tych wzorców.
---
applyTo: "src/**/*,tests/**/*"
---
The crawler and its tests rely on IronWebScraper 2026.10.1, which behaves like this:
- A crawl fetches each URL once per parse method.
- A second Request for that URL with the same parse method is dropped, even with new MetaData.
- MetaData passes the parse method the same object instance, not a copy.
- When a parse method throws, the page is fetched and parsed again, up to 8 more times.
- Each retry repeats every Scrape call made before the throw.
- A URL that answers 500 is requested 9 times, and its parse method is never called.
- Css throws an XPathException on a selector with two > combinators, such as div > p > a.
- TextContentClean returns entities such as é unchanged.
Follow these rules in this code:
- Request each film page once and copy its details onto every screening of that film.
- Decode text from TextContentClean with WebUtility.HtmlDecode.
Każde zachowanie wymienione w tym pliku pochodzi z sondy przeciwko stronie testowej.
Co robi IronWebScraper z stroną filmu, do której łączą się trzy lokalizacje?
Strony lokalizacji łączą każdy film z jedną stroną filmu, więc trzy miejsca, które pokazują Harbour Lights, łączą się z tym samym URL.
Fill in the film-page fields on every line the crawler writes.
They are RuntimeMinutes, Genres and Rating, and @docs/output-format.md gives the source of each.
Follow this guide for the detail requests:
https://ironsoftware.com/webscraper/csharp/how-to/scraping-from-an-online-movie-website/
Two things about the test site matter here:
- Harbour Lights plays at all three venues, and all 6 of its screenings need the runtime.
- The Night Train to Arles page answers 500 on purpose.
Keep the Night Train to Arles screening, with its film fields empty.
Then run the crawl again with --out out/details/showtimes.jsonl.
Tell me how many lines got a runtime, and which film's lines didn't.
IronWebScraper pobiera URL raz na metodę parsującą dla całego przeszukiwania. W sondzie trzy lokalizacje zażądały strony Harbour Lights za pomocą tej samej metody parsowania i różnych MetaData, a strona otrzymała jedno żądanie. Metoda parsowania widziała tylko MetaData pierwszej lokalizacji, więc projekcje dwóch pozostałych miejsc nigdy nie otrzymały szczegółów. Ten sam URL zażądany z inną metodą parsującą został pobrany ponownie, podobnie jak strona z innym ciągiem zapytania.
Parser szczegółów przewodnika filmowego nie działa na własnym oznakowaniu przewodnika. Jego selektor gatunku div > p > a oraz selektor aktora div > p:nth-child(2) > a oba rzuciły XPathException, ponieważ IronWebScraper odrzuca selektor z dwoma łącznikami potomnymi. Selektory z jednym łącznikiem, takie jak div.mvici-left > p, działały.
IronWebScraper ponawia próbę strony, której metoda parsowania rzuca wyjątkiem, podobnie jak ponawia próbę strony, która nie udało się załadować. W sondzie metoda parsowania została wywołana 9 razy dla jednej strony, a wywołanie Scrape zrobione przed wyrzuceniem błędu napisało 9 linii.
Wynik
W przeglądarce strona lokalizacji Riverside pokazuje swoją nazwę z akcentowaną literą. Źródło strony zapisuje tę literę jako nazwaną encję HTML, a TextContentClean zwrócił encję niezmienioną.

Strona 1 lokalizacji Riverside na lokalnie testowanej stronie, uchwycone w Microsoft Edge. Wszystkie filmy i lokalizacje na stronie są fikcyjne.

Wiersze Harbour Lights i Night Train to Arles z out/details/showtimes.jsonl, jak napisała je druga podpowiedź, wraz z numerami ich linii w pliku.
Jak przetestować przeszukiwanie bez strony na żywo?
Użyć Shift+Tab, aby przełączyć Copilot CLI na tryb planu, a następnie przesłać ten prompt.
Plan a new xUnit project, tests/Showtimes.Tests, listed in Showtimes.slnx.
Show me the plan, and don't write code until I say go.
The tests' local listener must answer 500 for /film/night-train-to-arles-20790/, like the test site.
Each test runs ShowtimeScraper and checks one of these:
- Northgate Picturehouse has 10 screenings, and the other two venues have 7 each.
- The Riverside venue name has no HTML entity left in it.
- All 6 Harbour Lights screenings have a RuntimeMinutes of 112.
- The Night Train to Arles screening is still there, with a null RuntimeMinutes.
After my go, write the tests and rerun dotnet test until every one passes.
Then give me the number that pass.
robots.txt w TestData/site nie ma żadnego wpływu na przeszukiwanie testowe. IronWebScraper żąda robots.txt bez portu URL początkowego, więc słuchacz na losowym porcie nigdy nie serwuje tych zasad. Ze słuchaczem na porcie 80, przeszukiwanie próbne je odczytało i pominęło niewłaściwą stronę /booking/. Przewodnik Claude Code opisuje to zachowanie w pełni.
Dlaczego lokalizacja znika z niektórych przebiegów?
W tym scenariuszu narzędzia współpracownika/VenueCheck żądają trzech stron lokalizacji przed nocnym przeszukiwaniem i raportują każdą lokalizację, która nie odpowiada.
tools/VenueCheck reports a venue as DOWN on some runs, though the site is up.
It checks the three venue pages listed in tools/VenueCheck/venues.json.
Find out why and fix it.
Before you fix anything, do these steps in order:
1. Run it five times against http://localhost:5447/ and note which venues came back DOWN.
2. Turn on LogLevel.All and find out what IronWebScraper does with the Request calls in Init.
3. Tell me the cause.
Keep the fix within these limits:
- Change files in tools/VenueCheck only.
- Add no sleep, and keep a single call to Start.
Then run it five more times and show me the results.
IronWebScraper nie przechowuje każdego żądania wykonanego w Init. Z trzema URL lokalizacji zażądanymi z Init, przeszukiwanie pobierało wszystkie trzy w jednym z 26 próbnych przebiegów i jedno lub dwa w pozostałych 25. Te 26 przebiegów łączy 18 przebiegów próbnego przeszukiwania z 8 przebiegami narzędzi/VenueCheck, jak zapisano przed wprowadzeniem poprawek. Log wymienił trzy żądania i zgłosił zakończenie przeszukiwania po dwóch, a pominięte URL nigdy nie dotarły do serwera. Żądania wykonane z metody parsującej nigdy nie były zgubione. Zgłaszanie pierwszej lokalizacji z Init i dwóch pozostałych z jej metody parsującej zwróciło wszystkie trzy lokalizacje w 8 z 8 przebiegów.
Co sprawia, że temat jest działaniem, które agent chmurowy może realizować?
Według GitHub, zgłoszenie przypisane do Copilot przekazuje agentowi jego tytuł, jego opis, komentarze obecne przy przypisaniu oraz wszelkie instrukcje podane w tym momencie. Komentarze dodane później nie docierają do agenta, więc ciało zgłoszenia musi zawierać całe żądanie.
Title: A second crawl must not double out/showtimes.jsonl
Files: src/Showtimes.Scraper and tests/Showtimes.Tests
Versions: net9.0 with IronWebScraper 2026.10.1
Background: IronWebScraper's Scrape appends to the file it writes and never empties it.
Without a cleanup step, a second crawl to the same --out path leaves 48 lines instead of 24.
Expected: after any crawl, the output file holds exactly one line per screening.
Constraint: the crawl command keeps its options.
Acceptance: close the issue once these are true:
- Two crawls in a row leave the same 24 lines, in any order.
- A new test crawls twice into one temp folder and counts the lines.
- dotnet test passes.
Summary: say where the old output gets cleared, and why there.
Dlaczego testy agenta w chmurze nie działają w projekcie IronWebScraper?
Testy, które przeszukują, potrzebują klucza licencyjnego w środowisku agenta w chmurze. Dokumentacja GitHub opisuje to środowisko jako domyślnie Ubuntu Linux, a zadanie copilot-setup-steps w .github/workflows/copilot-setup-steps.yml może je przygotować. Zadanie uruchamia się w GitHub Actions zanim Copilot zacznie działać, i workflow nie uruchamia się, chyba że plik znajduje się na domyślnej gałęzi. Gdy krok ustawienia się nie powiedzie, Copilot pomija pozostałe kroki ustawienia i zaczyna działać w swoim środowisku takim, jakie jest.
Create the cloud agent's setup workflow in .github/workflows/copilot-setup-steps.yml.
Call its job copilot-setup-steps, because GitHub skips a job with any other name.
The job needs these settings:
- The runner is ubuntu-latest.
- The workflow token has contents: read and nothing else.
- workflow_dispatch triggers it, and so does a pull request that edits the file.
Its steps go in this order:
1. Check out the code.
2. Install .NET 9.
3. Run dotnet restore, then dotnet build -c Release.
4. Look for the license key.
The key is IRONWEBSCRAPER_LICENSE_KEY, saved as an Agents secret.
The job gets it as an environment variable already, so skip the secrets context.
When the key is missing, the last step behaves like this:
- On pull_request or workflow_dispatch, it logs a warning and passes.
- On any other event, it fails with an error naming the secret.
Show me the finished YAML, and don't try to run the workflow.
Zapisanie klucza jako tajemnicy Agentów: według GitHub, agent w chmurze nie ma dostępu do tajemnic Actions, Codespaces ani Dependabot. W ustawieniach repozytorium, otworzyć Tajemnice i zmienne w sekcji Zabezpieczeń, wybrać Agenty i dodać IRONWEBSCRAPER_LICENSE_KEY na karcie Tajemnice. GitHub stwierdza, że te tajemnice są „udostępnione Copilot jako zmienne środowiskowe” i mogą być używane przez skrypty i narzędzia, które uruchamia Copilot, „w tym przez swój workflow copilot-setup-steps.yml”. Dokumentacja nie mówi, że krok workflow odczytuje jedną bez mapowania env, co zakłada powyższa podpowiedź.
Co należy sprawdzić przed scaleniem?
Uruchomić przegląd jako osobne polecenie copilot -p, poza sesją, która napisała kod.
/review the changes on this branch compared with main.
Check the code against these three files:
- .github/copilot-instructions.md
- .github/instructions/scraper.instructions.md
- IronWebScraper.xml in the IronWebScraper package of the NuGet cache
Also look for two patterns that neither instructions file covers:
- an Init method that calls Request more than once
- a crawl that starts with an old output file still in place
List every mismatch you find, or say that nothing came up.
Don't change any file.
Co wyprodukowały zapytania w rzeczywistym uruchomieniu?
Siedem podpowiedzi uruchomiło się bez nadzoru w Copilot CLI przeciwko repozytorium czasów projekcji oraz lokalnej stronie testowej stworzonej dla tego przewodnika. Każda figura poniżej pochodzi z plików wyjściowych, dziennika żądań strony i repozytorium, nie z odpowiedzi Copilot.
- Przed uruchomieniem, CLI wydrukowało linię użycia i zamknęło się z kodem 1.
- Po pierwszej podpowiedzi, out/showtimes.jsonl zawierał 24 projekcje, 10 w Northgate Picturehouse i po 7 w każdej z pozostałych dwóch lokalizacjach.
- W przeszukiwaniu drugiej podpowiedzi, każda strona filmu otrzymała jedno żądanie, z wyjątkiem Night Train to Arles, która otrzymała 9 i na każde odpowiedziała 500.
- Plik z drugiej podpowiedzi miał 24 wiersze, a 23 z nich miały czas trwania.
- Projekcja Night Train to Arles pozostała, z pustym czasem trwania, listą gatunków i oceną.
- Wszystkie 6 projekcji Harbour Lights, w trzech lokalizacjach, miało czas trwania 112 minut.
- W trybie planu, Copilot napisał plan, nie zmienił pliku i czekał na wiadomość zatwierdzenia.
- 4 testy z trzeciej podpowiedzi przeszły bez żadnego żądania do strony testowej.
- Przed naprawą VenueCheck raportował jedną lub dwie lokalizacje jako nieaktywne w 4 z 5 uruchomień kontroli.
- Poprawka pozostawiła jedno wywołanie żądania w Init i zażądała każdą następną lokalizację z metody parsującej.
- Wszystkie trzy lokalizacje odpowiedziały w 10 z 10 przebiegów poprawionej kontroli.
- Z pierwszą lokalizacją odpowiadającą 500, poprawione VenueCheck raportowało wszystkie trzy lokalizacje jako nieaktywne w 3 z 3 przebiegów.
- Pozostałe dwie strony lokalizacji nie otrzymały żądań w tych uruchomieniach.
- Sesja zgłoszenia dodała nowy test i pozostawiła przeszukiwanie niezmienionym, ponieważ jego Init usunął stare wyniki od pierwszej podpowiedzi.
- Wszystkie 5 testów w końcowym repozytorium przeszło z kluczem ustawionym i nie przeszło bez niego.
- Sesja przeglądu nie zgłosiła żadnej niezgodności i nie zmieniła żadnego pliku. Żaden szablon, którego szukała, nie pozostał po wcześniejszych podpowiedziach, więc ten uruchomienie nie testowało, czy przegląd je znajdzie.
- Niektóre kroki uruchomiono inaczej niż na stronie. Ciało zgłoszenia poszło do nowej sesji Copilot CLI, ponieważ testowe repozytorium nie ma zdalnego GitHuba. Przepływ konfiguracji został napisany, ale nie uruchomiono, z tego samego powodu.
Cursor również obejmuje zasady przypisane do ścieżek, które nazywają, a Claude Code również trzyma plan na zatwierdzenie przed edycją projektu. Wspólny zapis uruchomienia wymienia wydanie Copilot CLI, model Auto wybrany, czas trwania i maszynę testową.
Rozwiązywanie problemów
- Jak przeszukiwać strony internetowe z filmami dla wzorca strony listy i strony szczegółowej z
MetaData - Zastosowanie kluczy licencyjnych dla przeszukiwania, które rzuca wyjątek dotyczący licencjonowania na
Start - Bezpieczeństwo wątku dla połączeń i limitów szybkości przeszukiwania
Pytania?
Jeśli są jakiekolwiek pytania, należy skontaktować się z support@ironsoftware.com
Curtis Chau posiada tytuł licencjata z informatyki (Uniwersytet Carleton) i specjalizuje się w front-endowym rozwoju, z ekspertką w Node.js, TypeScript, JavaScript i React. Pasjonuje się tworzeniem intuicyjnych i estetycznie przyjemnych interfejsów użytkownika, Curtis cieszy się pracą z nowoczesnymi frameworkami i tworzeniem dobrze zorganizowanych, atrakcyjnych wizualnie podręczników.