Jak używać IronWebScraper z Claude Code

Curtis Chau
Curtis Chau
Zaktualizowano: 26 października 2026

Pisanie skryptu jest łatwe i łatwo popełnić błędy. Zła wersja działa na stronie przed użytkownikiem, ignoruje hosta, na którym jest ustawiona, i przestaje być prawidłowa, gdy tylko zmieni się układ. Zespół marketingowy, który planuje przenieść firmowego bloga na nową platformę, najpierw potrzebuje inwentaryzacji każdego opublikowanego wpisu, z adresem, tytułem, autorem, datą publikacji, kategoriami, tagami, liczbą słów i obrazami każdego. Archiwum obejmuje pięć lat i dwa motywy strony, a jeden post jest zlinkowany z żadnej strony archiwum. Anthropic stworzyło Claude Code jako agenta do programowania, dostępnego z wiersza poleceń, w VS Code lub JetBrains, jako aplikacja desktopowa i w przeglądarce. We wszystkich można czytać kod, edytować pliki i wykonywać polecenia, co pasuje do prac crawlera, gdzie każda zmiana selektora jest śledzona przez kolejny bieg i kolejne spojrzenie na wynik.

IronWebScraper opiera się na jednej klasie bazowej. Należy rozszerzyć WebScraper, nadpisać Init, aby zażądać początkowego URL-a i ustawić zasady crawl, a także nadpisać Parse, aby wyciągnąć wartości z każdej odpowiedzi. Kolejka i ograniczanie są już wdrożone, więc agent pisze tylko te części, które zależą od strony. Samouczek bloga pokazuje schemat na blogu. Ten przewodnik wyjaśnia, jak skonfigurować Claude Code, aby zbudować inwentaryzację treści z czterema przetestowanymi promptami, a także rejestruje zachowania IronWebScraper, od których każdy prompt zależy.

Anthropic dokumentuje Claude Fable 5.1 i Claude Fable 5 jako najbardziej zaawansowane modele w Claude Code, nadające się do zadań większych niż jedno posiedzenie. Polecenie /model zmienia model bez kończenia sesji.

Należy nazwać pola, plik wyjściowy i ograniczenia crawl w każdym prompcie, a resztę zostawić agencji.

Szybki start
NuGetInstalacja z NuGet

PM > Install-Package IronWebScraper

Zainstaluj IronWebScraper, wykonując powyższe polecenie w konsoli Menedżera Pakietów NuGet lub wyszukaj pakiet w Menedżerze Pakietów NuGet.

Otworzyć terminal w folderze projektu, uruchomić claude i wpisać /model opusplan przed pierwszym promptem. Test obsługiwał kopię firmowego bloga na porcie 5437 lokalnej maszyny, a każdy prompt podaje ten adres.

Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.

The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:

- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.

After setting the key, Program.cs does these things in order:

1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.

Run it once and show me the console output.
Text


Co robi Claude Code w projekcie crawlera .NET?

Agent pisze podklasę WebScraper i uruchamia ją przeciwko testowemu blogowi. Programista decyduje, która strona jest przeszukiwana, jak szybko i które strony są wykluczone.

Zasady projektowe w następnych sekcjach zabraniają ręcznie pisanej pętli żądań i podają nazwę pakietu i jego wersję, więc agent nie wybiera pakietu tylko na podstawie nazwy.

Jak skonfigurować Claude Code?

Zainstalować Claude Code i zalogować się, korzystając z szybkiego startu Anthropic. Konfiguracja jest zakończona, gdy claude uruchomi się w terminalu i odpowie.

Jak skonfigurować projekt, w którym Claude Code może pracować?

Najpierw dać agentowi prawdziwy cel. Fixture testowe to aplikacja konsolowa .NET 9 bez odniesienia do pakietu, a blog działa jako lokalna strona z 26 postami. Posty od 2023 roku używają aktualnego motywu, a dziewięć starszych postów używa poprzedniego. Archiwum linkuje jeden post przez przekierowanie, jeden post odpowiada błędem serwera, jeden starszy post jest wysyłany z kodowaniem windows-1252, a robots.txt blokuje folder szkiców, do którego prowadzi druga strona archiwum.

CLAUDE.md jest ładowany na początku każdej sesji, więc zasady tam zapisane stosują się do każdego późniejszego promptu. Drugi prompt tworzy plik i recenzenta tylko do odczytu dla kodu crawlera.

Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:

- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.

Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.

Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:

- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?

I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Text

Dla przewodników poza listą członków, IronWebScraper wymienia swoją dokumentację dla agentów w llms.txt.

Które zasady crawl IronWebScraper należą do CLAUDE.md?

Każda linia pochodzi z sondy, która przeszukiwała lokalny blog z kluczem licencyjnym i bez niego, i porównywała log żądań strony z tym, co otrzymał Parse. Wkleić blok w sekcji Crawling.

These crawl rules were measured on IronWebScraper 2026.10.1:

- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Markdown

Jak IronWebScraper stosuje robots.txt do lokalnej kopii strony?

ObeyRobotsDotTxt jest domyślnie włączony, ale IronWebScraper zażądał robots.txt z http://localhost/robots.txt, na porcie 80, niezależnie od portu początkowego URL-a. Na testowym blogu nigdy nie poprosił o robots.txt i pobrał niedozwolony szkic. Za pomocą nic nie nasłuchującego na porcie 80, pierwsze żądanie dotarło do bloga 4,5 sekundy po rozpoczęciu procesu sondy, a ustawienie ObeyRobotsDotTxt na false sprowadziło ten czas do 0,5 sekundy.

Druga sonda obsługiwała również zasady bloga na porcie 80. Bez ustawionego user agenta, Request rzuciło ArgumentException z komunikatem "Nieprawidłowy ciąg user-agent" przeciwko tym zasadom, które obejmują linię Crawl-delay. Z HttpIdentity, który go ustawił, szkic pozostał nieżądany, a żądania zachowywały jednosekundowe opóźnienie crawl. BannedUrls glob takie jak */blog/drafts/* utrzymało szkic poza sondą.

Które strony osiągają Parse i ile razy każda jest zażądana?

Przy domyślnych ustawieniach sonda crawl wysłała 43 żądania do testowego bloga. URL, który kod zażądał dwukrotnie z tą samą metodą parse, został pobrany raz. Przekierowanie i jego cel liczono jako dwa URL-e, więc przekierowany post został pobrany dwukrotnie i osiągnął Parse dwukrotnie z tym samym FinalUrl.

Post, który odpowiedział 500, otrzymał 9 żądań przy domyślnym HttpRetryAttempts wynoszącym 8, a Parse nigdy dla niego nie działało. Crawler, który musi wypisać swoje niepowodzenia, porównuje zatem linki, które ustawił w kolejce, z wierszami, które napisał.

RateLimitPerHost rozstawia początek każdego żądania do hosta. Przy 1 000 milisekund przerwy mierzyły 1,03 do 1,06 sekund, ale post, który zajmował 2,5 sekundy do odpowiedzi, zachodził na dwa późniejsze żądania, ponieważ OpenConnectionLimitPerHost ma domyślnie 2. IronWebScraper wysyłał również żądania poza kolejnością stron, więc crawler, który wymaga uporządkowanego wyjścia, sortuje wiersze przed ich zapisaniem.

Co pisze IronWebScraper w plikach wyjściowych?

Scrape dopisuje do swojego pliku JSON Lines, a drugi bieg do tego samego folderu roboczego podwoił plik sondy z 27 linii do 54. ScrapeUnique usuwa pierwszy zapisany rekord, który każdy skryptowca pisze do pliku, a pierwszy napisany post był brakujący z unikalnego pliku we wszystkich 14 prowadzonych przebiegach sond.

Post windows-1252 stracił swoje akcenty. Response.CharSet zgłosiło windows-1252, jednak tekst został zdekodowany jako UTF-8, a imię autora dotarło z zastępczymi znakami zamiast liter z akcentami. Posty tego samego autora wysłane jako UTF-8 zdekodowały się poprawnie. Rejestrowanie CodePagesEncodingProvider z Encoding.RegisterProvider przed Start naprawiło dekodowanie.

Post windows-1252 wygląda w przeglądarce w ten sposób. Inwentaryzacja musi zachować akcenty w imieniu autora.

Post windows-1252 na lokalnym blogu testowym z imieniem autora z akcentem

Post windows-1252 na lokalnym blogu testowym, jak wyświetliło go Chrome. Strona i jej posty zostały zbudowane dla testu.

Jak sprowokować kod IronWebScraper, który kompiluje się?

Zażądać crawlera i jego zasad wyjścia w jednym prompcie i pozwolić trybowi planu ustalić projekt przed wszelkimi zmianami w plikach. Przejść w tryb planu z Shift+Tab przed wysłaniem podpowiedzi. Z wybranym opusplan Opus pisze plan, a Sonnet go realizuje, gdy plan zostanie zatwierdzony.

Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:

- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.

Write out/content-inventory.csv with one row per post, in this shape:

- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.

Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.

Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Text

Dwie części prompte chronią inwentaryzację.

  1. Jeden wiersz na zaadresowany adres: inwentaryzacja zasila migrację, a post wymieniony pod dwoma adresami zostałby przeniesiony dwukrotnie.
  2. Niepowodzenia w osobnym pliku: bez niego, post brakujący w inwentaryzacji nie może być odróżniony od postu, który nigdy nie został opublikowany.
Porady: Zatwierdź plan tylko, gdy zasady robots.txt staną się ustawieniami BannedUrls i RateLimitPerHost, a żaden wiersz nie zostanie zapisany za pomocą ScrapeUnique.

Co się dzieje, gdy blog zmienia szablon posta?

Test przełączył lokalny blog na nowy szablon posta między trzecim a czwartym promptem. Strony archiwalne i starsze posty zachowały swoją składnię, a każdy post od 2023 roku przeniósł się na nowe nazwy klas. Ścieżka, która zaczyna się od @ dołącza ten plik do żądania.

The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:

1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.

Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
Text

Co należy zweryfikować, zanim zaufasz wygenerowanemu kodowi crawlera?

Zawiera nastepujace kontrole w przegladzie.

  • Log żądań: policz żądania na stronę, potwierdź, że nic pod niedozwoloną ścieżką nie zostało pobrane i zmierz przerwy między żądaniami.
  • Kompilacja: dotnet build odrzuca członka, który nie istnieje, takich jak poprawiona pisownia Response.RequestlUrl.
  • Próbka wierszy: otworzyć kilka postów z każdego motywu i porównać ich pola z inwentaryzacją, zanim zacznie się migracja.

Dla pełnego zadania IronWebScraper z ustalonymi kryteriami zaliczania, które można powtórzyć, zobacz Przewodnik dla asystentów kodowania AI.

Co wyprodukowały zapytania w rzeczywistym uruchomieniu?

Claude Code uruchomiło cztery prompty w jednej sesji, po kolei, przeciwko lokalnemu blogowi. Blok zasad wszedł do CLAUDE.md przed trzecim promptem. Żaden kod nie został ręcznie edytowany.

  • Przed biegiem w repozytorium znajdował się jednolinijkowy Program.cs i brak odniesienia do pakietu.
  • Program Quickstart wydrukował True dla IsLicensed, policzył 10 kart postów i poprawnie nazwał pierwszy post.
  • CLAUDE.md otrzymał pięć zasad Crawling, a plik subagenta wymienił tylko narzędzia Read, Grep i Glob.
  • Podczas planowania sesja i jej subagenci wysłali 370 żądań curl do bloga, z czego 5 do zablokowanego folderu szkiców.
  • Crawler ustawił ObeyRobotsDotTxt na false, przeczytał sam robots.txt i zamienił jego zasady na ustawienia BannedUrls i RateLimitPerHost.
  • Crawl trzeciego promptu wysłał 38 żądań, wszystkie z agentem użytkownika LarkspurInventory/1.0 i żadnego do folderu szkiców.
  • Mediana przerwy między początkami żądań wynosiła 1,04 sekundy, a dwa krótsze przerwy nastąpiły po robots.txt i przekierowaniu.
  • Nieudany post otrzymał 3 żądania w tym crawlu i był jedynym wpisem w failed-pages.txt.
  • Po trzecim promptu inwentaryzacja zawierała 25 wierszy, a każde pole pasowało do danych bloga w naszym sprawdzeniu.
  • Przekierowany post pojawił się raz, pod swoim ostatecznym adresem, a post brakujący z stron archiwum był obecny.
  • Post windows-1252 zachował imię autora z akcentem, a żadna linia nie zawierała znaku zastępczego.
  • Na nowym szablonie trzeci promptu's crawler napisać 8 wierszy i wymienić 19 nieskutecznych adresów, chociaż jeden post sam zwrócił błąd.
  • Po jednej poprawce w czwartym promptu nowa inwentaryzacja była identyczna bajtowo z kopią sprzed zmiany szablonu.
  • Świeże klony finalnego kodu dały te same 25 wierszy w aktualnym motywie i na nowym szablonie.
  • Bez klucza program zgłaszał niepowodzenie licencjonowania i nie wysłał żadnego żądania do bloga.
  • Klucz licencyjny nie pojawił się w żadnej transkrypcji, pliku sesji, logu czy pliku repozytorium z tego biegu.
  • Niektóre kroki uruchomiono inaczej niż na stronie. Sesja odbyła się bezgłowo, więc wpisana odpowiedź zatwierdziła plan. Zabezpieczenie biegu, które trzymało agenta w obrębie repozytorium, zablokowało cztery wywołania narzędzi, z czego dwa błędnie.

Osiem ostatnich wierszy inwentaryzacji zawiera posty w starym motywie.

Nagłówek i osiem ostatnich wierszy content-inventory.csv z próby.

Nagłówek i osiem ostatnich wierszy content-inventory.csv z próby, reprezentowane jako tekst z pliku. Numery linii to numery pliku.

Przewodnik kursora również planuje agentowi pracę, zanim napisze kod, jak to robi tryb planowania tutaj. ChatGPT Codex Przewodnik trzyma swoje zasady crawl w AGENTS.md, które Codex czyta przed jakąkolwiek pracą, jak to robi ten przewodnik z CLAUDE.md. Wersja Claude Code, modele, czasy i maszyna testowa dla tego uruchomienia sa w dzielonym rekordzie uruchomienia.


Rozwiązywanie problemów


Pytania?

Jeśli są jakiekolwiek pytania, należy skontaktować się z support@ironsoftware.com

Curtis Chau posiada tytuł licencjata z informatyki (Uniwersytet Carleton) i specjalizuje się w front-endowym rozwoju, z ekspertką w Node.js, TypeScript, JavaScript i React. Pasjonuje się tworzeniem intuicyjnych i estetycznie przyjemnych interfejsów użytkownika, Curtis cieszy się pracą z nowoczesnymi frameworkami i tworzeniem dobrze zorganizowanych, atrakcyjnych wizualnie podręczników.

Czytaj więcej

Gotowy, aby rozpocząć?

Pobrania z NuGet 150,061Wersja:2026.11właśnie wydane