Jak używać IronWebScraper z Curso
Gdy web crawler w C# przechodzi z HttpClient oraz HtmlAgilityPack do IronWebScraper, port, który kolejkował każdą stronę z listą w Init, traci rekordy. IronWebScraper 2026.10.1 może zakończyć takie bazowanie, zanim zostaną zażądane wszystkie zakolejkowane strony. W naszych testach cztery strony z listą zakolejkowane w Init z jednym wywołaniem Request każda, dały trzy, trzy i dwie pobrane strony w trzech podejściach, a wyniki utraciły 10, 10 i 24 z 46 dostawców bez błędu.
Cursor to edytor kodu AI zbudowany na bazie kodu VS, z agentem, który edytuje pliki i wykonuje polecenia. Ten przewodnik korzysta z dwóch jego funkcji, dokumentacji, którą agent czyta, oraz zasad projektu zapisanych w .cursor/rules, aby dokonać migracji crawlera katalogu dostawców zespołu zakupowego. Crawler kopiuje 46 dostawców i ich kontaktowe dane dostępne tylko dla członków z katalogu handlowego do pliku CSV, a przewodnik przenosi go do IronWebScraper bez zmieniania wiersza tego pliku lub przekraczania limitu katalogu wynoszącego 4 żądania na sekundę.
Przewodnik przestrzega zasad ograniczeń oraz funkcji tożsamości zawartych w zaawansowanym samouczku web scrapingu. Każde bazowanie uruchomione było na lokalnej kopii katalogu serwowanej na localhost. Należy zapoznać się z warunkami publicznych stron i uzyskać zgodę przed napisaniem crawlera dla nich.
Szybki startZ otwartym repozytorium HarborDirectory, wkleić ten prompt w nowe okno chatu Agen.
@src/HarborDirectory/ @README.md
Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.
Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.
The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.
The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.
When it builds, run the pages command and show me what it printed.
Nie wklejaj klucza licencyjnego do chatu, ponieważ wklejona treść może pojawić się w pliku źródłowym, w zatwierdzeniu lub dzienniku budowy. IronWebScraper 2026.10.1 ignoruje zmienną środowiskową o nazwie IRONWEBSCRAPER_LICENSE_KEY, więc Program.cs w repozytorium kopiuje tę zmienną do License.LicenseKey. Przewodnik klucz licencyjny wymienia miejsca, w których można przechowywać klucz.
Minimalny proces (5 kroków)
- Pobierz bibliotekę do zbierania danych z sieci w C# z NuGet
- Dodaj zasadę projektu pod .cursor/rules, która zawiera link do dokumentacji IronWebScraper
- Zarejestruj limit żądań strony i regułę kolejkowania Init w tej zasadzie
- Odniesienie do kodu crawlera i oczekiwanych wyników w każdym żądaniu
- Porównaj każdą operację z dziennikiem żądań strony, następnie potwierdź każdą nazwę członka w dokumentacji API
Jaki model Cursor należy użyć do pracy z IronWebScraper?
Composer to własny agentyczny model Cursor. Wybór modelu oferuje także modele SpaceXAI Grok, które Cursor współtworzył, oraz modele od OpenAI, Anthropic, Google i innych laboratoriów. Poniższe uruchomienie testowe używało Composer 2.5.
Jak przekazać dokumentację IronWebScraper do Curso?
Dołącz link IronWebScraper do llms.txt w żądaniu, lub przechowuj go w zasadzie, którą dzieli zespół. Od października 2026, menu @ Curso załącza pliki, foldery, terminale, czaty, różnice Git i przeglądarkę, więc dokumentacja IronWebScraper dociera do agenta jako link.
Zaawansowany samouczek ustawia RateLimitPerHost w swoich przykładach, ale nie stwierdza wartości domyślnych, i na żadnej stronie nie jest powiedziane, czy dwie scrapers dzielą limit prędkości.
@src/HarborDirectory/Legacy/PoliteHttp.cs
Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?
Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
Jak pisać zasady projektu dla kodu crawlera IronWebScraper?
Reguła projektu to plik .mdc zapisany w .cursor/rules i wersjonowany z repozytorium. Cursor ignoruje zwykły plik .md w tym folderze, ponieważ plik bez nagłówka nie daje mu sposobu na podjęcie decyzji, kiedy załadować regułę.
Poniższa reguła wymienia wzorce plików w globs, oddzielone przecinkami zgodnie z zasadami strony Curso, i ustawia alwaysApply na fałsz. Curso następnie załącza ją, gdy plik poniżej tych ścieżek jest w kontekście. Zapisać jako .cursor/rules/harbor-crawlers.mdc.
---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---
Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Zasady na Init, logowanie i błędne żądania rejestrują zachowanie IronWebScraper, które poniższe sekcje mierzą.
Jak mapują się wywołania HttpClient i HtmlAgilityPack na IronWebScraper?
Stary crawler pobierał każdą stronę samodzielnie i czekał pomiędzy żądaniami. IronWebScraper kolejkuje żądania, rozprasza je na hosty i wywołuje metodę parsowania dla każdej udanej odpowiedzi.
| HttpClient oraz HtmlAgilityPack | IronWebScraper |
|---|---|
Pętla po numerach stron z GetAsync | Request dla strony 1 w Init, następnie link do następnej strony zakolejkowany z Parse |
Task.Delay między żądaniami | RateLimitPerHost, z OpenConnectionLimitPerHost dla równoległych żądań |
DefaultRequestHeaders.UserAgent | UserAgent na HttpIdentity dodanej do Identities |
DefaultRequestHeaders.Authorization z podstawowymi poświadczeniami | NetworkUsername i NetworkPassword na tożsamości, lub HttpIdentity.DefaultHttpRequestHeaders |
| Pętla prób i omyłek, która czeka na Retry-After na 429 i 503 | HttpRetryAttempts |
SelectNodes i SelectSingleNode z XPath | Css lub XPath na Response, które zwracają tablice HtmlNode |
File.WriteAllTextAsync dla CSV | Scrape, co dodaje linie JSON pod WorkingDirectory, lub własny pisarz programu |
Dlaczego portowany crawler przeomija strony z listą?
Przewodnik GitHub Copilot mierzy, jak IronWebScraper odrzuca żądania złożone w Init. W sondach dla tego przewodnika FailedUrls pozostawał na 0 dla pominiętych stron. Przeciążenie Request, które przyjmuje listę URL, pobrało dwie, cztery i trzy z czterech stron z listą w trzech próbach.
Jedno żądanie w Init i każde kolejne żądanie zakolejkowane z metody parsowania pobrało wszystkich 46 dostawców w 8 z 8 prób, dlatego zasada ogranicza Init do strony 1 listy.
Jak IronWebScraper rozmieszcza swoje żądania na jednym hoście?
Nowy WebScraper użył RateLimitPerHost 50 ms, OpenConnectionLimitPerHost wartości 2, MaxHttpConnectionLimit wartości 10, 8 dla HttpRetryAttempts i czasu oczekiwania 20 sekund HttpTimeOut. Z tymi wartościami crawler wysłał 50 żądań katalogowych w odstępach 50 i 88 ms.
Na testowanej stronie, która odmawiała żądań przychodzących zbyt szybko kodem 429 i nagłówkiem Retry-After, domyślne wartości zawiodły. Każdy odrzucony URL był żądany 9 razy w tym samym odstępie, nagłówek Retry-After nie miał znaczenia, a 13 URL zostało porzuconych. Stary crawler honorował Retry-After, więc port opierający się wyłącznie na ponowieniach traci rekordy. RateLimitPerHost wynoszące 500 ms wyprodukowało przerwy od 533 do 563 ms, co utrzymuje jednego scraper w limicie katalogu.
Jak zaplanować i uruchomić migrację?
Nacisnąć Shift+Tab w polu wejściowym czatu, aż zostanie wybrany tryb planowania, a następnie przesłać poniższą prośbę. Cursor zapisuje plan jako edytowalny plik Markdown.
@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv
Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.
The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?
List your assumptions at the end of the plan.
Poprawić wszystkie błędy w planie. Następnie zbudować go z planu lub wrócić do Agenta i wysłać tę prośbę.
@harbor-crawlers
The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.
Then tell me both match counts, how long each run took and how many requests the new run sent.
Wzmianka @harbor-crawlers załącza regułę po nazwie.
Która funkcja Cursor pasuje do każdej zmiany?
Wybrać funkcję na podstawie zakresu zmiany. Tabulator kończy edycję rozpoczętą przez programistę, a wbudowana edycja (Ctrl+K) zmienia wybór, który można opisać jednym zdaniem. Agent obejmuje zmiany w kilku plikach lub prace wymagające przeszukiwania, a Tryb Planowania jest wart uwagi, gdy niepoprawne zmiany kosztują więcej cofnięcia niż napisanie planu. Każde żądanie w tym przewodniku kierowało się do Agenta lub Trybu Planowania.
Kim jest tożsamość, która wysyła każde żądanie?
Każda tożsamość w Identities ma własnego agenta użytkownika, cookies i login. Bez tożsamości, IronWebScraper nie wysłał w ogóle nagłówka User-Agent. Z kilkoma tożsamościami, wybrał jedną losowo dla każdego żądania i dla każdej próby. Scraper posiadający tożsamość członkowską i publiczną potrzebował 140 żądań dla 46 stron kontaktowych, co 94 z nich odrzucono kodem 401.
Logowanie ustalone przez NetworkUsername i NetworkPassword kosztuje drugie żądanie na każdej chronionej stronie. Każda strona członkowska wychodziła najpierw bez poświadczeń, otrzymywała kod 401, a żądanie z poświadczeniami następowało w ciągu 1.4 ms, poza zakresem RateLimitPerHost. Przekazywanie tożsamości członka do Request usuwa losowy wybór, ale nie drugie żądanie.
Samouczek listuje HttpRequestHeaders dla niestandardowych nagłówków, jednak żaden nagłówek tam umieszczony nie dotarł do strony. Próbka dodała Authorization i niestandardowy nagłówek X-Crawler, ale żaden nie dotarł. Nagłówek dodany do statycznej HttpIdentity.DefaultHttpRequestHeaders przed utworzeniem tożsamości był wysyłany przy każdym żądaniu i usuwał każdą 401. Ten słownik aplikuje się do każdej tożsamości, które proces utworzy później, włącznie ze stronami publicznymi.
Jak debugować scraper, który już używa IronWebScraper?
Scraper certyfikatów już używał IronWebScraper przed migracją. Posiadał tożsamość publiczną oraz członkowską, kolejkował trzy strony rejestracyjne w Init i nie ustawił limitu prędkości.
@src/HarborDirectory/Scrapers/CertificateScraper.cs
The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.
Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.
Then fix CertificateScraper.
Run the command three times and give me the count from each run.
Wynik
Poprawiony scraper zapisuje rejestr jako jedną linię JSON na certyfikat, w kolejności, w jakiej strony są parsowane.

Pierwsze 10 z 32 linii w out/certificates.jsonl, jak test uruchomienia po crawl-all go pozostawił, przedstawione jako tekst z pliku.
Co się dzieje, gdy dwa scrapery przeszukują ten sam host?
Każda instancja WebScraper ogranicza swoje własne żądania. Dwa scrapery, które każdy ustawiają RateLimitPerHost na 500 ms i używają jednego połączenia, utrzymywały dwa żądania równocześnie i wysłały do 6 żądań w jednej sekundzie na ten sam host. Ich łączna stawka musi być więc zaplanowana w kodzie.
@src/HarborDirectory/
Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.
The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.
Run crawl-all, compare both files with TestData/expected and tell me what matched.
Wynik
Wykres liczy żądania odebrane przez lokalną stronę w ciągu każdej sekundy uruchomienia crawl-all.

Żądania na sekundę w trakcie uruchomienia testu crawl-all, pochodzące z dziennika żądań lokalnej strony. 209 żądań w 100 sekund.
Jak napisać testy regresywne dla scraperów?
Response zbudowany z jego publicznego konstruktora rzucił ArgumentNullException z Css, a przewodnik ChatGPT Codex wyjaśnia, dlaczego IronWebScraper parsuje tylko strony, które sam pobrał. Testy służą więc do udostępniania zapisanych stron przez HTTP.
@src/HarborDirectory/ @TestData/pages/
Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.
Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.
Finish by running dotnet test, then report the passing and failing test counts.
Co wyprodukowały zapytania w rzeczywistym uruchomieniu?
Świeże wydania każdej kompilacji zmieniającej kod powtórzyły każde przeszukiwanie poniżej przeciwko nowej kopii lokalnej strony. Skrypt czytał dziennik żądań strony i porównywał każde pliki wyjściowe z TestData/expected.
- Przed ruchem, HttpClient i HtmlAgilityPack crawler napisał wszystkich 46 dostawców w 96 żądani i 49.2 sekundy.
- Po przeprowadzce, SupplierScraper napisał te same 46 wierszy, z tym samym nagłówkiem i kolejnością wierszy.
- Nowa eksploracja wysłała 142 żądania w 57.9 sekundy, a strony kontaktowe odpowiedziały 46 z nich kodem 401.
- Cursor zgłosił 96 żądań dla nowej eksploracji, co oznacza jedynie udane żądania.
- SupplierScraper zakolejkował tylko pierwszą stronę z listą w Init i podążał za linkiem do następnej strony z Parse.
- Cursor odpowiedział na pięć pytań dokumentacyjnych bez zmiany pliku i nie znalazł strony określającej domyślne limity ani odpowiadającej na pytanie o dwa scrapery.
- Jeśli chodzi o nagłówek Authorization, Cursor nie znalazł żadnego udokumentowanego przykładu i opisał HttpRequestHeaders jako wysyłane z każdym żądaniem, co próbka pokazała jako niepoprawne.
- Plan twierdził, że przypisanie tożsamości członka do żądań kontaktowych unika podwójnego pobierania, co 46 odpowiedzi z kodem 401 obaliło.
- Przed poprawką, polecenie certyfikatów napisało 1 i 0 certyfikatów w uruchomieniach Curso i 6 z 32 w niezależnym uruchomieniu.
- Cursor prześledził niepowodzenia do losowej tożsamości, tożsamości członkowskiej w losowym puli i braku limitu prędkości.
- Poprawiony CertificateScraper nadal żądał wszystkie trzy strony rejestracyjne z Init, wbrew regułom projektu.
- Po poprawce, polecenie napisało 32 z 32 certyfikatów w trzech niezależnych uruchomieniach, każde z 67 żądaniami i bez 429.
- Pierwsza kompilacja crawl-all nie otrzymała kodu 429, a żadna druga nie miała więcej niż 4 żądania.
- Dwa niezależne uruchomienia crawl-all zapisały wszystkich 46 dostawców i wszystkie 32 certyfikaty w 105.2 i 104.8 sekundy.
- Uruchomienie dwóch poleceń jedno po drugim trwało 80.8 sekundy.
- Suite xUnit zdołało zaliczyć 4 z 4 testów, a port 5493 strony nie zarejestrował żadnego żądania, gdy były one uruchamiane.
- Niektóre kroki uruchomiono inaczej niż na stronie. Wszystkie siedem promptów przeszło przez CLI Cursor w jednej sesji bez użycia głowy. Tryb Planowania istniał po prompt 03, więc prompty 05 do 07 potrzebowały każdorazowo wiadomości zwrotnej "Zbuduj plan". W promcie 04, Cursor także zmienił scraper stron oraz README, co prompt nie zawierał.
Przewodnik GitHub Copilot ogranicza swoje konwencje IronWebScraper do ścieżek szybowania i testówm w pliku instrukcji specyficznych dla ścieżki, jak ten plik z regułami tutaj. Przewodnik Google Antigravity operuje na tym samym zaawansowanym samouczku co, i mierzy, co bufor webowy IronWebScrapera i zapisany stan przeszukiwania utrzymują. Rekord rozruchowy wylicza wersję asystenta, model, czas trwania oraz maszynę testową dla każdego przewodnika.
Rozwiązywanie problemów
- Zaawansowane funkcje Web Scrapingu Gdy przeszukiwanie potrzebuje limitowania lub logowania
- Bezpieczeństwo wątków Gdy jedno przeszukiwanie uruchamia kilka żądań jednocześnie
- Zastosowanie kluczy licencyjnych Gdy Start wyrzuca wyjątek licencyjny
- IronWebScraper i JavaScript Gdy strona jest pełna w przeglądarce, ale pusta dla scrapera
Pytania?
Jeśli są jakiekolwiek pytania, należy skontaktować się z support@ironsoftware.com
Curtis Chau posiada tytuł licencjata z informatyki (Uniwersytet Carleton) i specjalizuje się w front-endowym rozwoju, z ekspertką w Node.js, TypeScript, JavaScript i React. Pasjonuje się tworzeniem intuicyjnych i estetycznie przyjemnych interfejsów użytkownika, Curtis cieszy się pracą z nowoczesnymi frameworkami i tworzeniem dobrze zorganizowanych, atrakcyjnych wizualnie podręczników.