Jak używać IronWebScraper z ChatGPT Codex
Zespół ds. ustalania cen rejestruje ceny katalogu online każdej nocy i porównuje je z nocą poprzednią. Katalog obejmuje pięć stron, a każda strona łączy się z innymi. Gdy jedna strona zawiedzie podczas przeszukiwania, proces nadal się kończy i zapisuje plik. Porównanie wówczas wymienia każdy produkt na brakującej stronie jako wycofany, a zespół działa na podstawie cen, które nigdy się nie zmieniły.
ChatGPT Codex to agent programowania od OpenAI. W repozytorium odczytuje pliki, edytuje je, uruchamia polecenia takie jak dotnet run i raportuje, co zostało zmienione, z terminala, rozszerzenia IDE, aplikacji desktopowej ChatGPT lub chmury. IronWebScraper zapewnia przeszukiwanie w .NET jako klasę bazową rozszerzaną przez projekt. Klasa bazowa ustawia żądania w kolejce, ogranicza ich częstotliwość na hosta, ponawia w razie błędów i zapisuje zeskrobane wiersze do plików JSON Lines.
Ten przewodnik dostarcza Codexowi katalogu testowego serwowanego na localhost, pliku z regułami i dwóch nocy cen. Każdy prompt, który prosi o ilość, również prosi o plik, który ją rejestruje, więc każda liczba, którą raportuje Codex, jest poparta danymi. Przed napisaniem przeszukiwarki, sonda mierzy, jak IronWebScraper radzi sobie z nieudanymi stronami, robots.txt i własnymi plikami wyjściowymi na tej witrynie.
Szybki startUruchomić Codex w projekcie konsolowym .NET 9, który zawiera foldery Data i TestData, z katalogiem testowym działającym na porcie 5461.
$ironwebscraper Add IronWebScraper 2026.10.1 to this console app and read the first catalogue page.
The test catalogue runs at http://localhost:5461/catalog/page-1.html.
Program.cs crawls that page alone and writes out/quickstart.csv, one row per product.
The CSV has these columns:
- sku, from the data-sku attribute
- name
- price, from the data-price attribute
- shown, the price text the page displays
The price monitor reads IRONWEBSCRAPER_LICENSE_KEY in code and assigns it to License.LicenseKey.
Keep the value out of output, files and logs.
Don't run anything that lists environment variables.
After three failed builds or runs, stop and paste the last error.
Otherwise, count the CSV rows and tell me the number.
Minimalny proces (5 kroków)
- Pobierz bibliotekę do zbierania danych z sieci w C# z NuGet
- Zapisz umiejętność IronWebScraper jako .agents/skills/ironwebscraper/SKILL.md, aby odwołanie
$ironwebscraperbyło rozpoznawane - Przesłać AGENTS.md, który blokuje ścieżki koszyka i konta oraz zachowuje sekundowy odstęp między żądaniami
- Sonda nieudanych stron i plików wyjściowych w porównaniu z lokalnie serwowaną kopią sklepu przed napisaniem przeszukiwarki
- Odrzucić każdy zrzut z nieudanym żądaniem lub brakującą stroną i sprawdzić raport cenowy za pomocą oddzielnego kodu
Czym jest ChatGPT Codex i jak wpasowuje się w pracę z web scrapingiem w .NET?
Codex działa w ramach przyznanych mu uprawnień. Dokumentacja CLI Codex obejmuje instalację i użycie terminala, a repozytorium open-source publikuje jego wydania.
Członek, którego wymyśla Codex, powoduje niepowodzenie kompilacji. Przeszukiwarka, która kompiluje się, uruchamia i cicho pomija stronę, przechodzi kompilację, a ten przewodnik odnosi się do tej drugiej porażki.
IronWebScraper dostarcza zestawy .NET Standard 2.0 i 2.1 oraz analizuje HTML, który zwraca serwer. Żadne crawling w tym przewodniku nie dociera do strony trzeciej.
Jak napisać prompt dla IronWebScraper i skonfigurować Codex dla niego?
Szybki prompt nazywa stronę startową, pola i plik wyjściowy. Snapshot i service prompts odwołują się do Data/README.md dla zasad witryny.
Codex skanuje .agents/skills w każdym folderze od katalogu roboczego do głównego repozytorium. Zapisanie skill.md IronWebScraper jako .agents/skills/IronWebScraper/SKILL.md pozwala na rozpoznanie odniesienia $ironwebscraper. Przykładowy program umiejętności celuje w IronWebScraper 2026.8.1, podczas gdy ten przewodnik instaluje 2026.10.1.
Codex odczytuje AGENTS.md raz, gdy rozpoczyna się uruchomienie. Przechodzi od korzenia repozytorium do folderu roboczego, a głębszy plik zastępuje płytszy. Plik napisany podczas uruchomienia jest brany pod uwagę w następnym uruchomieniu. Polecenie /init generuje pierwszy szkic.
Create AGENTS.md in the repository root with a Price watch heading.
Give it these rules, one per line:
- IronWebScraper 2026.10.1 does all fetching and parsing.
- No HttpClient code, HtmlAgilityPack or AngleSharp.
- Data/README.md describes the site, the snapshot and the change report. It overrides anything else.
- Crawl localhost only: the test site on port 5461, or a listener a test starts.
- Every scraper adds the patterns */cart/* and */account/* to BannedUrls.
- RateLimitPerHost stays at one second or more.
- Init adds an HttpIdentity whose UserAgent is the one Data/README.md names.
- Data/ and TestData/ are read-only.
- Check IronWebScraper members in the ironwebscraper skill and the installed IronWebScraper.xml.
- When a probe against the test site disagrees with either of them, the probe wins.
- Any count you report comes from a file written that turn, and the reply names it.
- The key stays in IRONWEBSCRAPER_LICENSE_KEY.
Show me the file when it's done.
Zasady dodają HttpIdentity w Init, aby każde żądanie miało nazwę crawlera. Domyślne ustawienia przeszukiwania huba pokazują, co IronWebScraper wysyła bez jednego.
Jak dodać IronWebScraper i zaaplikować klucz?
Show me the IronWebScraper PackageReference in PriceWatch.csproj and the version NuGet restored.
Paste all of what dotnet list package --include-transitive prints after that.
Leave every package reference as it is.
IronWebScraper 2026.10.1 zależy od IronSoftware.Common 2026.4.2 i IronSoftware.System.Drawing 2026.8.2. Lista pakietów w testowym uruchomieniu pokazała 30 pakietów tranzytywnych, w tym SixLabors.ImageSharp 3.1.12, Grpc.Net.Client 2.62.0 i Polly 8.6.6. Przejrzyj changelog IronWebScraper przed przypięciem wydania.
IronWebScraper ignoruje IRONWEBSCRAPER_LICENSE_KEY, więc kod, który przechowuje klucz pod tą nazwą, przypisuje License.LicenseKey przed pierwszym crawl.
Move the key line into Startup.ApplyIronWebScraperKey and call it at the top of Program.cs.
After the assignment, the method prints License.IsLicensed.
Next, find out what IronWebScraper does without a key.
Launch three child copies of the program, each with --licence-check N, set up like this:
1. The first child runs with IRONWEBSCRAPER_LICENSE_KEY removed from its environment.
2. The second keeps the variable, but --no-startup stops it from calling Startup.
3. The third keeps the variable and calls Startup.
Each child crawls catalogue page 1 into out/licence-check-N.csv.
Log every child in out/licence-check.csv with these columns:
- run and IsLicensed
- exception type, with no message
- rows written, and whether the child's CSV exists
Tell me which of the three wrote rows.
Strona z kluczami licencyjnymi wymienia inne sposoby dostarczenia klucza.
Co IronWebScraper robi z nieudanymi stronami, robots.txt i plikami wyjściowymi?
Przewodnik po witrynie zakupowej zapisuje produkty z Scrape i podąża za linkiem do następnej strony z parsera kategorii. Cztery sposoby działania IronWebScraper 2026.10.1 decydują o tym, czy można ufać nocnemu plikowi z cenami, a sondy mierzyły każdą z nich w stosunku do katalogu testowego.
- Przy stronie katalogu 3 odpowiadającej 503 za każdym razem, IronWebScraper zażądał jej dziewięciokrotnie pod domyślnym
HttpRetryAttempts, a następnie zrezygnował z niej bez błędu. Wynik zawierał 37 z 47 produktów. ObeyRobotsDotTxtjest domyślnie włączony, ale żadne żądanie o /robots.txt nie dotarło do witryny testowej, a linki pod /cart/, które robots.txt wyklucza, zostały pobrane. IronWebScraper szuka robots.txt tylko na domyślnym porcie. Wzorzec*/cart/*wBannedUrlswykluczył te linki.Scrapedopisuje do swojego pliku. Dwa uruchomienia do tego samego pliku pozostawiły 94 linie dla 47 produktów.ScrapeUniquetraci pierwszy zapisany rekord. Trzy świeże uruchomienia po 47 produktów każde zapisały 46 linii, a LK-1001 brakowało za każdym razem.
Probe how IronWebScraper treats the test site, in a console app at scratch/crawl-probe/.
Add a Compile Remove item so PriceWatch.csproj skips scratch/**.
Apply the key as Startup does.
Each case gets its own scraper, output folder and try block.
Measure these cases from Parse calls, FailedUrls and the files written:
- queue every nav.pager link from every page, then compare Parse calls with pages
- Scrape the same 10 rows into one file in two separate runs, and count lines after each
- ScrapeUnique 10 different rows into a new file, and count the lines
- request /probe/once-503.html and /probe/always-503.html, and note what reaches Parse
- leave ObeyRobotsDotTxt on and request /probe/blocked/page.html, which robots.txt disallows
- read LK-1045 on catalogue page 5: the price text and the data-price attribute
Then have the explorer agent read IronWebScraper.xml and the ironwebscraper skill, editing nothing.
It reports what both say about Scrape, ScrapeUnique, HttpRetryAttempts and ObeyRobotsDotTxt.
Write every finding into out/crawl-probe.csv, with a quote from the run, the XML or the skill.
Flag each row where a source and the probe disagree, and list those rows for me.
Jak zbudować przeszukiwarkę snapshotów?
Data/README.md definiuje kompletny snapshot jako taki, w którym każda strona od 1 do M osiągnęła Parse i żadne żądanie nie zawiodło. Cena pochodzi z atrybutu data-price, ponieważ tekst wyświetlany dla LK-1045 to $1,249.00, podczas gdy atrybut przechowuje 1249.00.
Have the worker agent write Services/CatalogueCrawler.cs.
It builds a snapshot as Data/README.md describes.
PriceWatch takes two commands:
- --snapshot --date YYYY-MM-DD crawls every catalogue page into out/snapshots/<date>.csv
- --compare OLD NEW writes out/changes-NEW.csv from those two snapshot files
Use what the probe found when the crawler writes and checks its output:
- every run starts a new output file, so no rows carry over from an earlier run
- the snapshot is refused when FailedUrls is above zero
- it is also refused when a page from 1 to M never reached Parse
- a refusal prints FailedUrls and the page numbers that reached Parse
- the price column comes from data-price
- the was column comes from span.price-was, without the $ sign or commas
Run --snapshot --date 2026-10-15.
Tell me the row count and the number of pages, both read from the snapshot file.
Jak sprawdzić zmiany cen, które raportuje Codex?
The store changed its prices overnight.
Run --snapshot --date 2026-10-16, then --compare 2026-10-15 2026-10-16.
Check the report with code kept apart from the crawler.
That code reads both snapshots and out/changes-2026-10-16.csv.
It writes out/changes-check.csv with these columns:
- sku
- the change the snapshots show
- the change the report lists
- match, yes or no
Give me the count of each change type in the report, plus any row that doesn't match.
Wynik
Poniższy raport to plik z drugiej nocy zapisanego przez przeszukiwarkę w testowym uruchomieniu, niezmieniony.
Raport zmian z testowego uruchomienia, out/changes-2026-10-16.csv, pokazany jako zwykły tekst.
Co się dzieje, gdy strona katalogu zawodzi?
Catalogue page 3 now answers 503 to every request.
Show me that no snapshot gets saved in that state.
Run --snapshot --date 2026-10-17.
out/snapshots/2026-10-16.csv must stay identical, byte for byte.
Write out/failure-check.csv, holding these values:
- the exit code and the message printed
- FailedUrls and the pages that reached Parse, copied from that message
- whether out/snapshots/2026-10-17.csv exists
- the SHA-256 of the 2026-10-16 snapshot before and after the run
Say whether the snapshot was refused and whether the two hashes are equal.
Jak sprawdzić cenę ze zrzutu ekranu?
Codex akceptuje obrazy jako kontekst. Przekazać jeden z flagą -i (długą formą --image) do codex exec lub codex exec resume, lub wkleić go do interaktywnego kompozytora.
Zrzut ekranu dołączony do testowego uruchomienia, strona katalogu 1 witryny testowej, jak serwowana pierwszej nocy.
A customer sent the screenshot I attached with -i.
They say the Ridge Tent 2P price on it is wrong.
Leave the code alone and go through this in order:
1. Read the name, price and stock of the first three products in the image.
2. Compare them with out/snapshots/2026-10-15.csv and out/snapshots/2026-10-16.csv.
3. Save the comparison as out/screenshot-check.csv.
Then quote the heading shown in the image.
Tell me which day's catalogue it shows and what the tent costs now.
Jak debugować alert cenowy, który poszedł źle?
Work out why the 2026-10-16 price alerts went out wrong.
These files describe what happened:
- Data/alert-complaint.md lists four problems.
- Output/price-alerts-2026-10-16.csv is the file that was sent.
- Logs/price-check-2026-10-16.log reports success.
- Logs/store-access-2026-10-16.log is the store's record of the price check's requests.
Start with the explorer agent.
It reads Jobs/LegacyPriceCheck.cs, the two logs and the alert file.
Don't edit any code.
A script under scratch/ may read the files if that helps.
Write out/legacy-diagnosis.md, and include:
- the code line that causes each problem
- why the job log still said it succeeded
- the smallest fix for each problem, backed by a row of out/crawl-probe.csv
Then tell me each problem and its cause, one line per problem.
Przejrzeć diagnozę przed zezwoleniem na jakąkolwiek edycję. Zadanie dziedzictwa zarejestrowało linię sukcesu po powrocie Start i nigdy nie przeczytało FailedUrls.
Jak przekształcić przeszukiwarkę w przetestowaną usługę?
Ask the worker agent for a PriceWatchService class with these properties:
- A Microsoft.Extensions.DependencyInjection container can resolve it.
- A WatchOptions record configures it with the date, base URL, output folder and rate limit.
- It keeps every rule from Data/README.md and every check CatalogueCrawler makes.
- PriceWatchService.cs stays below 150 lines.
- Every public member carries an XML doc comment.
- Nothing calls Jobs/LegacyPriceCheck.cs.
Then take the 2026-10-16 snapshot again through the service, into out/final/2026-10-16.csv.
Compare it with out/snapshots/2026-10-16.csv and list every difference for me.
IronWebScraper analizuje tylko odpowiedzi, które sam pobiera. Response nie ma publicznej metody ładowania zapisanego HTML, a lokalny adres pliku przesłany do Request nie wygenerował wywołania Parse i żadnego błędu. W teście w piaskownicy Codex, konstruktor HttpListener w Windows PowerShell rzucił PlatformNotSupportedException. Związany z loopback TcpListener działał, więc testowy prompt serwuje zapisane strony z jednego.
Add an xUnit project at tests/PriceWatch.Tests, in one solution with the main project.
Keep tests/** out of PriceWatch.csproj.
The tests apply the key through Startup.ApplyIronWebScraperKey.
IronWebScraper only parses pages it fetches.
So the tests serve TestData/ from a small TcpListener server on a free localhost port.
None of them calls port 5461.
Together, the tests cover these cases:
- catalog-page-1.html yields 10 products, the first being LK-1001
- LK-1045 on catalog-page-5.html has the price 1249.00
- a crawl where one page answers 503 and the rest answer 200 writes no snapshot
- comparing two small snapshot files finds each change type once
TestData/ holds only pages 1 and 5 of the catalogue.
The 503 case can serve a small made-up catalogue, so the 503 is the only failure.
Use dotnet test --logger trx --results-directory out/tests/.
Read the pass and fail counts from the trx file and tell me both.
Ostatni prompt sprawdza członków w IronWebScraper.xml w porównaniu do wyników sondy i testu, ponieważ XML opisuje ScrapeUnique jako ignorujący duplikaty i nic nie mówi o zgubionym pierwszym rekordzie.
$ironwebscraper Find the IronWebScraper.xml members that pace, retry, filter or save a crawl.
For each member, give me these two things:
- the XML's own description of it
- whether out/crawl-probe.csv or a test result under out/tests/ covers it
Then write a line that compiles for each member, in a project at scratch/api-probe/.
Build it with dotnet build scratch/api-probe, and don't run it.
Jak ponownie używać tych promptów w innym katalogu?
Prompty nazywają selektory tego katalogu, kody produktów i strony testowe. Aby ponownie używać ich na liście cenowej dostawcy, kategorii rynku lub wewnętrznym kanale produktów, należy zastąpić te nazwy w promptach, wraz z stroną startową, selektorami i kolumnami snapshotu w Data/README.md. W przypadku konfiguracji, która dotyczy każdego asystenta, należy odwołać się do przewodnika po asystentach kodowania AI IronWebScraper.
Co wyprodukowały zapytania w rzeczywistym uruchomieniu?
Powyższe prompty zostały przesłane do Codex w kolejności, w jednej sesji, w stosunku do katalogu testowego na localhost. Strona zmieniła się na ceny z drugiej nocy przed promptem porównawczym. Zadanie dziedzictwa, jego logi i alerty zostały dodane przed promptem do debugowania. Oddzielne skrypty odczytują każdy plik wyjściowy i dziennik żądań witryny testowej.
- Na początku repozytorium zawierało projekt konsolowy bez pakietów, zasady katalogowe i dwie zapisane strony katalogu.
- Z oczyszczoną zmienną i pominiętą wywołaniem Startup, crawl wyrzucił wyjątek licencyjny i nie zapisał wierszy produktów.
- W sondzie ScrapeUnique zapisało 9 linii dla 10 różnych wierszy, a LK-1001 brakowało.
- Pierwszy snapshot zawierał wszystkie 47 produktów z pięciu stron.
- Każde pole w obu snapshotach pasowało do katalogu.
- Raport zmian wymienił 3 spadki cen, 3 wzrosty cen, 2 nowe produkty, 1 usunięcie i 1 zmianę w zapasach.
- Z niepowodzeniem strony 3, przeszukiwarka zakończyła działanie z kodem 2 i nie zapisała żadnego snapshotu.
- Żądania katalogowe z IronWebScraper były oddzielone co najmniej 1 037 milisekundami.
- Żadne z 93 żądań w biegu nie dotyczyło strony koszyka ani konta.
- Codex dopasował zrzut ekranu do snapshotu z pierwszej nocy.
- Codex podał aktualną cenę namiotu jako $259.00.
- Diagnoza powiązała każdą z czterech skarg z odpowiednimi liniami w dziedzicznym zadaniu.
- Codex uruchomił oddzielnego agenta w każdym z czterech promptów nazywających agenta eksploratora lub pracownika.
- Usługa odbudowała drugi snapshot bajt po bajcie.
- Test 503 obsłużył wymyślony katalog z dwóch stron, a jego druga strona odpowiedziała 503.
- Wszystkie cztery testy przeszły w ostatniej sesji prowadzonej przez Codex i w naszej.
- Niektóre kroki uruchomiono inaczej niż na stronie. Pierwsze pełne uruchomienie testowe nie przeszło jednego z czterech testów, a Codex poprawił parsowanie CSV tego testu. Gdy polecenie testowe utknęło, Codex siłą zakończył wszystkie procesy dotnet, które zaczęły się po ustalonym czasie, niezależnie od tego, który program je uruchomił. Pakiety NuGet pochodziły z cache, który został przywrócony przed uruchomieniem, ponieważ piaskownica nie miała dostępu do nuget.org.
Przewodnik Google Antigravity również porównuje wyjście crawl z stroną, którą widzi osoba, przez przeglądarkę. Przewodnik Claude Code również mierzy, jak IronWebScraper upuszcza nieudaną stronę, w przeszukiwaniu archiwum blogu. Wspólna karta run wymienia wersję Codex, model, maszynę testową i czas dla tego uruchomienia.
Rozwiązywanie problemów
- Zeskrobać witrynę zakupową, jeśli selektory produktów lub strona paginacji wymagają odniesienia
- Zaawansowane funkcje web scrapingu, jeśli żądania wymagają ograniczenia częstotliwości, tożsamości lub wznawialnego crawl
- Zastosowanie kluczy licencyjnych, jeśli każde crawl zatrzymuje się z wyjątkiem licencyjnym przed wysłaniem jakiegokolwiek żądania
Pytania?
Jeśli są jakiekolwiek pytania, należy skontaktować się z support@ironsoftware.com
Curtis Chau posiada tytuł licencjata z informatyki (Uniwersytet Carleton) i specjalizuje się w front-endowym rozwoju, z ekspertką w Node.js, TypeScript, JavaScript i React. Pasjonuje się tworzeniem intuicyjnych i estetycznie przyjemnych interfejsów użytkownika, Curtis cieszy się pracą z nowoczesnymi frameworkami i tworzeniem dobrze zorganizowanych, atrakcyjnych wizualnie podręczników.

