IronWebScraper'in ChatGPT Codex ile Nasıl Kullanılacağı
Bir fiyatlandırma ekibi her gece bir çevrimiçi kataloğun fiyatlarını kaydeder ve onları bir önceki geceyle karşılaştırır. Katalog, beş sayfaya yayılır ve her sayfa diğerlerine bağlantı verir. Bir sayfa tarama sırasında başarısız olduğunda, tarama yine tamamlanır ve yine bir dosya yazar. Karşılaştırma, eksik sayfadaki her ürünü sona ermiş olarak listeler ve ekip hiç değişmeyen fiyatlara göre hareket eder.
ChatGPT Codex, OpenAI'nin kodlama aracıdır. Bir depo içerisinde dosyaları okur, düzenler, dotnet run gibi komutları çalıştırır ve neleri değiştirdiğini bir terminalden, bir IDE genişletmesinden, ChatGPT masaüstü uygulamasından veya buluttan raporlar. IronWebScraper, .NET'te bir projenin genişletebileceği bir temel sınıf olarak tarama sağlar. Temel sınıf, istekleri sıraya alır, her ana makine için hızını sınırlatır, hataları tekrar eder ve kazınmış satırları JSON Satırları dosyalarına yazar.
Bu rehber, Codex'e localhost'ta sunulan bir test kataloğu, bir kurallar dosyası ve iki gecelik fiyatlar verir. Herhangi bir sayı isteyen komut istemi, aynı zamanda onu kaydeden bir dosya ister, bu nedenle Codex'in bildirdiği her sayı, veri ile desteklenir. Tarayıcı yazılmadan önce, IronWebScraper'in hatalı sayfaları, robots.txt ve kendi çıktı dosyalarını o sitede nasıl ele aldığını ölçer.
Hızlı BaşlangıçTest kataloğu 5461 numaralı portta çalışırken, Data ve TestData klasörlerini içeren bir .NET 9 konsol projesinde Codex'i başlatın.
$ironwebscraper Add IronWebScraper 2026.10.1 to this console app and read the first catalogue page.
The test catalogue runs at http://localhost:5461/catalog/page-1.html.
Program.cs crawls that page alone and writes out/quickstart.csv, one row per product.
The CSV has these columns:
- sku, from the data-sku attribute
- name
- price, from the data-price attribute
- shown, the price text the page displays
The price monitor reads IRONWEBSCRAPER_LICENSE_KEY in code and assigns it to License.LicenseKey.
Keep the value out of output, files and logs.
Don't run anything that lists environment variables.
After three failed builds or runs, stop and paste the last error.
Otherwise, count the CSV rows and tell me the number.
Asgari İş Akışı (5 adım)
- NuGet'ten C# web kazıma kütüphanesini indirin
- IronWebScraper'in yeteneğini .agents/skills/ironwebscraper/SKILL.md olarak kaydedin, böylece
$ironwebscrapermention'ı çözülür. - Bir AGENTS.md, sepet ve hesap yollarını yasaklar ve istekler arasında bir saniye beklemeyi sağlar.
- Tarayıcıyı yazmadan önce yerel olarak sunulan mağaza kopyasına karşı başarısız sayfalar ve çıktı dosyalarını araştırın.
- Başarısız bir istek veya eksik bir sayfayla herhangi bir anlık görseli reddedin ve ayrı bir kodla fiyat raporunu kontrol edin.
ChatGPT Codex nedir ve .NET web scraping çalışmalarına nasıl uyum sağlar?
Codex, kendisine verilen izinler dahilinde hareket eder. Codex CLI belgeleri, yükleme ve terminal kullanımı konularını kapsar ve açık kaynak deposu sürümlerini yayınlar.
Codex'in icat ettiği bir üye, yapıyı başarısız kılar. Derlenen, çalışan ve sessizce bir sayfayı atlayan bir tarayıcı yapıdan geçer ve bu rehber, ikinci başarısızlığı ele alır.
IronWebScraper .NET Standard 2.0 ve 2.1 derlemelerini taşır ve bir sunucunun döndürdüğü HTML'i ayrıştırır. Bu rehberdeki hiçbir tarama üçüncü bir taraf sitesine ulaşmaz.
IronWebScraper isteği nasıl yazılır ve Codex nasıl kurulur?
Hızlı başlangıç isteği, başlangıç sayfasının adını, alanları ve çıkış dosyasını belirler. Anlık görüntü ve hizmet istekleri, sitenin kuralları için Data/README.md'ye atıfta bulunur.
Codex, .agents/skills'i çalışma dizininden depo köküne kadar her klasörde tarar. IronWebScraper'in skill.md dosyasını .agents/skills/IronWebScraper/SKILL.md olarak kaydetmek, $ironwebscraper mention'ının çözülmesine izin verir. Yeteneğin örnek programı IronWebScraper 2026.8.1'i hedeflerken, bu rehber 2026.10.1'i yükler.
Codex, bir çalışma başladığında AGENTS.md'yi bir kez okur. Depo kökünden çalışma klasörüne kadar yürür ve daha derin bir dosya daha yüzeyini olan bir dosyayı geçersiz kılar. Bir çalışma sırasında yazılan bir dosya, bir sonraki çalışmada etkili olur. /init komutu bir ilk taslak oluşturur.
Create AGENTS.md in the repository root with a Price watch heading.
Give it these rules, one per line:
- IronWebScraper 2026.10.1 does all fetching and parsing.
- No HttpClient code, HtmlAgilityPack or AngleSharp.
- Data/README.md describes the site, the snapshot and the change report. It overrides anything else.
- Crawl localhost only: the test site on port 5461, or a listener a test starts.
- Every scraper adds the patterns */cart/* and */account/* to BannedUrls.
- RateLimitPerHost stays at one second or more.
- Init adds an HttpIdentity whose UserAgent is the one Data/README.md names.
- Data/ and TestData/ are read-only.
- Check IronWebScraper members in the ironwebscraper skill and the installed IronWebScraper.xml.
- When a probe against the test site disagrees with either of them, the probe wins.
- Any count you report comes from a file written that turn, and the reply names it.
- The key stays in IRONWEBSCRAPER_LICENSE_KEY.
Show me the file when it's done.
Her istek tarayıcıyı isimlendirdiği için kurallar, HttpIdentity'i Init'e ekler. merkezin tarama varsayılanları, IronWebScraper'in biri olmadan ne gönderdiğini gösterir.
IronWebScraper nasıl eklenir ve anahtar nasıl uygulanır?
Show me the IronWebScraper PackageReference in PriceWatch.csproj and the version NuGet restored.
Paste all of what dotnet list package --include-transitive prints after that.
Leave every package reference as it is.
IronWebScraper 2026.10.1, IronSoftware.Common 2026.4.2 ve IronSoftware.System.Drawing 2026.8.2'ye dayanır. Test çalışmasındaki paket listesi, SixLabors.ImageSharp 3.1.12, Grpc.Net.Client 2.62.0 ve Polly 8.6.6 da dahil olmak üzere 30 geçişli paket gösterdi. Bir sürümü sabitlemeden önce IronWebScraper değişiklik günlüğünü inceleyin.
IronWebScraper IRONWEBSCRAPER_LICENSE_KEY'i görmezden gelir, bu nedenle anahtarı o isim altında tutan kod ilk taramadan önce License.LicenseKey atar.
Move the key line into Startup.ApplyIronWebScraperKey and call it at the top of Program.cs.
After the assignment, the method prints License.IsLicensed.
Next, find out what IronWebScraper does without a key.
Launch three child copies of the program, each with --licence-check N, set up like this:
1. The first child runs with IRONWEBSCRAPER_LICENSE_KEY removed from its environment.
2. The second keeps the variable, but --no-startup stops it from calling Startup.
3. The third keeps the variable and calls Startup.
Each child crawls catalogue page 1 into out/licence-check-N.csv.
Log every child in out/licence-check.csv with these columns:
- run and IsLicensed
- exception type, with no message
- rows written, and whether the child's CSV exists
Tell me which of the three wrote rows.
Lisans anahtarları sayfası anahtarı sağlamanın diğer yollarını listeler.
IronWebScraper başarısız sayfalar, robots.txt ve çıktı dosyaları ile ne yapar?
Alışveriş sitesi rehberi, ürünleri Scrape ile yazar ve kategori ayrıştırıcısından sonraki sayfa bağlantısını takip eder. IronWebScraper 2026.10.1'in dört davranışı, gece fiyat dosyasının güvenilir olup olmadığını belirler ve propların her biri test kataloğuna karşı ölçüldü.
- Katalog sayfa 3 her zaman 503 yanıtladığında, IronWebScraper standart
HttpRetryAttemptsaltında onu dokuz kez talep etti ve ardından bir hata olmaksızın bıraktı. Çıktı 47 üründen 37'sini tuttu. ObeyRobotsDotTxtvarsayılan olarak açıktır, ancak /robots.txt için test sitesine hiçbir istek ulaşmadı ve robots.txt'nin izin vermediği /cart/altındaki bağlantılar getirildi. IronWebScraper, sadece varsayılan portta robots.txt arar.*/cart/*örüntüsü,BannedUrls'de bu bağlantıları hariç tuttu.Scrapedosyasına ekler. Aynı dosyada iki çalışma, 47 ürün için 94 satır bıraktı.ScrapeUnique, yazdığı ilk kaydı kaybeder. Her biri 47 ürün içeren üç yeni çalışma, 46 satır yazdı ve LK-1001 her seferinde eksikti.
Probe how IronWebScraper treats the test site, in a console app at scratch/crawl-probe/.
Add a Compile Remove item so PriceWatch.csproj skips scratch/**.
Apply the key as Startup does.
Each case gets its own scraper, output folder and try block.
Measure these cases from Parse calls, FailedUrls and the files written:
- queue every nav.pager link from every page, then compare Parse calls with pages
- Scrape the same 10 rows into one file in two separate runs, and count lines after each
- ScrapeUnique 10 different rows into a new file, and count the lines
- request /probe/once-503.html and /probe/always-503.html, and note what reaches Parse
- leave ObeyRobotsDotTxt on and request /probe/blocked/page.html, which robots.txt disallows
- read LK-1045 on catalogue page 5: the price text and the data-price attribute
Then have the explorer agent read IronWebScraper.xml and the ironwebscraper skill, editing nothing.
It reports what both say about Scrape, ScrapeUnique, HttpRetryAttempts and ObeyRobotsDotTxt.
Write every finding into out/crawl-probe.csv, with a quote from the run, the XML or the skill.
Flag each row where a source and the probe disagree, and list those rows for me.
Anlık görüntü tarayıcısı nasıl inşa edilir?
Data/README.md, 1'den M'ye kadar her sayfanın Parse ulaştığı ve hiçbir isteğin başarısız olmadığı bir anlık görüntüyü tamamlanmış olarak tanımlar. Fiyat, data-price niteliklerinden gelir, çünkü LK-1045'in gösterilen metni $1,249.00 şeklinde okunurken, nitelikte 1249.00 bulunur.
Have the worker agent write Services/CatalogueCrawler.cs.
It builds a snapshot as Data/README.md describes.
PriceWatch takes two commands:
- --snapshot --date YYYY-MM-DD crawls every catalogue page into out/snapshots/<date>.csv
- --compare OLD NEW writes out/changes-NEW.csv from those two snapshot files
Use what the probe found when the crawler writes and checks its output:
- every run starts a new output file, so no rows carry over from an earlier run
- the snapshot is refused when FailedUrls is above zero
- it is also refused when a page from 1 to M never reached Parse
- a refusal prints FailedUrls and the page numbers that reached Parse
- the price column comes from data-price
- the was column comes from span.price-was, without the $ sign or commas
Run --snapshot --date 2026-10-15.
Tell me the row count and the number of pages, both read from the snapshot file.
Codex'in bildirdiği fiyat değişiklikleri nasıl kontrol edilir?
The store changed its prices overnight.
Run --snapshot --date 2026-10-16, then --compare 2026-10-15 2026-10-16.
Check the report with code kept apart from the crawler.
That code reads both snapshots and out/changes-2026-10-16.csv.
It writes out/changes-check.csv with these columns:
- sku
- the change the snapshots show
- the change the report lists
- match, yes or no
Give me the count of each change type in the report, plus any row that doesn't match.
Çıktı
Aşağıdaki rapor, tarayıcının test çalışmasındaki ikinci gece için yazdığı dosyadır, değiştirilmeden.
Test çalışmasından değişiklik raporu, out/changes-2026-10-16.csv, düz metin olarak gösterilmiştir.
Bir katalog sayfası başarısız olduğunda ne olur?
Catalogue page 3 now answers 503 to every request.
Show me that no snapshot gets saved in that state.
Run --snapshot --date 2026-10-17.
out/snapshots/2026-10-16.csv must stay identical, byte for byte.
Write out/failure-check.csv, holding these values:
- the exit code and the message printed
- FailedUrls and the pages that reached Parse, copied from that message
- whether out/snapshots/2026-10-17.csv exists
- the SHA-256 of the 2026-10-16 snapshot before and after the run
Say whether the snapshot was refused and whether the two hashes are equal.
Bir ekran görüntüsünden nasıl fiyat kontrol edilir?
Codex görüntüleri bağlam olarak kabul eder. -i bayrağını (uzun biçimi --image) codex exec veya codex exec resume'ye geçirin veya etkileşimli bileşene yapıştırın.
Test çalışmasında ekli ekran görüntüsü, deneme sitesinin ilk gecede sunulan katalog sayfası 1.
A customer sent the screenshot I attached with -i.
They say the Ridge Tent 2P price on it is wrong.
Leave the code alone and go through this in order:
1. Read the name, price and stock of the first three products in the image.
2. Compare them with out/snapshots/2026-10-15.csv and out/snapshots/2026-10-16.csv.
3. Save the comparison as out/screenshot-check.csv.
Then quote the heading shown in the image.
Tell me which day's catalogue it shows and what the tent costs now.
Yanlış bir şekilde gönderilen bir fiyat uyarısı nasıl çözümlenir?
Work out why the 2026-10-16 price alerts went out wrong.
These files describe what happened:
- Data/alert-complaint.md lists four problems.
- Output/price-alerts-2026-10-16.csv is the file that was sent.
- Logs/price-check-2026-10-16.log reports success.
- Logs/store-access-2026-10-16.log is the store's record of the price check's requests.
Start with the explorer agent.
It reads Jobs/LegacyPriceCheck.cs, the two logs and the alert file.
Don't edit any code.
A script under scratch/ may read the files if that helps.
Write out/legacy-diagnosis.md, and include:
- the code line that causes each problem
- why the job log still said it succeeded
- the smallest fix for each problem, backed by a row of out/crawl-probe.csv
Then tell me each problem and its cause, one line per problem.
Herhangi bir düzenlemeyi sağlamadan önce teşhisi gözden geçirin. Miras iş, Start döndükten sonra başarı satırını kaydetti ve asla FailedUrls okumadı.
Tarayıcı nasıl test edilmiş bir hizmete dönüştürülür?
Ask the worker agent for a PriceWatchService class with these properties:
- A Microsoft.Extensions.DependencyInjection container can resolve it.
- A WatchOptions record configures it with the date, base URL, output folder and rate limit.
- It keeps every rule from Data/README.md and every check CatalogueCrawler makes.
- PriceWatchService.cs stays below 150 lines.
- Every public member carries an XML doc comment.
- Nothing calls Jobs/LegacyPriceCheck.cs.
Then take the 2026-10-16 snapshot again through the service, into out/final/2026-10-16.csv.
Compare it with out/snapshots/2026-10-16.csv and list every difference for me.
IronWebScraper sadece kendi getirdiği yanıtları ayrıştırır. Response, kaydedilmiş HTML'i yüklemek için halka açık bir yol sağlamaz ve Request'ya geçirilen bir yerel dosya adresi, herhangi bir Parse çağrısı ve hata üretmedi. Windows PowerShell'de bir Codex sandbox testinde, HttpListener yapıcısı PlatformNotSupportedException fırlattı. Döngüye bağlı bir TcpListener çalıştı, bu nedenle test istemi, kaydedilen sayfaları birinden sunar.
Add an xUnit project at tests/PriceWatch.Tests, in one solution with the main project.
Keep tests/** out of PriceWatch.csproj.
The tests apply the key through Startup.ApplyIronWebScraperKey.
IronWebScraper only parses pages it fetches.
So the tests serve TestData/ from a small TcpListener server on a free localhost port.
None of them calls port 5461.
Together, the tests cover these cases:
- catalog-page-1.html yields 10 products, the first being LK-1001
- LK-1045 on catalog-page-5.html has the price 1249.00
- a crawl where one page answers 503 and the rest answer 200 writes no snapshot
- comparing two small snapshot files finds each change type once
TestData/ holds only pages 1 and 5 of the catalogue.
The 503 case can serve a small made-up catalogue, so the 503 is the only failure.
Use dotnet test --logger trx --results-directory out/tests/.
Read the pass and fail counts from the trx file and tell me both.
Son komut istemi, IronWebScraper.xml'deki üyeleri prob ve test sonuçlarına karşı kontrol eder, çünkü XML, ScrapeUnique'i yinelenenleri göz ardı eder olarak tanımlar ve ilk kayıp kayda hiçbir şey söylemez.
$ironwebscraper Find the IronWebScraper.xml members that pace, retry, filter or save a crawl.
For each member, give me these two things:
- the XML's own description of it
- whether out/crawl-probe.csv or a test result under out/tests/ covers it
Then write a line that compiles for each member, in a project at scratch/api-probe/.
Build it with dotnet build scratch/api-probe, and don't run it.
Bu komutları başka bir katalogda nasıl kullanabilirsiniz?
Komutlar, bu kataloğun seçicilerini, ürün kodlarını ve test sayfalarını adlandırır. Bu adları, komut istemlerindeki isimleri, başlangıç sayfasını, seçicileri ve Data/README.md'deki anlık görüntü sütunlarıyla değiştirerek bir tedarikçi fiyat listesini, bir pazar kategorisini veya dahili bir ürün beslemesini yeniden kullanmaya yönelik. IronWebScraper AI kodlama asistanları kılavuzuna başvurun, tüm asistanlar için geçerli olan ayarları için.
Gerçek bir çalıştırmada istemler ne üretti?
Yukarıdaki komutlar Codex'e sırayla, bir oturumda, localhost üzerindeki test kataloğuna karşı gitti. Site, karşılaştırma komut isteminden önce ikinci gecenin fiyatlarına geçti. Miras iş, logları ve uyarıları, hata ayıklama komut isteminden önce eklendi. Ayrı betikler her çıktı dosyasını ve test sitenin istek günlüğünü okur.
- Başlangıçta depo, herhangi bir paketi olmayan bir konsol projesi, katalog kuralları ve iki kaydedilmiş katalog sayfası içeriyordu.
- Değişken temizlenmiş ve Başlangıç çağrısı atlanmış halde, tarama bir lisans hatası fırlattı ve herhangi bir ürün satırı yazmadı.
- Denemede, ScrapeUnique, 10 farklı sıra için 9 satır yazdı ve LK-1001 eksikti.
- İlk anlık görüntü, beş sayfadan tüm 47 ürünü tuttu.
- Her iki anlık görüntüdeki her alan katalogla eşleşti.
- Değişim raporu 3 fiyat düşüşü, 3 fiyat artışı, 2 yeni ürün, 1 kaldırma ve 1 stok değişikliği listeliyordu.
- sayfa başarısız olduğunda, tarayıcı kod 2 ile çıkış yaptı ve hiçbir anlık görüntü kaydedilmedi.
- IronWebScraper'dan katalog istekleri en az 1,037 milisaniye aralıklıydı.
- Çalışmadaki 93 isteğin hiçbiri bir sepet veya hesap sayfasına gitmedi.
- Codex, ekran görüntüsünü ilk gecenin anlık görüntüsüyle eşleştirdi.
- Codex çadırın mevcut fiyatını $259.00 olarak verdi.
- Teşhis, dört şikayetin her birini miras işinde kendi satırlarına bağladı.
- Codex, tarayıcı veya işçi ajansını adlandıran dört istemin her birinde ayrı bir ajans başlattı.
- Servis, ikinci anlık görüntüyü byte-byte yeniden oluşturdu.
- 503 testi, iki sayfalık oluşturulmuş bir katalog sundu ve ikinci sayfası 503 yanıtladı.
- Dört testin tümü, hem Codex’in hem de bizim son çalışmamızda geçti.
- Bazı adımlar sayfadan farklı çalıştı. İlk tam test çalışması, dört testten birini başarısız kıldı və Codex, testin CSV ayrıştırmasını düzeltti. Bir test komutu duraksarken, hangi program başlatmış olursa olsun, Codex, belirli bir süre sonra başlatılan tüm dotnet süreçlerini zorla durdurdu. NuGet paketleri, çalışmadan önce geri yüklenen bir önbellekten geldi, çünkü sandbox'un nuget.org'a erişimi yoktu.
Google Antigravity rehberi ayrıca bir kişinin tarayıcıdaki sayfaya karşı gördüğü tarama çıktısını kontrol eder. Claude Kod rehberi ayrıca IronWebScraper'in bir hata sayfasını nasıl bıraktığını, bir blog arşivi taramalarında ölçer. Paylaşılan koşu kaydı bu çalışmanın Codex versiyonu, modeli, test makinesi ve zamanlamasını listeler.
Hata Ayıklama
- Bir Alışveriş Sitesini Tarama ürün seçiciler veya sayfa numaralandırma bir referans ihtiyacındaysa
- Gelişmiş Webscraping Özellikleri istekler sınırlama, kimlik veya durdurulabilir bir tarama gerektiriyorsa
- Bir ruhsatlama istisnası ile her tarama duruyorsa, istek gönderilmeye başlamadan önce Lisans Anahtarlarının Uygulanması
Sorular?
Herhangi bir sorunuz varsa, support@ironsoftware.com adresinden bize ulaşın
Curtis Chau, Bilgisayar Bilimleri alanında Lisans Derecesine (Carleton Üniversitesi) sahip ve Node.js, TypeScript, JavaScript ve React konularında uzmanlaşmış ön uç geliştirmeyle ilgileniyor. Sezgisel ve estetik açıdan hoş kullanıcı arayüzleri oluşturma tutkunu, Curtis modern çerçevelerle çalışmayı ve iyi yapılandırılmış, görsel olarak çekici kılavuzlar oluşturmayı seviyor.

