AI Kodlama Asistanları ile IronWebScraper Kullanımı
IronWebScraper, Iron Software'ın .NET için web kazıma kütüphanesidir. C# ile web sitelerini tarar, sayfalar arasındaki bağlantıları takip eder ve HTML'den yapılandırılmış verileri çıkarır ve tek bir paket, .NET Standard 2.0 çalıştıran her platformu kapsar.
Bir kodlama asistanı, tek bir talepten bir .NET web kazıyıcısı üretebilir. O kodun hedeflediği siteye saygı gösterip göstermediği ve ikinci sayfada çalışmaya devam edip etmediği kontrol gerektirir. Hafızadan çalışan bir asistan, ham bir HttpClient döngüsü yazabilir, kendi yeniden deneme mantığını ekleyebilir ve bağlantının izin verdiği kadar hızlı istek gönderebilir. IronWebScraper zaten istek kuyruğunu, hız sınırını ve kimliği yönetir, bu yüzden bir asistanın yazması gereken kod, iki üst sınıf ile bir sınıftır. Dokümantasyon mevcutken, bu kılavuzun test çalışmasındaki asistan bir WebScraper alt sınıf yazdı ve hiçbir HttpClient çağrısı yapmadı.
Kurulum süreci her asistan için aynıdır. Paketi ekleyin, anahtarı ortamdan atayın, asistana IronWebScraper'ın makine tarafından okunabilir dokümantasyonunu sağlayın ve tarayıcının çıktısını ve isteklerini site ile karşılaştırın ve görevi tamamlanmış olarak işaretleyin. Bu, temel kazıma öğreticisini, blog kazımasını, alışveriş sitesi kazımasını ve ileri ayarları kapsar.
IronWebScraper'ı AI Kodlama Asistanı ile Kullanma Yöntemleri
- NuGet'ten C# web kazıma kütüphanesini indirin
- Başlangıçta
IronWebScraper.License.LicenseKey'iIronWebScraper_LICENSE_KEY'den atayın - IronWebScraper'ın llms.txt dizinini kod yazmadan önce asistana verin
- Tarama kurallarını asistanınızın yüklediği talimat dosyasına kaydedin
- İlk istekten önce kullanıcı ajanını, hız sınırını ve yeniden deneme sayısını ayarlayın
- Çıkış dosyasını ve sitenin istek günlüğünü sayfalarla karşılaştırın
AI Asistanım Kendi Başına Bir Kazıyıcı Yazamaz mı?
Yazabilir. Zorluklar programın dışında, hedef sitenin aldığı ve çıkış dosyasının tuttuğu şeylerde ortaya çıkar.
- Çalışan bir kazıyıcı hala bir siteyi aşırı yükleyebilir:
RateLimitPerHostbir ana bilgisayara yapılan istekler arasındaki minimum gecikmeyi ayarlar veOpenConnectionLimitPerHostparalel bağlantıları sınırlar. - HTML seçimi düzenli ifadelere ihtiyaç duymaz:
Response,Css,XPath,QuerySelectorveGetElementByIdsağlar. - Paketin adını tam olarak belirtin: paket ve namespace ikisi de
IronWebScraper. Saldırganlar, bir asistanın yanlışlıkla üretebileceği paket adlarını kaydeder, bu uygulamaya slopsquatting denir. - Lisanslama koşulları önceden tanımlanır: lisans sayfası her seviyenin izin verdiği geliştirici sayısını listeler.
Adım 1: IronWebScraper'ı Yükleme
Add the IronWebScraper NuGet package, version 2026.10.1, to this project and restore it.
Tell me which IronWebScraper version the project file lists now.
Bir terminalden, sürümü açıkça sabitle.
dotnet add package IronWebScraper --version 2026.10.1
Paket içinde hiçbir tarayıcı motoru ve yerel ikililer yok. Tek bağımlılıkları IronSoftware.Common ve IronSoftware.System.Drawing, ve bu ikincisi SixLabors.ImageSharp 3.1.12'yi getirir. Bu sürüm için dotnet list package --vulnerable --include-transitive beş tavsiye rapor etti, üçü yüksek derecelendirildi.
Adım 2: Lisans Anahtarınızı Uygulayın
Anahtar olmadan, Start, kazıyıcı tek bir istek göndermeden önce IronSoftware.Exceptions.LicensingException'ı fırlatır ve hiçbir şey çıkış klasörüne ulaşmaz. Mesaj, yedi günlük ücretsiz geliştirme kullanımından bahseder, ancak bu makalede sondajdaki ilk çağrıda istisna ortaya çıktı. Yanlış yazılmış bir anahtar, anahtarı tekrarlamayan bir "tanınmadı" mesajına neden olur. Aşağıda ücretsiz bir deneme anahtarı mevcuttur.
IronWebScraper'u projenizde kullanmaya bugün ücretsiz deneme sürümüyle başlayın.
Lisans anahtarını uygulama başlangıcında, ilk kaşımadan önce bir kez atayın. Depoda saklanmaması için bir ortam değişkeninden geri getirin.
IronWebScraper.License.LicenseKey = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
Geçerli bir anahtar atandıktan sonra IronWebScraper.License.IsLicensed doğru döner ve IronWebScraper.License.IsValidLicense bir anahtar dizisini uygulamadan test eder. Yukarıdaki atama olmadan, IronWebScraper IRONWEBSCRAPER_LICENSE_KEY'i görmezden gelir. Herhangi bir kod olmadan IronWebScraper.LicenseKey, IronWebScraper_LicenseKey veya IronSuite.LicenseKey adında bir ortam değişkeni okur.
Adım 3: Asistanınızı IronWebScraper'ın LLM Dokümantasyonuna Yönlendirme
- llms.txt her biri tek satır özetten oluşan 17 bağlantı listeler.
- llms-full.txt tek bir dosyada 13 dokümantasyon sayfasının özetini içerir.
- llms-full.txt, blog makalelerini de kapsayan bir dizin olarak llms-full-catalog.txt'ı tanımlar, ancak 17 Ekim 2026'da dosya llms.txt ile aynıydı.
- API Referansı, her üyenin imzasını listeler.
- Beceri dosyalarını destekleyen araçlar skill.md'yi kullanabilir, bu da kurulum, lisanslama, tarifler ve yaygın hataları kapsar.
- AI Produkt Fact Sheet desteklenen platformlar ve ana kullanım durumlarını ana hatlarıyla belirtir.
Her oturumun başında bir dizin ve açık bir talimat sağlayın.
Read https://ironsoftware.com/webscraper/csharp/llms.txt before you touch the scraper code again.
Keep to what the pages it links describe.
An IronWebScraper crawl is built like this:
- A scraper class extends WebScraper and overrides Init and Parse.
- Init sets the crawl options and queues the first URL with Request.
- Parse gets a Response, selects nodes with Css or XPath, and queues more pages.
- Scrape appends one JSON line per record to a file under WorkingDirectory.
- Start runs the crawl and returns once the queue is empty.
Response.RequestlUrl has that extra l in the real API, so don't correct it.
For a member those pages don't mention, follow these steps:
1. Look it up at https://ironsoftware.com/webscraper/csharp/object-reference/api/.
2. Compile once to show it exists.
3. If you're still unsure, tell me and don't guess.
Then list every IronWebScraper call here that none of those pages covers.
RequestlUrl olarak yazılan üye gerçek üyedir ve derleme RequestUrl içermez. Yazımı düzelten bir asistan derlenmeyen bir kod üretir.
Adım 4: Projenize IronWebScraper Bağlamı ekleyin
Sohbete girilen talimatlar oturum sona erdikten sonra kaybolur. Tarama kurallarını takımınızın kullandığı proje dosyasına kaydedin. Claude Code, CLAUDE.md'yi okur, ChatGPT Codex, AGENTS.md'yi okur, GitHub Copilot .github/copilot-instructions.md'yi okur, Cursor, .cursor/rules/veya AGENTS.md'deki .mdc dosyalarını okur ve Google Antigravity, AGENTS.md veya GEMINI.md'yi okur. Tek bir metin bloku hepsiyle uyumludur, ancak Cursor kural dosyaları, MDC ön bilgi de içerir. Aşağıdakilerle başlayın.
Crawlers in this project are written with IronWebScraper and follow these rules:
- The NuGet package and the namespace share one name, `IronWebScraper`.
- The documentation index is https://ironsoftware.com/webscraper/csharp/llms.txt.
- If the tool supports skill files, use https://ironsoftware.com/webscraper/csharp/skill.md too.
- Startup code assigns `IronWebScraper.License.LicenseKey` before any crawl runs.
- Its value is looked up by name in IRONWEBSCRAPER_LICENSE_KEY, and nothing prints the environment.
- The key stays out of console output, log files and commits.
- A scraper is a subclass of `WebScraper` with `Init` and `Parse` overridden.
- No raw `HttpClient` loop fetches pages beside it.
- Pick content out of the `Response` with `Css` or `XPath`, never with regular expressions.
- Add an `HttpIdentity` whose `UserAgent` names the crawler. Without one, no user agent is sent.
- Set `RateLimitPerHost`, `OpenConnectionLimitPerHost` and `HttpRetryAttempts` in `Init`.
- Never lower those limits to speed up a crawl.
- `ObeyRobotsDotTxt` reads robots.txt from the default port only.
- For a site on another port, add its disallowed paths to `BannedUrls`.
- A page that keeps failing never reaches `Parse`. Override `Log` to record which URL failed.
- Each crawl adds lines to the file `Scrape` wrote last time. Delete it before a new crawl.
- `ScrapeUnique` drops the first record it writes to a file.
- Write records with `Scrape` and remove duplicates by id.
- Develop against a local copy of the site before pointing at a live host.
Beceri dosyası üç alanda güncellenmemiştir. Tek dosyalık örneği IronWebScraper 2026.8.1'e sabitler, ObeyRobotsDotTxt'ı robots.txt yolları ve oranlarına uyar gibi sunar ve ScrapeUnique'yı yinelenmemiş bir ekleme olarak tanımlar. 2026.10.1 için yapılan sondajlar son ikisini çelişkilidir.
5. Adım: Anında Kurulum Komutu
Adımlar 1'den 4'e kadar bir proje veya oturumun başlangıcında tek bir mesaj olarak gönderilebilir.
Set this project up for IronWebScraper crawls with these rules:
- Keep the IronWebScraper package pinned at 2026.10.1.
- The app fills IronWebScraper.License.LicenseKey before the first crawl.
- It looks up IRONWEBSCRAPER_LICENSE_KEY itself and never enumerates the environment.
- No console line, log or committed file ever contains the key.
- Start from https://ironsoftware.com/webscraper/csharp/llms.txt and keep the code within it.
- Look up anything those pages miss in the API reference that llms.txt links.
- A tool that reads skill files also loads the agent skill listed there.
- Every scraper sets a user agent, a rate limit and a retry count before its first request.
- Nobody removes those settings to make a crawl finish sooner.
- Test selectors on a local copy of a site first.
Save these rules in the file your later sessions load.
Tell me that file's name and list any other change you made.
6. Adım: Çalışan Kod Üreten Talimat Desenleri
Başlangıç sayfasını, takip edilecek sayfaları, alanları ve çıkış dosyasını adlandırın.
Belirsiz IronWebScraper ile bir etkinlik sitesi için kazıyıcı yazın.
Daha İyi
WebScraper'ı genişletin.Init, adlandırılmış bir kullanıcı ajanı ile birHttpIdentityekleyin, bir saniyelikRateLimitPerHostayarlayın ve ilk listeleme sayfasını isteyin.Parse'da, Sonraki bağlantısını izleyin, her etkinlik sayfasını ikinci bir analiz yöntemi ile isteyin ve her etkinliğiScrapeile events.jsonl'a yazın.
IronWebScraper sürümünü ve hedef çerçeveyi belirtin.
Daha İyi .NET 9'da IronWebScraper 2026.10.1'i kullanın ve
Start'den önce IronWebScraper_LICENSE_KEY'i atayın.
Tam dosya talep edin. Bir kazıyıcı bir alt sınıf olduğundan, kısmi bir snippet sınıf beyanını veya using IronWebScraper; direktifini atlayabilir.
Daha İyi Tüm Program.cs ve kazıyıcı sınıfı, kendi using direktifleri ve lisans satırı ile birlikte, olduğu gibi derlemeye hazır şekilde geri döndürün.
7. Adım: Geri Aldığınız Şeyi Doğrulayın
Aşağıdaki hataların her biri, üretilen kodun gözden geçirilmesinde kolayca kaçırılabilir.
- Kütüphanenin yanında bir istek döngüsü:
HttpClientile getirilen bir sayfa her hızı sınırlandırma ayarını atlar, bu yüzden üretilen kod böyle bir çağrı içermemelidir. - Bir testi bitirmek için kaldırılan bir hız sınırı:
Init'deki ayarı kontrol edin, ilkRequest'den önce. - Bir öznitelikle başlayan bir seçici:
Css("[data-event-id]"), 2026.10.1'de XPathException fırlattı, oysaCss("article[data-event-id]")öğeyi döndürdü. Her öznitelik testinin önüne bir etiket adı ekleyin.
Ajanın Kendi Çalışmasını Doğrulamasına İzin Verin
Rebuild in Release from clean and remove the previous crawl's output files.
Keep events.run1.json, then run the crawl again.
Show me what that run proves:
- Every IronWebScraper class and member used, with its documentation page.
- Whether IronWebScraper.License.IsLicensed came back true.
- The user agent, rate limit, connection limit and retry count set in Init.
- How many records events.json has, plus every event link without one and the reason.
Then tell me whether events.json holds every event the crawl was meant to collect.
IronWebScraper ile Tarama Varsayılanları
Bu makalenin sondajları, her varsayılan yerinde bırakılarak yerel bir siteyi 5467 numaralı portta taradı.
| Ayar | 2026.10.1'de Varsayılan | Test sitesindeki ölçülen etki |
|---|---|---|
ObeyRobotsDotTxt | true | robotos.txt isteği siteye ulaşmadı ve yasaklanan bir sayfa getirildi |
RateLimitPerHost | 50 milisaniye | Tam bir taramanın 42 isteği 2.55 saniye içinde geldi |
OpenConnectionLimitPerHost | 2 | Tüm 42 istek tek bir bağlantı üzerinden geldi |
HttpRetryAttempts | 8 | Başarısız olan her sayfa için dokuz istek |
Kullanıcı ajanı (Identities boş) | none | Her istek Kullanıcı Ajan başlığı olmadan gönderildi |
WorkingDirectory | Kazı | Çıkış dosyaları şu andaki dizin altında bir Kazı klasöründe göründü |
IronWebScraper, robots.txt adresini şemadan ve ana bilgisayar adından oluşturur ve portu dışarıda bırakır. Test sitesinde, tarayıcı her iki döngü geri adresinde de port 80'i denedi, bu bağlantıların başarısız olması için 4.1 saniye bekledi ve sonra kuralsız taramaya geçti. Günlüğü hala ana bilgisayar için robots.txt'nin uyulacağını bildirdi. Varsayılan portta bir site etkilenmez. Başka herhangi bir porttaki bir site için, BannedUrls'a yasaklanan yolları ekleyin, bu da sondajdaki sadece üyelere özel sayfayı taramanın dışında tuttu.
IronWebScraper ile Başarısız ve Atlanan Sayfalar
IronWebScraper, 404 yanıtı veren bir sayfayı ve 500 yanıtı veren bir sayfayı aynı şekilde işler.
HttpRetryAttempts2'ye ayarlandığında, başarısız olan her sayfa üç kez istendi ve günlük satırı yine de "2 deneme sonrası" rapor verdi.- 0 ayarı her başarısız sayfa için bir istek üretti.
- Başarısız olan bir sayfa için
Parsehiçbir zaman çağrılmadı, bu yüzden kazıyıcı durum kodunu asla görmüyor. - URL yalnızca kritik günlük satırında "Url kalıcı olarak başarısız" olarak görünür ve
FailedUrlssayar. BirLoggeçersiz kılma, hangi sayfaların başarısız olduğunu kaydedebilir. - Bir analiz yöntemi içinde fırlatılan bir istisna, başarısız bir istekle aynı etkiye sahiptir. Sayfa dokuz kez istendi, başarısız olarak günlüğe kaydedildi ve tarama devam etti.
IronWebScraper 2026.10.1 ayrıca Init'de istendiğinde bazı sayfaları kaydetmeden atlar. Bu kılavuzların sondajlarında, Init'da üç etkinlik sayfası talep eden tarayıcılar, 26 çalışmanın 1'inde üçünü de getirdi. Oradaki 10 sayfayı kuyruğa alan bir tarayıcı, 8 çalışmada 2 ile 9 arasında istekte bulundu. Atlanan sayfalar siteye ulaşmadı, FailedUrls 0'da kaldı ve günlük hala "Tarama Tamamlandı" rapor etti. Init'da ilk sayfayı isteyip geri kalanını bir analiz yönteminden kuyruğa almak, 8 çalışmanın 8'inde her etkinlik sayfası getirildi.
IronWebScraper ile Çıkış Dosyaları
Scrape herhangi bir nesneyi bir satırlık JSON'a serileştirir ve onu bir JSON Satırları dosyasına ekler. Göreceli bir dosya adı WorkingDirectory'ya karşı çözülür ve bir dosya adı olmadan yapılan bir çağrı, IronWebScraper.ScrapedData.jsonl gibi türün adından sonra bir yere yazar.
- Dosya, byte sıralama işareti olmadan UTF-8'dedir ve CRLF satır sonları vardır. Aksanlı başlıklar karakter olarak yazıldı.
- Bir
DateTimeOffsetdeğeri kendi ofsetini korudu ve 12.50'lik ondalık fiyat her iki basamağı da korudu. Scrapeher çalışmada son ekler. Aynı klasöre yapılan ikinci bir tarama dosyayı iki katına çıkarır, program önce onu silmezse.ScrapeUniquezaten yazılmış olan bütün bir JSON satırının kaydını atlar, bu yüzden fiyatı değişmiş olan aynı etkinlik tekrar yazılır.ScrapeUnique, her bir tarayıcı örneğinde ilk kaydı yazdığında her dosyada da bırakır. A, B, C ve A'yı yeni bir dosyaya yazmak B ve C'yi geride bıraktı. Tek bir çağrı dosyayı asla oluşturmadı ve tam bir taramada ilk analiz edilen etkinlik çıkışta eksikti.
Yenileyebileceğiniz Bir Sonuç
Test, tek bir talimattan oluşur ve hiçbir kodu yazmazsınız. Test sitesini servis edin, boş bir klasörde yeni bir oturum açın, isteği yapıştırın ve sonucu geçiş kriterleriyle karşılaştırın.
IRONWEBSCRAPER_LICENSE_KEY'de bir IronWebScraper deneme veya üretim anahtarını ve 5467 portunda bir test sitesini gerektirir. gen_site.py sayfalarını yazar ve serve.py bunları döngü geri adreslerinde sunar ve her isteği günlüğe kaydeder.Site, üç sayfada 23 farklı etkinlik bağlantısı listeler. Yirmisi, etkinlik sayfalarına gider, robots.txt biri engeller, biri 404 yanıt verir ve biri 500 yanıt verir. Bir etkinlik hem öne çıkan kutuda hem de listede görünür.
İstem
Make a .NET 9 console program that exports a local test site's event listings to JSON.
If this folder already holds project files, say so and stop.
Don't ask me anything.
Write all output here.
Add the NuGet package IronWebScraper 2026.10.1.
Go through https://ironsoftware.com/webscraper/csharp/llms.txt, then its agent skill.
Also read its license keys page and the tutorial /tutorials/webscraping-in-c-sharp/.
Call only members documented there or in the API reference.
The events app's first action sets IronWebScraper.License.LicenseKey.
It reads IRONWEBSCRAPER_LICENSE_KEY by name for that value.
Never let the key reach the console, files, shell echoes or environment variable listings.
If IronWebScraper.License.IsLicensed is false, the app exits with a message.
The site's listings start at http://localhost:5467/events/.
Follow the Next link through every listing page and open each event link.
The IronWebScraper crawler keeps to these limits:
- It requests only http://localhost:5467/ addresses.
- It requests no path that http://localhost:5467/robots.txt disallows.
- It sends the user agent RiversideEventsBot/1.0 on every request.
- It waits at least one second between requests, over one connection at a time.
- It retries a failed page at most twice.
Write a record per loaded event page with IronWebScraper's Scrape or ScrapeUnique.
events.json holds those records as a UTF-8 JSON array sorted by start time.
Each record has these fields:
- id, from the data-event-id attribute.
- title, with its accented letters intact.
- start, the time element's datetime value, unchanged.
- venue.
- price as a number, null when the page says Free.
- tags as an array.
- status in lower case, "scheduled" when the page shows none.
- url, the page's full address.
Also write these files:
- links.json lists every distinct a.event-link target on the listing pages.
- skipped.json gives each failed or disallowed link and its reason.
- requests.log has every URL the crawler requests, with a timestamp.
Each link in links.json ends as a record, a failed request, or a path robots.txt disallows.
Next, do a Release build and run it twice.
Keep the first run's file as events.run1.json and both runs' SHA-256 values.
The second run's events.json must match events.run1.json byte for byte.
Last, add a check mode that sends no requests, and run it to write readback.md.
It reads each actual value from disk.
readback.md gives expected, actual and match for these checks:
- Records plus skipped links equal the distinct event links found.
- No two records share an id.
- Records are in start order, and every start keeps its UTC offset.
- requests.log has no disallowed path, no other host, and no gap under one second.
- The two SHA-256 values are equal.
readback.md names any request you sent the site outside the crawl, and why.
When a check fails, find the cause, fix it and rerun.
Some causes are inside IronWebScraper, with no workaround.
For those, readback.md names the member, what you tried and the unmatched check.
Then finish the rest.
Tell me the Release build result, matching checks out of the total, and your assumptions.
Çıktı
Uygulamanın düzenlenmemiş readback.md beş kontrolünü listeler ve events.json ve skipped.json, uygulamanın yazdığı şekliyle mevcuttur. Çalıştırmadan sonra istem düzenlenmedi. Aşağıdaki figürler, bu dosyaların ve test sitenin günlüğünün bağımsız bir okumasından elde edilmiştir.

Uygulamanın yazdığı şekliyle events.json'un satırları 104'ten 129'a kadar, düz metin olarak çizilmiştir.
- Bir net9.0 sürüm derlemesi, uyarısız ve hatasız tamamlandı.
- events.json, her etkinlik sayfası için bir tane olmak üzere 20 kayıt tuttu, başlangıç saati sırasına göre sıralandı.
- Her kaydın her alanı kendi etkinlik sayfasıyla eşleşti. Her başlangıç saatinin aksanlı başlıkları ve UTC ofseti korundu.
- Kazıyıcı, ilk isteğini robots.txt olarak kendisi talep etti ve AcceptUrl'un bir geçersiz kılmasında yasaklanan yolları reddetti.
- Uygulamanın gönderdiği hiçbir tarama, yasaklanan bir yol talep etmedi.
- Uygulama kendi robots.txt kurallarını almadan önce oturum, sadece üyelere özel sayfayı el ile üç kez getirdi.
- İki Yayın taramasının her biri, RiversideEventsBot/1.0 kullanıcı ajanı ile 30 istek gönderdi.
- Bu taramalardaki istekler arasındaki en kısa boşluk 1.028 saniyeydi.
- Her başarısız sayfaya üç istek geldi, ilk deneme ve iki yeniden deneme.
- Uygulamanın notları, ScrapeUnique'un ilk kaydı kaybettiğini kaydetti ve nihai kod, her kaydı Scrape ile yazdı.
- Uygulamanın iki çalışmasından sonraki events.json byte byte aynıydı ve ayrı bir yeniden derlemenin iki çalışmasından sonraki gibi.
- Uygulamanın geri bildirimi, 5'te 5 kontrolü eşleştirdi.
- Bağımsız okuma, 37 kontrolün tümünü eşleştirdi.
- readback.md, iki Yayın taramasının dışında gönderilmiş 165 isteği listeler ve test sitesinin günlüğü 195'i kaydetmiştir.
- Proje klasöründeki hiçbir dosya, Git geçmişi veya Claude Code oturum dosyaları lisans anahtarını içermiyordu.
- Kurulum istemi, kurallarını 112 satırlık yeni CLAUDE.md'ye yazdı.
- Bazı adımlar sayfadan farklı çalıştı. Adımlar 1, 3, 5 ve 7, aynı oturumda kabul isteminden sonra çalıştı. Test kurulumu, yedi geçerli komutu engelledi ve oturum, her görevi başka bir yolla tamamladı.
Geçen şeyler
- Bir sürüm derlemesi, herhangi bir manuel düzenleme olmadan tamamlanır.
- events.json, başlangıç saati sırasına göre sıralanmış 20 kayıt tutar, sayfaları kendiniz okuduğunuzda her alan kendi etkinlik sayfasıyla eşleşir.
- skipped.json, sadece üyelere özel sayfayı ve başarısız olan iki bağlantıyı adlandırır.
- Sitenin kendi istek günlüğü, yasaklanan bir yol, kazıyıcı istekleri arasında bir saniyenin altındaki boşluk ve başarısız bir sayfa için en fazla üç istek göstermez.
- İkinci bir çalışma, aynı events.json'u üretir.
- Proje klasöründe yapılan bir arama, lisans anahtarını içeren hiçbir dosya bulamaz.
Çalıştırma kaydı
- Tüm çalıştırmalar, Core i9-14900KF ve 64 GB belleğe sahip bir Windows 11 x64 masaüstü kullanmıştır.
- Bu kılavuzun projesi net9.0'ı hedef alır ve
IronWebScraper2026.10.1'i sabitler ve her tarama aynı makinede sunulan bir test sitesini hedef aldı. - Bir rehberin süresi, sayfasındaki talimatlar için kaydedilen zamanların toplamıdır ve bu rehberin satırı sadece kabul talimatını sayar.
- Tablo tablo her aracın kendi oturum dosyaları ve çalıştırma kayıtları gelmiş ve ayrı bir sürüm kontrolu yapılmamıştır.
- Cursor CLI, oturum dosyalarında bir sürüm kaydetmez, bu yüzden satırı, çalışmayı kapsayan işlem kayıtlarına sahip yüklü derlemeyi verir.
- Son test edildi 26 Ekim 2026'da Claude Code kılavuzu için, ve tablodaki diğer tüm kılavuzlar için 17 Ekim 2026.
| Kılavuz | Asistan ve versiyon | Model | Süre (dakika) |
|---|---|---|---|
| Bu kılavuz | Claude Code 2.1.277, tek oturum, izin uyarıları kapalı | Claude Opus 5 | 23.7 |
| Claude Code | Claude Code 2.1.277, plan modunda uyarı 3 | Opera 5 ile Sonnet 5 planlama | 28.0 |
| ChatGPT Codex | Codex CLI 0.160.0 | GPT-6 Luna | 27.8 |
| GitHub Copilot | Copilot CLI 1.0.95 | GPT-6 Luna, Auto tarafından seçildi | 18.9 |
| Cursor | Cursor CLI 2026.10.16-e3cb207, başsız | Composer 2.5 | 17.0 |
| Google Antigravity | Antigravity CLI 1.4.0, izin talimatları atlandı | Gemini 4 Argon (Orta) | 109.9 |
Ajan'a Özgü Kılavuzlar
Aşağıdaki kılavuzların her biri, bir aracı ve bir kazıma görevini bu adımlara uygular.
- Bir şirket blog arşivini içerik envanterine dönüştürmek için IronWebScraper'ı Claude Kodu ile kullanın
- Fiyat izlemesi için sayfalanmış bir ürün kataloğunda IronWebScraper'ı ChatGPT Codex ile kullanın
- Sinema gösterim saatleri toplayıcı için IronWebScraper'ı GitHub Copilot ile kullanın
- Tedarikçi rehberi tarayıcısını HttpClient ve HtmlAgilityPack'ten taşımak için IronWebScraper'ı Cursor ile kullanın
- Durdurulduktan sonra devam eden bir iş ilanları tarayıcısı için IronWebScraper'ı Google Antigravity ile kullanın
Hata Ayıklama
Startbir lisanslama istisnası atarsa IronWebScraper Lisans Anahtarları- Bir sayfa yükleme sonrasında geldiği için boş görünüyorsa IronWebScraper ve JavaScript
- Paralel analiz toplamaya uymayan sonuçlar veriyorsa İş Parçacığı Güvenliği
Sorular?
Herhangi bir sorunuz varsa, support@ironsoftware.com adresinden bize ulaşın
Curtis Chau, Bilgisayar Bilimleri alanında Lisans Derecesine (Carleton Üniversitesi) sahip ve Node.js, TypeScript, JavaScript ve React konularında uzmanlaşmış ön uç geliştirmeyle ilgileniyor. Sezgisel ve estetik açıdan hoş kullanıcı arayüzleri oluşturma tutkunu, Curtis modern çerçevelerle çalışmayı ve iyi yapılandırılmış, görsel olarak çekici kılavuzlar oluşturmayı seviyor.