IronWebScraper'ı Claude Code ile Nasıl Kullanılır

Curtis Chau
Curtis Chau
Güncellendi: 26 Ekim 2026

Bir kazıyıcı yazması kolaydır ve kötü yazmak da kolaydır. Kötü sürüm, önünüzdeki sayfa üzerinde çalışır, yönlendirildiği ana bilgisayarı görmezden gelir ve bir düzen ilk kez değiştiğinde doğru olmaktan çıkar. Şirket blogunu yeni bir platforma taşımayı planlayan bir pazarlama takımı, önce her yayınlanmış gönderinin adresi, başlığı, yazarı, yayın tarihi, kategorileri, etiketleri, kelime sayısı ve resimleriyle bir envanterine ihtiyaç duyar. Arşiv, beş yılı ve iki site temasını kapsar ve bir gönderi hiçbir arşiv sayfasından bağlantılı değildir. Anthropic, Claude Code'u programlama için bir ajan olarak kurdu; komut satırında, VS Code veya JetBrains içinde, masaüstü uygulaması olarak ve tarayıcıda kullanılabilir. Hepsinde kod okur, dosyaları düzenler ve komutlar çalıştırır; bu da seçiciye her değişiklik yapıldığında başka bir çalıştırmanın ve çıktıya bakmanın ardından gelen kazıyıcı çalışması için uygundur.

IronWebScraper, tek bir temel sınıf etrafında inşa edilmiştir. WebScraper genişletin, başlangıç URL'sini talep etmek ve tarama kurallarını ayarlamak için Init geçersiz kılın ve her yanıttan değerleri çekmek için Parse geçersiz kılın. Sıra ve frenleme zaten yerinde, bu nedenle ajan sadece siteye bağlı olan kısımları yazar. blog eğitimi bir blogda deseni gösterir. Bu kılavuz, Claude Code'un içerik envanterini oluşturmak için dört test edilmiş istemle nasıl yapılandırılacağını açıklar ve her isteme bağlı olan IronWebScraper davranışlarını kaydeder.

Anthropic, Claude Fable 5.1 ve Claude Fable 5'i, tek oturumda ele alınamayacak kadar büyük görevler için uygun olan Claude Code içindeki en yetenekli modeller olarak belgeler. /model komutu oturumunu sonlandırmadan modeli değiştirir.

Her istemde alanları, çıktı dosyasını ve tarama sınırlarını adlandırın ve geri kalanını ajana bırakın.

Hızlı Başlangıç
NuGetNuGet ile Yükle

PM > Install-Package IronWebScraper

Yukarıdaki komutu NuGet Paket Yöneticisi Konsolunda çalıştırarak veya NuGet Paket Yöneticisinde arama yaparak IronWebScraper'u yükleyin.

Proje klasöründe bir terminal açın, claude çalıştırın ve ilk istemden önce /model opusplan girin. Test, yerel makinada port 5437'de şirket blogunun bir kopyasını sundu ve her istem o adresi adlandırır.

Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.

The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:

- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.

After setting the key, Program.cs does these things in order:

1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.

Run it once and show me the console output.
Text


.NET kazıyıcı projesinde Claude Code ne yapar?

Ajan, WebScraper alt sınıfını yazar ve test bloguna karşı çalıştırır. Geliştirici hangi sitenin taranacağına, ne kadar hızlı ve hangi sayfaların hariç tutulacağına karar verir.

Sonraki bölümlerdeki proje kuralları, elle yazılmış bir istek döngüsünü yasaklar ve paketin adını ve sürümünü belirtir, böylece ajan, paketi yalnızca adıyla almaz.

Claude Code nasıl kurulur?

Anthropic'in hızlı başlangıcı takip edilerek Claude Code yüklensin ve giriş yapılsın. Kurulum, claude bir terminalde başladığında ve yanıt verdiğinde tamamlanır.

Claude Code'un çalışabileceği bir proje nasıl kurulur?

Ajana önce gerçek bir hedef verin. Test düzeni, hiçbir paket referansı olmayan bir .NET 9 konsol uygulamasıdır ve blog, 26 gönderi ile yerel bir site olarak çalışır. 2023'ten itibaren gönderiler mevcut temayı kullanıyor ve dokuz eski gönderi önceki temayı kullanıyor. Arşiv, bir gönderiye yeniden yönlendirme yoluyla bağlantı verir, bir gönderi sunucu hatası yanıtı verir, daha eski bir gönderi windows-1252 kodlamasıyla gönderilir ve robots.txt, ikinci arşiv sayfasının bağlantı verdiği taslaklar klasörünü yasaklar.

CLAUDE.md her oturumun başında yüklenir, bu nedenle orada yazılan kurallar sonraki her talimata uygulanır. İkinci istem, dosyayı ve kazıyıcı kodu için salt okunur bir inceleyici oluşturur.

Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:

- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.

Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.

Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:

- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?

I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Text

Üye listesinin ötesindeki kılavuzlar için, IronWebScraper temsilciler için belgelerini llms.txt'de listeler.

Hangi IronWebScraper tarama kuralları CLAUDE.md'de yer alır?

Her satır, lisans anahtarıyla ve anahtarsız yerel blogu tarayan ve sitenin istek günlüğünü Parse aldığıyla karşılaştıran bir problardan gelir. Bloğu Taramalar bölümünün altına yapıştırın.

These crawl rules were measured on IronWebScraper 2026.10.1:

- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Markdown

IronWebScraper, sitenin bir yerel kopyasına robots.txt'yi nasıl uygular?

ObeyRobotsDotTxt varsayılan olarak açıktır, ancak IronWebScraper, başlangıç URL'sinin belirttiği port ne olursa olsun, http://localhost/robots.txt,'dan port 80'de robots.txt'yi talep etti. Test blogunda asla robots.txt istemedi ve yasaklanmış taslağı aldı. Port 80'de hiçbir şey dinlemezken, ilk istek, prob işlemi başladıktan 4,5 saniye sonra bloga ulaştı ve ObeyRobotsDotTxt 'yi false olarak ayarlamak bu süreci 0,5 saniyeye düşürdü.

İkinci bir prob, blogun kurallarını da port 80'de sundu. Herhangi bir kullanıcı ajanı ayarlanmadan, Request bu kurallara karşı 'Geçerli bir kullanıcı ajan dizgesi değil' mesajıyla bir ArgumentException attı, ki bu kurallar bir Tarama-g gecikmesi satırını içeriyor. Kullanıcı ajanı ayarlayan bir HttpIdentity ile taslak istenmemiş kaldı ve istekler bir saniyelik tarama gecikmesini korudu. BannedUrls gibi bir */blog/drafts/* glob, problu taslağı dışarıda tuttu.

Hangi sayfalar Parse'a ulaşır ve her biri kaç kez istenir?

Varsayılan ayarlarla, prob taraması, test bloguna 43 istek gönderdi. Kodun iki kez aynı parse yöntemiyle talep ettiği bir URL bir kere alındı. Bir yönlendirme ve hedefi iki URL olarak sayıldı, bu yüzden yönlendirilmiş gönderi iki kez alındı ve aynı Parse ile iki kez FinalUrl ulaştı.

500 yanıtı veren gönderi, varsayılan HttpRetryAttempts 8 ile 9 istek aldı ve Parse ona hiç çalıştırılmadı. Bu yüzden hatalarını listelemesi gereken bir kazıyıcı, kuyrukta bekleyen bağlantılar ile yazdığı satırları karşılaştırır.

RateLimitPerHost her isteğin bir ana bilgisayara başlangıcını aralar. 1.000 milisaniyede ölçülen boşluklar 1,03 ile 1,06 saniye arasında, ancak yanıt vermesi 2,5 saniye süren gönderi, iki sonraki isteği aşarak çünkü OpenConnectionLimitPerHost varsayılan olarak 2'dir. IronWebScraper ayrıca sayfa sırası dışında istek gönderdiği için sıralı çıktı gerektiren bir kazıyıcı, satırlarını yazmadan önce sıralar.

IronWebScraper çıkış dosyalarına ne yazar?

Scrape JSON Satır dosyasına ekler ve aynı çalışma klasörüne yapılan ikinci bir çalışma, prob dosyasını 27 satırdan 54 satıra çoğalttı. ScrapeUnique her kazıyıcının bir dosyaya yazdığı ilk kaydı düşürür ve ilk yazılan gönderi, tüm 14 prob taramalarındaki benzersiz dosyada eksikti.

Windows-1252 gönderisi aksanlarını kaybetti. Response.CharSet windows-1252'yi bildirdi, yine de metin UTF-8 olarak çözüldü ve yazarın adı aksanlı harfler yerine yerine koyma karakterleriyle geldi. Aynı yazar tarafından gönderilen UTF-8 olarak gönderilen gönderiler doğru çözüldü. CodePagesEncodingProvider, Encoding.RegisterProvider ile Start 'dan önce kayıt etmek çözmeyi düzeltti.

Windows-1252 gönderisi tarayıcıda böyle görünür. Envanter, yazar adındaki aksanlı harfleri tutmak zorundadır.

Windows-1252 gönderisi, aksanlı bir yazar adıyla yerel test blogunda.

Windows-1252 gönderisi, Chrome'un onu gösterdiği gibi yerel test blogunda. Site ve gönderileri test için inşa edildi.

Derlenebilir IronWebScraper kodu için nasıl istem yapılır?

Kazıyıcıyı ve çıkış kurallarını bir istemde talep edin ve herhangi bir dosya değişikliğinden önce plan modunun tasarımı oturtmasına izin verin. Talebi göndermeden önce Shift+Tab ile plan moduna geçin. opusplan seçildiğinde, Opus planı yazar ve plan onaylandığında Sonnet bunu gerçekleştirir.

Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:

- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.

Write out/content-inventory.csv with one row per post, in this shape:

- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.

Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.

Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Text

İki kısmı, envanteri korur.

  1. Her sunulan adres için bir satır: envanter bir geçişi besler ve iki adres altında listelenen bir gönderi iki kez taşınır.
  2. Başarısızlıklar ayrı bir dosyada: olmadan, eksik bir gönderi yayınlanmamış bir gönderiden ayırt edilemez.
İpuçları: Planı sadece robots.txt kuralları BannedUrls ve RateLimitPerHost ayarlarına dönüştüğünde ve ScrapeUnique ile hiçbir satır yazılmadığında onaylayın.

Blog gönderi şablonunu değiştirdiğinde ne olur?

Test, yerel blogu üçüncü ve dördüncü istemler arasında yeni bir gönderi şablonuna geçirdi. Arşiv sayfaları ve eski gönderiler işaretlemelerini korudu, 2023'ten itibaren her gönderi yeni sınıf adlarına geçti. @ ile başlayan bir yol, isteğe o dosyayı ekler.

The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:

1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.

Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
Text

Oluşturulan tarayıcı koduna güvenmeden önce neyi doğrulamalısınız?

İnceleme sırasında aşağıdaki kontrolleri dahil edin.

  • İstek günlüğü: sayfa başına istekleri sayın, yasaklı bir yolun altındaki hiçbir şeyin alınmadığını doğrulayın ve istekler arasındaki boşlukları ölçün.
  • Oluşturma: dotnet build var olmayan bir üye, gibi Response.RequestlUrl düzeltilmiş bir yazım reddeder.
  • Satır örneği: her temadan birkaç gönderiyi açın ve alanlarını, geçiş başlamadan önce envanterle karşılaştırın.

Sabit başarı kriterleriyle yeniden çalıştırılabilir bir IronWebScraper görevi için, AI kodlama asistanları kılavuzuna bakın.

Gerçek bir çalıştırmada istemler ne üretti?

Claude Code, dört istemi bir oturumda, düzenli olarak yerel bloga karşı çalıştırdı. Kurallar bloğu üçüncü istemden önce CLAUDE.md'ye eklendi. Hiçbir kod elle düzenlenmedi.

  • Çalışmadan önce, depo tek satırlık bir Program.cs içeriyordu ve paket referansı yoktu.
  • Hızlı başlangıç programı, IsLicensed için True yazdırdı, 10 gönderi kartı saydı ve ilk gönderiyi doğru adlandırdı.
  • CLAUDE.md, beş Tarama kuralı aldı ve alt ajan dosyası sadece Okuma, Grep ve Glob araçlarını listeledi.
  • Planlama sırasında oturum ve alt ajanlar bloga 370 curl isteği gönderdi, bunlardan 5'i yasaklanmış taslaklar klasörüneydi.
  • Kazıyıcı, ObeyRobotsDotTxt'i false olarak ayarladı, robots.txt'yi kendi okudu ve kurallarını BannedUrls ve RateLimitPerHost ayarlarına dönüştürdü.
  • Üçüncü isteminin taraması, hepsi LarkspurInventory/1.0 kullanıcı ajanıyla ve hiçbiri taslaklar klasörüne olmamak üzere 38 istek gönderdi.
  • İstek başlangıçları arasındaki ortanca boşluk 1,04 saniyeydi ve iki kısa boşluk robots.txt ve bir yönlendirmeyi takip etti.
  • Başarısız gönderi, o taramada 3 istek aldı ve başarısız-sayfalar.txt'deki tek kayıt oldu.
  • Üçüncü istemden sonra, envanter 25 satır tuttu ve her alan kontrolümüzde blogun kendi verileriyle eşleşti.
  • Yönlendirilmiş gönderi bir kez, nihai adresi altında göründü ve arşiv sayfalarında eksik olan gönderi mevcuttu.
  • Windows-1252 gönderisi aksanlı yazar adını korudu ve hiçbir satır yerine koyma karakteri içermedi.
  • Yeni şablonda, üçüncü isteminin kazıyıcısı 8 satır yazdı ve 19 başarısız adresi listeledi, ancak yalnızca bir gönderi hata döndürdü.
  • Dördüncü istemdeki bir düzeltmeden sonra yeni envanter, şablon değişikliğinden önce alınan kopya ile byte-olarak aynıydı.
  • Nihai kodun yeni klonları, mevcut tema ve yeni şablonda aynı 25 satırı üretti.
  • Anahtar olmadan program, lisanslamanın başarısız olduğunu bildirdi ve bloga istek gönderilmedi.
  • Lisans anahtarı bu çalışmada hiçbir protokolde, oturum dosyasında, günlükte veya depo dosyasında görünmedi.
  • Bazı adımlar sayfadan farklı çalıştı. Oturum başsız olarak çalıştırıldı, bu nedenle yazılan bir yanıt planı onayladı. Ajanı depoda tutan çalıştırma koruması, dört araç çağrısını engelledi, bunlardan ikisi hataydı.

Envanterin son sekiz satırı, eski temadaki gönderileri tutar.

Test çalışmasından content-inventory.csv'nin başlığı ve içeriğinin son sekiz satırı.

Test çalışmasından content-inventory.csv'nin başlığı ve içeriğinin son sekiz satırı, dosyadan metin olarak çizilmiş. Satır numaraları, dosyanın numaralarıdır.

Kursor kılavuzu ayrıca plan modu burada yaptığı gibi kod yazmadan önce işi planlar. ChatGPT Codex kılavuzu nasıl bu kılavuz CLAUDE.md ile yapıyorsa, başlangıçta Codex'in okuduğu AGENTS.md'de tarama kurallarını tutar. Bu çalışmanın Claude Code sürümü, modelleri, zamanlamaları ve test makinesi, paylaşılan çalışma kaydında yer alıyor.


Hata Ayıklama


Sorular?

Herhangi bir sorunuz varsa, support@ironsoftware.com adresinden bize ulaşın

Curtis Chau, Bilgisayar Bilimleri alanında Lisans Derecesine (Carleton Üniversitesi) sahip ve Node.js, TypeScript, JavaScript ve React konularında uzmanlaşmış ön uç geliştirmeyle ilgileniyor. Sezgisel ve estetik açıdan hoş kullanıcı arayüzleri oluşturma tutkunu, Curtis modern çerçevelerle çalışmayı ve iyi yapılandırılmış, görsel olarak çekici kılavuzlar oluşturmayı seviyor.

Daha Fazla Oku

Başlamaya Hazır mısınız?

NuGet İndirmeleri 150,061Sürüm:2026.11yeni çıktı