IronWebScraper ve Cursor'u Nasıl Kullanırsınız
Bir C# tarayıcı, HttpClient ve HtmlAgilityPack'ten IronWebScraper'a geçtiğinde, her listeleme sayfasını Init'ya sıraya koyan bir port, kayıtları kaybeder. IronWebScraper 2026.10.1, sıraya koyulan her sayfa talebini yapmadan önce böyle bir taramayı sonlandırabilir. Testlerimizde, dört listeleme sayfası, üç çalışmada üç, üç ve iki alınmış sayfa üreten her biri bir Request çağrısı içeren sıraya alınmış Init ile işleme alındı ve çıktı, 46 tedarikçiden 10, 10 ve 24'ünü hatasız kaybetti.
Cursor, VS Code kod tabanı üzerine inşa edilmiş, dosyaları düzenleyen ve komutları çalıştıran bir ajanı olan bir AI kod editörüdür. Bu rehber, bir satın alma ekibinin tedarikçi dizini tarayıcısını taşımak için, .cursor/rules dosyasında belirtilen döküman bağlantıları ve proje kuralları gibi iki özelliğini kullanır. Tarayıcı, bir ticaret dizininden 46 tedarikçiyi ve yalnızca üyelerin iletişim bilgilerini bir CSV dosyasına kopyalar ve rehber bunu, dosyanın bir satırını değiştirmeden veya dizinin saniyede 4 istek limitini aşmadan IronWebScraper'a taşır.
Rehber, gelişmiş web kazıma öğreticisinin hız sınırlama ve kimlik özelliklerini takip eder. Her tarama, localhost'ta sunulan dizinin yerel bir kopyasına karşı çalıştı. Bir kamu sitesi için tarayıcı yazmadan önce sitenin kullanım şartlarını okuyun ve izin alın.
Hızlı BaşlangıçHarborDirectory deposu açıkken, bu prompt'u yeni bir Ajan sohbetine yapıştırın.
@src/HarborDirectory/ @README.md
Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.
Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.
The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.
The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.
When it builds, run the pages command and show me what it printed.
Lisans anahtarını bir sohbete yapıştırmayın çünkü yapıştırılan içerik bir kaynak dosyada, bir commit'te veya bir derleme günlüğünde görünebilir. IronWebScraper 2026.10.1, IRONWEBSCRAPER_LICENSE_KEY adlı bir ortam değişkenini göz ardı eder, bu nedenle deponun Program.cs dosyası bu değişkeni License.LicenseKey'ya kopyalar. Lisans anahtarı rehberi anahtarın saklanabileceği yerleri listeler.
Asgari İş Akışı (5 adım)
- NuGet'ten C# web kazıma kütüphanesini indirin
- IronWebScraper'ın dökümantasyon bağlantısını içeren .cursor/rules altında bir proje kuralı ekleyin.
- Bu kuralda sitenin istek limitini ve Başlat sıraya koyma kuralını kaydedin.
- Her istekte tarayıcı kodunu ve beklenen çıktıyı referans alın.
- Her çalışmayı sitenin istek günlüğü ile karşılaştırın, sonra API referansında her üye adını doğrulayın.
IronWebScraper çalışması için hangi Cursor modelini kullanmalısınız?
Composer, Cursor'un kendi agentik modelidir. Model seçici ayrıca Cursor tarafından ortak geliştirilen SpaceXAI'nın Grok modellerini ve OpenAI, Anthropic, Google ile diğer laboratuvarların modellerini sunar. Aşağıdaki test çalıştırması Composer 2.5 kullanıldı.
IronWebScraper dökümanını Cursor'a nasıl verirsiniz?
İsteğe IronWebScraper'ın llms.txt bağlantısını ekleyin ya da tüm ekibin paylaştığı bir kurala kaydedin. Ekim 2026 itibarıyla, Cursor'un @ menüsü dosyalar, klasörler, terminaller, sohbetler, Git farklılıkları ve tarayıcıyı ekler, bu nedenle IronWebScraper'ın dokümantasyonu bir bağlantı olarak ajana ulaşır.
Gelişmiş öğretici örneklerinde RateLimitPerHost ayarlansa da, varsayılan değerleri belirtmez ve iki tarayıcının hız limitini paylaşıp paylaşmadığını söyleyen sayfa yoktur.
@src/HarborDirectory/Legacy/PoliteHttp.cs
Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?
Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
IronWebScraper tarayıcı kodu için proje kurallarını nasıl yazarsınız?
Bir proje kuralı, .cursor/rules içinde depolanan ve depo ile sürümlenen bir .mdc dosyasıdır. Cursor, bu klasördeki sıradan bir .md dosyasını görmezden gelir, çünkü frontmatter olmayan bir dosya, kuralların ne zaman yükleneceğine karar vermesine olanak tanımaz.
Aşağıdaki kural, dosya desenlerini globs içinde listeler, bunları Cursor'un kurallar sayfasının belirttiği gibi virgülle ayırır ve alwaysApply'yi false olarak ayarlar. Cursor, bu yollardaki bir dosya bağlamda olduğunda kuralı ekler. .cursor/rules/harbor-crawlers.mdc olarak kaydedin.
---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---
Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Başlat, giriş ve başarısız isteklerle ilgili kurallar IronWebScraper'ın davranışını kaydeder, bu davranışı aşağıdaki bölümler ölçer.
HttpClient ve HtmlAgilityPack çağrıları IronWebScraper ile nasıl eşlenir?
Eski tarayıcı her sayfayı kendi getirirdi ve istekler arasında beklerdi. IronWebScraper istekleri sıraya koyar, her bir başarılı yanıt için bir parse yöntemini çağırarak talepleri ana bilgisayar başına aralıklarla sıralar.
| HttpClient ve HtmlAgilityPack | IronWebScraper |
|---|---|
Sayfa 1 için Init içinde GetAsync | Request olan sayfa numaraları üzerinde bir döngü, ardından Parse'den sıraya alınmış 'Sonraki Sayfa' bağlantısı. |
İstekler arasında Task.Delay | RateLimitPerHost, OpenConnectionLimitPerHost ile paralel istekler |
DefaultRequestHeaders.UserAgent | UserAgent, HttpIdentity üzerinde Identities eklenmiş |
DefaultRequestHeaders.Authorization ile Temel kimlik bilgileri | NetworkUsername ve NetworkPassword bir kimlik üzerinde veya HttpIdentity.DefaultHttpRequestHeaders |
| 429 ve 503 üstüne Retry-After bekleyen bir yeniden deneme döngüsü | HttpRetryAttempts |
SelectNodes ve SelectSingleNode ile XPath | Css veya XPath, Response üzerinde, HtmlNode dizileri döner |
File.WriteAllTextAsync CSV için | Scrape, JSON satırlarını WorkingDirectory altına ekler veya programın kendi yazıcısı |
Port edilmiş bir tarayıcı neden listeleme sayfalarını kaçırır?
GitHub Copilot rehberi, IronWebScraper'ın Init'de yapılan istekleri nasıl düşürdüğünü ölçer. Bu rehber için yapılan denemelerde, düşen sayfaları FailedUrls 0'da kaldı. Request'un bir URL listesi alan aşırı yüklenmesi, üç çalışmada dört listeleme sayfasından ikisini, dördünü ve üçünü getirdi.
Init'da bir istek ve bir parse yönteminden sıraya alınan her ek istek, 8 çalışmanın tamamında 46 tedarikçinin tamamını getirerek, kural Init'yi listelendirmenin 1. sayfasıyla sınırlar.
IronWebScraper isteklerini bir ana bilgisayara nasıl aralıklarla yerleştirir?
Yeni bir WebScraper, 50 ms’lik bir RateLimitPerHost, 2'lik bir OpenConnectionLimitPerHost, 10'luk bir MaxHttpConnectionLimit, HttpRetryAttempts için 8 ve 20 saniyelik bir HttpTimeOut kullandı. Bu değerlerle tarayıcı, 50 dizin isteğini 50 ile 88 ms arasında gönderdi.
Çok hızlı gelen istekleri 429 ve Retry-After başlığı ile reddeden bir test sitesine karşı varsayılanlar başarısız oldu. Her reddedilen URL, aynı aralıklarla 9 kez talep edildi, Retry-After başlığı fark yaratmadı ve 13 URL terk edildi. Eski tarayıcı Retry-After'a saygı gösterdi, bu nedenle yalnızca yeniden denemelere dayanan bir bağlantı kayıtları kaybeder. 500 ms'lik bir RateLimitPerHost 533 ile 563 ms arasında boşluklar üretti, bu da bir tarayıcıyı dizinin sınırı içinde tutar.
Taşıma nasıl planlanır ve çalıştırılır?
Plan Modu seçilene kadar sohbet girişinde Shift+Tab tuşlarına basın, ardından aşağıdaki isteği gönderin. Cursor, planı düzenlenebilir bir Markdown dosyası olarak yazar.
@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv
Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.
The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?
List your assumptions at the end of the plan.
Plan üzerindeki hataları düzeltin. Sonra onu plandan oluşturun veya ajan'a geri dönün ve bu isteği gönderin.
@harbor-crawlers
The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.
Then tell me both match counts, how long each run took and how many requests the new run sent.
@harbor-crawlers ile ilgili kuralı adına göre ekler.
Değişimin her birine hangi Cursor özelliği uyar?
Değişikliğin kapsamına göre bir özellik seçin. Geliştiricinin başlattığı düzenlemeyi tamamlar ve satır içi düzenleme (Ctrl+K) bir cümle ile tanımlanabilecek bir seçimi değiştirir. Ajan, birkaç dosyada değişiklikleri veya bir tarama gerektiren işleri kapsar, ve yanlış bir değişikliği geri almanın maliyeti bir planın yazılmasından daha yüksek olduğunda Plan Modu değerlidir. Bu rehberdeki her istek Ajan veya Plan Modu'na gitti.
Hangi kimlik her isteği gönderir?
Identities'deki her kimlik, kendi kullanıcı ajanı, çerezleri ve giriş bilgilerini taşır. Hiçbir kimlik yoksa, IronWebScraper hiç User-Agent başlığı göndermedi. Birden fazla kimlik ile her istek ve her yeniden deneme için rastgele birini seçti. Bir üye kimliği ve bir genel kimlik tutan bir tarayıcı, 46 iletişim sayfası için 140 istek yapması gerekti, bunların 94'ü 401 ile reddedildi.
NetworkUsername ve NetworkPassword üzerinden ayarlanan bir giriş, korunan her sayfada ikinci bir isteğin maliyetini ekler. Her üye sayfası önce kimlik bilgileri olmadan gönderildi, 401 aldı ve kimlik bilgileriyle yapılan istek 1,4 ms içinde, RateLimitPerHost aralığının dışında takip etti. Request ile üye kimliğini geçmek rastgele seçimi kaldırır ancak ikinci isteği kaldırmaz.
Öğretici özelleştirilmiş başlıklar için HttpRequestHeaders listeler, ancak oraya konulan hiçbir başlık siteye ulaşmadı. Deneme Authorization ve özel bir X-Crawler başlığı ekledi ve hiçbiri ulaşmadı. Kimlik oluşturulmadan önce statik HttpIdentity.DefaultHttpRequestHeaders'e eklenen bir başlık her istekte gönderildi ve her 401'i kaldırdı. Bu sözlük, süreç daha sonra oluşturduğunda genel sayfalar dahil her kimlikte geçerlidir.
Zaten IronWebScraper kullanan tarayıcı nasıl hata ayıklanır?
Sertifika tarayıcısı, taşıma öncesinde zaten IronWebScraper kullanıyordu. Üye kimliği ve bir genel kimlik tuttu, Init içine üç kayıt sayfası koydu ve hız limiti ayarlamadı.
@src/HarborDirectory/Scrapers/CertificateScraper.cs
The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.
Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.
Then fix CertificateScraper.
Run the command three times and give me the count from each run.
Çıktı
Düzeltilmiş tarayıcı, sayfaların parse edildiği sıraya göre bir JSON satırı başına bir sertifika olarak kaydeder.

Tarama sonrası gönderdiği sırasında test koşusu sonunda out/certificates.jsonl'nin 32 satırının ilk 10'u, dosyadan düz metin olarak dönüştürüldü.
İki tarayıcı aynı ana bilgisayarda taradığında ne olur?
Her WebScraper örneği kendi isteklerini sınırlar. Her biri RateLimitPerHost'yı 500 ms olarak ayarlayan ve bir bağlantı kullanan iki tarayıcı, uçan iki isteği muhafaza etti ve aynı ana bilgisayara bir saniyede 6 isteğe kadar gönderdi. Bu nedenle birleşmiş hız kodda planlanmalıdır.
@src/HarborDirectory/
Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.
The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.
Run crawl-all, compare both files with TestData/expected and tell me what matched.
Çıktı
Grafik, yerel siteye tarama tüm çalışma sırasında alınan istekleri saniye bazında sayar.

Testin tarama-tüm çalışması sırasında saniyede istekler, yerel sitenin istek günlüğünden çizilmiş. 100 saniyede 209 istek.
Tarayıcılar için regresyon testlerini nasıl yazarsınız?
Kendi public constructor ile inşa edilmiş bir Response, Css'dan bir ArgumentNullException attı ve ChatGPT Codex rehberi neden IronWebScraper'ın yalnızca kendisi tarafından getirilen sayfaları parse ettiğini açıklar. Bu nedenle testler, kaydedilen sayfaları HTTP üzerinden sunar.
@src/HarborDirectory/ @TestData/pages/
Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.
Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.
Finish by running dotnet test, then report the passing and failing test counts.
Gerçek bir çalıştırmada istemler ne üretti?
Kodda değişiklik yapan her commit'in Taze Yayın derlemeleri, yerel sitenin yeni bir kopyasına karşı aşağıdaki her taramayı tekrarladı. Bir betik, sitenin istek günlüğünü okudu ve her çıktıyı TestData/expected ile karşılaştırdı.
- Taşıma öncesi, HttpClient ve HtmlAgilityPack tarayıcısı 46 tedarikçiyi 96 istekte ve 49,2 saniyede yazdı.
- Taşıma sonrası, SupplierScraper aynı 46 satırı, aynı başlık ve satır düzeni ile yazdı.
- Yeni tarama, 57,9 saniyede 142 istek gönderdi ve iletişim sayfaları bunların 46'sını 401 ile yanıtladı.
- Cursor yeni çalıştırma için 96 isteği rapor etti, sadece başarılı isteklerin sayısı.
- SupplierScraper, Init'deki sadece ilk listeleme sayfasını sıraya koydu ve Next sayfa bağlantısını Parse'dan takip etti.
- Belgeleme sorularına dosya değiştirmeden yanıtladı ve varsayılan limitleri veya iki tarayıcı sorusunu yanıtlayan bir sayfa bulamadı.
- Authorization başlığı için, Cursor belgelenmiş bir örnek bulamadı ve her istekle gönderilen HttpRequestHeaders'ı tanımladı, ki bu deneme tarafından yanlış olarak gösterildi.
- Plan, iletişim isteklerinde üye kimliğini sabitlemenin çiftini kerdiğini iddia etti, ancak 401 ile 46 yanıt bunu çürüttü.
- Onarımı öncesinde, sertifikalar komutu, Cursor'un çalışmalarında 1 ve 0 sertifikası yazdı ve bağımsız bir çalışmada 32'den 6'sı.
- Cursor, başarısızlıkları rastgele kimliğe, rastgele havuzdaki üye kimliğine ve eksik hız sınırına izledi.
- Düzeltme sonrası, CertificateScraper hala Init'ten tüm üç kayıt sayfasını istedi, proje kuralına aykırı.
- Onarım sonrası, komut, üç bağımsız çalışmada 32'den 32 sertifika yazdı, her biri 67 istekle ve hiç 429 ile.
- İlk tarama-tüm yapımı 429 almadı ve hiçbir ikinci 4'ten fazla istek tutmadı.
- İki bağımsız tarama-tüm çalışmasında, 105.2 ve 104.8 saniyede tüm 46 tedarikçi ve 32 sertifika yazıldı.
- İki komut ardı ardına çalıştırıldığında 80,8 saniye sürdü.
- xUnit dizisi, 4 testten 4'ünü geçti ve 5493 portundaki site, çalışırken hiçbir istek kaydetmedi.
- Bazı adımlar sayfadan farklı çalıştı. Yedi istem de, tek bir başsız oturumda Cursor CLI'den geçti. Plan Modu, prompt 03'ten sonra sürekli kaldı, bu nedenle prompt 05'ten 07'ye kadar her biri takip mesajı "Planı Oluştur"a ihtiyaç duydu. Prompt 04'te, Cursor ayrıca sayfalar tarayıcısını ve README'yi değiştirdi, bu prompt istemedi.
GitHub Copilot rehberi, IronWebScraper'ın kavramlarını, burada kural dosyasının yaptığı gibi, belirli bir yol üzerindeki talimatlar dosyalarına sınırladı. Google Antigravity rehberi, aynı gelişmiş öğreticiden çalışır ve IronWebScraper'ın web önbelleği ve kaydedilen tarama durumunun neleri koruduğunu ölçer. çalışma kaydı her rehber için asistan sürümünü, modelini, süresini ve test makinesini listeler.
Hata Ayıklama
- Gelişmiş Web Kazıma Özellikleri bir tarama sınırlama veya bir giriş yapmak gerektiğinde
- İş Parçacığı Güvenliği bir tarama aynı anda birkaç istek gönderdiğinde
- Lisans Anahtarlarını Uygulama Başlama bir lisanslama istisnası attığında
- IronWebScraper & JavaScript bir sayfa tarayıcıda dolu ve tarayıcıya boş olduğunda
Sorular?
Herhangi bir sorunuz varsa, support@ironsoftware.com adresinden bize ulaşın
Curtis Chau, Bilgisayar Bilimleri alanında Lisans Derecesine (Carleton Üniversitesi) sahip ve Node.js, TypeScript, JavaScript ve React konularında uzmanlaşmış ön uç geliştirmeyle ilgileniyor. Sezgisel ve estetik açıdan hoş kullanıcı arayüzleri oluşturma tutkunu, Curtis modern çerçevelerle çalışmayı ve iyi yapılandırılmış, görsel olarak çekici kılavuzlar oluşturmayı seviyor.