IronWebScraper'ı Google Antigravity ile Nasıl Kullanılır

Curtis Chau
Curtis Chau
Güncellendi: 26 Ekim 2026

Bir işe alım analitiği ekibi, her sabah bölgesel bir iş panosundan tüm ilanları toplar. Birkaç yüz sayfa taraması, bir sunucu yeniden başlatıldığında, bir dizüstü bilgisayar uykuya geçtiğinde veya biri Ctrl+C tuşuna bastığında yarıda durabilir. Tarayıcı yeniden başladığında, zaten tamamlanmış olanları iki kez indirmeden ve bir işi iki kez yazdırmadan kalan sayfaları bitirmesi gerekir. Bir tarama hatasız sona erebilir ve sayfanın artık göstermediği bir maaşı kaydedebilir. Hiçbir hata konsol günlüğünde görünmez.

Google Antigravity, bir iş arayanın gördüğü şekilde taramayı sayfaya karşı kontrol edebilir. /browser komutu, her sayfayı açan ve bir ekran görüntüsü yakalayan bir tarayıcı alt ajanı başlatır. IronWebScraper bir web önbelleği tutar ve Gelişmiş Web Tarama Özellikleri kılavuzunda ele alınan özelliklerle bir taramayı bir tarama kimliği altında yeniden başlatabilir. Bu kılavuz, her iki aracı da kullanarak bir iş panosu tarayıcısı oluşturur ve bunu önceden bilinen 60 ilanın yer aldığı bir panonun yerel kopyasına karşı test eder.

Bu kılavuz, .NET tarayıcılarını yazmak için AI ajanları kullanan geliştiriciler içindir. İçindeki her tarama, localhost'ta sunulan bir test panosunu hedefler ve sizin yönetmediğiniz siteleri taramayı ele almaz.

Hızlı Başlangıç
NuGetNuGet ile Yükle

PM > Install-Package IronWebScraper

Yukarıdaki komutu NuGet Paket Yöneticisi Konsolunda çalıştırarak veya NuGet Paket Yöneticisinde arama yaparak IronWebScraper'u yükleyin.

Antigravity'de HarborJobs.Crawler projesi açıkken taramayı tarif edin.

/plan Build a crawler for Harbor Jobs, the local test board at http://localhost:5481.
This repo is a .NET 9 console app named HarborJobs.Crawler.
Install IronWebScraper 2026.10.1 and subclass WebScraper.

The crawl runs in this order:

1. Start at /jobs/page-1.html and follow the rel="next" links through page 6.
2. Open every job linked from a listing page.
3. Write one line per job to output/jobs.jsonl.

A line holds the job id, title, company, location, salary, posted date and a closed flag.

The crawler also follows these rules:

- It requests nothing outside localhost:5481, and at most one page every 250 ms.
- It obeys robots.txt, and its user agent is HarborJobsCrawler/1.0.
- IronWebScraper's working directory is output/.
- Pages go into IronWebScraper's web cache, so a restart doesn't download them again.
- The crawl gets an id, so a stopped run can start again under that id.
- A --stop-after N option stops the crawl after N jobs, for testing restarts.

Program.cs reads IRONWEBSCRAPER_LICENSE_KEY and sets IronWebScraper.License.LicenseKey once.
The key stays out of output, logs and files. Don't list environment variables either.

The Implementation Plan should answer two questions:

- Where on disk do the cache and the saved crawl state go?
- What happens to queued requests when a crawl stops?

Once the plan is done, build the crawler and run one full crawl.
Tell me how many lines output/jobs.jsonl ends up with.
Text

IronWebScraper, IRONWEBSCRAPER_LICENSE_KEY'i tek başına okumaz, bu nedenle kılavuz Program.cs'nin License.LicenseKey'yi ondan atamasını sağlar. Lisans anahtarı rehberi anahtarı uygulamanın diğer yollarını açıklar.



Google Antigravity nedir ve bir sohbet asistanından nasıl farklıdır?

Google'ın genel bakışına göre, Antigravity Uygulaması, AI ajan ekiplerini başlatmak ve incelemek için bağımsız bir masaüstü uygulamasıdır. Onun ajanları, bir Uygulama Planı, bir Geçiş ve ekran görüntüleri gibi Eserleri geri döndürür ve anahtar aşamalarda inceleme için uygular.

AI kodlama asistanları kılavuzu, paket adlarını IronWebScraper adlı bir görev ekleyen hemen her şeyi açıklar. Ayrıca, ajanlar için IronWebScraper belgeleri listesini içerir ve tek bir istem kabul testine sahip.

Planda, kod değişikliklerinde ve Kılavuzda neyi kontrol etmelisiniz?

Plan, web önbelleğini ve kaydedilen tarama durumunu çalışma dizini altında yerleştirmelidir ve bir durmanın kayıtlı durumda listelenen istekleri sıralı bıraktığını belirtmelidir.

Kod değişikliklerinde, yansımayı arayın. Test koşusu bir taramayı durdurdu ve daha sonra yansımayla gayri-resmi IronWebScraper üyelerine çağrıda bulunarak önbellekteki sayfaları okudu, ilk istemden sonra BindingFlags.NonPublic 13 kullanım ve sonda 9. Bu üyeler API referansında yok ve gizlenmiş adlara sahipler, bu yüzden genel API'yi isteyin ve API referansındaki her üyeyi onaylayın.

Geçiş, tarayıcı tarafından açılan her iş sayfasının bir ekran görüntüsünü içermelidir. Antigravity Uygulaması, her ekran görüntüsünü bir resim eseri olarak saklar ve yorum kabul eder. CLI'de, bir klasör adını alan bir istem, örneğin artifacts/shots, ekran görüntülerini depoda saklar.

Kayıtları tarayıcıda panoya karşı nasıl kontrol ediyorlar?

/browser Check the crawl against the board as a reader sees it.

Delete output/, cache included, and run the crawler once with no options. Then, in the browser:

1. Open http://localhost:5481/jobs/page-1.html and go through all six listing pages.
2. Count the job cards on each page.
3. Open J-1004, J-1012, J-1025, J-1047 and J-1058, and save a screenshot of each in artifacts/shots.
4. Note every field as the page displays it.

Put two tables in the Walkthrough and in artifacts/browser-check.md:

- job cards on the board against lines in output/jobs.jsonl
- one row per field of those five jobs, with the page value, the record value and a match column

If something differs, trace it in the crawler code before editing.
Then fix it, delete output/, crawl again and add both tables a second time.
Tell me what differed and what you changed.
Text

Panoda altı ilan sayfasında 60 iş bulunur. Yedi ilan yayınlandıktan sonra düzenlendi ve her biri sayfanın gösterdiği maaşın önünde gizli bir öğede eski maaşını saklıyor. Bunlar arasında J-1004, J-1012 ve J-1047 bulunmaktadır. İlk dd.salary öğesini okuyan bir tarayıcı eski rakamı kaydederken, tarayıcı yenisini gösterir.

 Saltmarsh Bistro'da J-1004 numaralı Müşteri Destek Uzmanı pozisyonu için Liman İşler sayfası, görüntülenen maaşı ile birlikte

J-1004, /browser alt ajanı tarafından test koşusunda böyle yakalandı.

Çıktı

Aşağıdaki dosya, tarayıcı karşılaştırmasından sonra taramanın yazdığı jobs.jsonl'dir, değişmemiş durumda.

jobs.jsonl dosyasını indir

Test panosundan 60 iş kaydı, her satırda bir JSON nesnesi ile, J-1004 için gösterilen maaş.

Web önbelleği ve kaydedilen durum ne saklıyor?

EnableWebCache, WebCache klasöründe çalışma dizininde URL başına bir .webcache dosyası yazar. Test panosunun 66 sayfası için sonda, 66 dosya ve 32.341 bayt ölçüldü. Yeniden bir koşu, panoya hiç istek yapmadı ve 9,4 saniye yerine 4,6 saniyede tamamlandı. CretaedFromWebCache bayrak, API'de bu şekilde yazıldı, her yanıt için doğruydu.

Önbellek sitedeki değişiklikleri algılamaz. Pano iki iş ekleyip bir maaş değiştirdikten sonra, önbelleğe alınmış bir yeniden koşu hiçbir istek yapmadı ve eski listeleri yazdı. EnableWebCache ile bir TimeSpan bunun sınırını belirler ve 15 saniyelik bir sona erme süresi ile 20 saniye sonra yeniden koşu tüm 66 sayfayı yine alır.

Start ile bir tarama kimliği iki dosyayı KaydedilmişDurum klasörüne yazar, biri her sıraya konulmuş isteği listeler ve biri yanıt alan istekleri listeler. 6 saniyelik bir taramadan sonra her iki dosya da mevcuttu, ancak XML belgelendirmesi her beş dakikada bir kaydetmeyi tanımlar. Tamamlanan bir tarama kimliği yeniden başladığında bir istek yaptı ve hiçbir şey yazmadı, bu yüzden bir kimliği yeniden kullanan günlük iş, yeni iş toplamaz.

ScrapeUnique, her dosya için kendisine iletilen ilk kaydı asla yazmadı, bu yüzden 60 işin 6 görüntüleme taraması 59 satır yazdı.

Antigravity'nin çalışabileceği bir proje nasıl kurulur?

What IronWebScraper version does HarborJobs.Crawler.csproj pin? Quote the PackageReference.
Quote the lines that apply the license key as well.
Judge everything from the code, without starting the crawler.

The key handling should meet these rules:

- The crawler's own code takes the key only from IRONWEBSCRAPER_LICENSE_KEY.
- No appsettings file or launch profile contains it.
- Without that variable, the crawler prints one line naming it and exits with code 2.
- A licensing failure is reported by exception type name, never by its message.

If the missing-variable line isn't there, add it to Program.cs and touch nothing else.
For every other rule that fails, tell me the file and line.
Text

Lisans anahtarı olmadan, IronWebScraper 2026.10.1, Start'den Init çalışmadan önce bir LicensingException fırlatır. İstisna türü genel değildir, bu yüzden catch (LicensingException) CS0122 ile derlenemez ve bir işleyici türü ada göre eşleştirmek zorundadır.

ObeyRobotsDotTxt, yalnızca varsayılan porttan robots.txt'yi okur, bu yüzden test koşusunun ajanı panonun izin verilmeyen yolunu BannedUrls'ye ekledi.

Tarama kurallarını sonraki görevler için nasıl kaydediyorsunuz?

Tarayıcı karşılaştırması geçtiğinde, oturumun kararlarını kurallar olarak kaydedin. Antigravity'nin kurallar dokümantasyonuna göre, CLI, AGENTS.md, GEMINI.md ve .agents/rules dosyalarını depolama kökünden ve alt dizinlerden okur. /learn komutu, oturumdan gelen düzeltmeleri kalıcı kurallar haline sıkıştırır.

/learn Write down what this session settled, in AGENTS.md at the repo root.
Use the heading "Crawling Harbor Jobs" and cover these points:

- the board URL, the 250 ms limit, robots.txt and the user agent
- the folders for the cache and the crawl state, and when to delete them
- which selector gives the salary the page displays
- that the key comes only from IRONWEBSCRAPER_LICENSE_KEY and is never printed or stored
- that no command lists environment variables
- that a crawl is finished once the browser comparison matches

Show me AGENTS.md when it's written.
Text

Bir tarama yarıda durduğunda ne olur?

Stop, IronWebScraper 2026.10.1'de bir taramayı düzgün bitiremez. XML özeti durmanın zarif olduğunu ve taramanın hiçbir veri kaybı olmadan tarama kimliği altında yeniden başlayabileceğini belirtir. Bir parse yönteminden veya başka bir diziden çağrıldıktan sonra Stop, Start ve StartAsync, 60 ila 150 saniye sonrasında sona eren 3 deneme sırasında asla geri dönmediler.

Aynı tarama kimliği altında bir yeniden başlama, taramayı tamamlamadı. 20 işte durduktan sonra 10 deneme yeniden başlatma işleminde, Start her seferinde normal döndü ve dosyada 60 işten 19 ila 57'si bulundu. Daha sonra durumu incelenen 9 deneme yeniden başlatmanın kaydedilen durumunda, 1 ila 19 sıraya konulan isteğin hala yanıtı yoktu.

/plan A crawl that stops halfway must finish on the next start, with every job exactly once.
Write the Implementation Plan first, and wait until I approve it before you edit any file.

After I approve, measure a restart before you fix anything:

1. Delete output/.
2. Run the crawler with --stop-after 20.
3. Run it again with no options.
4. Count the lines in output/jobs.jsonl, the repeated ids and the ids missing from J-1001 to J-1060.
5. Have the crawler log the pages each run took from the board and from the cache.
6. Write those counts to output/run-counts.txt.

Repeat steps 1 to 6 three times. Treat a run still going after two minutes as hung, and kill it.
Then fix every cause you found, keep the web cache, and do the three restarts again.
Add what the restarts showed to AGENTS.md.

Then tell me:

- the counts for each run, before and after the fix
- what output/SavedState contained after each stop, or that the fix no longer uses it
Text

Bu örnek yalnızca IronWebScraper'ın genel API'sini kullanır ve IronWebScraper 2026.10.1 ile derlenir. Test panosuna karşı üç durdurma ve yeniden başlatma döngüsünde, durdurma noktasına kadar 22 sayfa istedi ve yeniden başlatmada kalan 44 sayfayı istedi ve dosyası 60 işten her birini bir kere tuttu. Üçüncü döngüden sonra, çıktı klasörü jobs.jsonl ve WebCache'te 66 önbelleğe alınmış sayfa tuttu ve örnek hiçbiri silmedi.

using System.Text.Json;
using IronWebScraper;

var key = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
if (string.IsNullOrWhiteSpace(key))
{
    Console.WriteLine("Missing required environment variable: IRONWEBSCRAPER_LICENSE_KEY");
    return 2;
}
License.LicenseKey = key;

int stopAfter = args.Length == 2 && args[0] == "--stop-after" ? int.Parse(args[1]) : 0;
new HarborJobsScraper(stopAfter).Start();
return 0;

public sealed class HarborJobsScraper(int stopAfter) : WebScraper
{
    private const string Board = "http://localhost:5481";
    private readonly object _fileLock = new();
    private readonly HashSet<string> _written = new();
    private int _jobsThisRun;

    public override void Init()
    {
        WorkingDirectory = "output";
        RateLimitPerHost = TimeSpan.FromMilliseconds(250);
        ObeyRobotsDotTxt = true;
        AllowedDomains.Add("localhost");
        Identities.Add(new HttpIdentity { UserAgent = "HarborJobsCrawler/1.0" });

        // Pages fetched before a stop come back from output/WebCache on the next start.
        EnableWebCache(TimeSpan.FromHours(12));

        string jobsFile = Path.Combine(WorkingDirectory, "jobs.jsonl");
        if (File.Exists(jobsFile))
        {
            foreach (var line in File.ReadLines(jobsFile))
            {
                _written.Add(JsonDocument.Parse(line).RootElement.GetProperty("id").GetString()!);
            }
        }

        Request(Board + "/jobs/page-1.html", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (var link in response.Css("article.job-card h2 a"))
        {
            Request(response.ToAbsoluteUrl(link.Attributes["href"]), ParseJob);
        }
        foreach (var next in response.Css("a[rel=next]"))
        {
            Request(response.ToAbsoluteUrl(next.Attributes["href"]), Parse);
        }
    }

    public void ParseJob(Response response)
    {
        // The page carries an old salary in a hidden element ahead of the one it displays.
        var salary = response.Css("dd.salary").Last(n => n.GetAttribute("style") is not { } s || !s.Contains("display:none"));
        var job = new
        {
            id = response.Css("dd.job-id")[0].TextContentClean,
            title = response.Css("h1.job-title")[0].TextContentClean,
            company = response.Css("dd.company")[0].TextContentClean,
            location = response.Css("dd.location")[0].TextContentClean,
            salary = salary.TextContentClean,
            postedDate = response.Css("time")[0].GetAttribute("datetime"),
            closed = response.CssExists("p.closed"),
        };

        lock (_fileLock)
        {
            // ScrapeUnique drops the first record of each process, so the crawler writes the file itself.
            if (_written.Add(job.id))
            {
                File.AppendAllText(Path.Combine(WorkingDirectory, "jobs.jsonl"), JsonSerializer.Serialize(job) + "\n");
            }
            if (stopAfter > 0 && ++_jobsThisRun >= stopAfter)
            {
                // Start never returns after Stop() in 2026.10.1, so a test stop ends the process.
                Environment.Exit(0);
            }
        }
    }
}
C#

Ne zaman birden fazla ajan gönderilmeli?

Harbor Jobs adds jobs every morning, and the crawler is scheduled once a day.
Divide the next part between two agents.

Agent A builds an xUnit project, HarborJobs.Crawler.Tests:

- Save the J-1004, J-1012, J-1021, J-1047 and J-1061 pages from today's board into TestData.
- Test the record each saved page produces, salary and closed flag included.
- The tests read only those files and send no request.
- Keep the test project out of the crawler's compile items.
- Run it with dotnet test HarborJobs.Crawler.Tests.

If the tests fail, stop there and tell me why.
Otherwise Agent B takes these steps:

1. Run the crawler with today's command and the existing output/ folder, as tomorrow's run would.
2. Use /browser to open page 1 of the board and each job it links to.
3. Check that every one of those jobs has a line in jobs.jsonl with the same values.

If the board and the file disagree, explain why before changing anything.
A restart on the same day still reads the cache, and the fix has to keep that.
Save screenshots in artifacts/shots-day2.
Write how many page 1 jobs matched before and after to artifacts/day2-check.md.

Tell me what each agent found.
Text

Bu kılavuzdan önce test panosu ertesi sabahki ilanlara geçti, sayfa 1'de üstte iki yeni iş ve bir değişen maaş ve bir kapanan iş vardı.

Lütfen dikkat: Google'un genel bakışı izole edilmiş Git çalışma ağaçları üzerinde çalışan eş zamanlı yardımcı ajanları tanımlar. Her yardımcı ajan'ın konuşmasını, yaptığı işten önce okuyun.

Gerçek bir çalıştırmada istemler ne üretti?

Altı istemin tamamı, izin istemleri atlanarak, bir ana Antigravity CLI konuşmasında, gözetimsiz çalıştı. Aşağıdaki her rakam zamanlama günlüğünden ve çalışmanın taahhütlerinin, istek günlüğünün ve yeniden koşuların bağımsız kontrollerinden geliyor.

  • İlk istemden önce, depo yalnızca adını yazdıran bir konsol projesine sahipti.
  • Planlama sırasında, ajan PowerShell istekleriyle iş sayfalarını aldı ve gizli maaşları buldu.
  • İlk tam tarama 60 satır yazdı ve tüm 60 satır pano ile eşleşti.
  • Durma seçeneğinin ilk testi hiçbir zaman çıkmadı ve operatör tarafından 23 dakika sonra sona erdirildi.
  • İlk istemde, tarayıcı talepleri arasındaki 273 aralığın 64'ü 240 ms'nin altındaydı, en kısası 8 ms.
  • İkinci istemden itibaren, hiçbir tarayıcı aralığı 292 ms'nin altına düşmedi.
  • Tarayıcı karşılaştırması, 60 iş kartını 60 satıra karşı saydı ve hiçbir alan farkı bulmadı, bu yüzden düzeltme adımının değiştirecek hiçbir şeyi yoktu.
  • Tarayıcı alt ajanı, robot.txt'nin izin vermediği /apply/altındaki 125 sayfayı istedi ve tarayıcı hiç istek göndermedi.
  • Anahtar değişken olmadan, son tarayıcı adını belirtien bir satır yazdı ve kod 2 ile çıktı.
  • Geçersiz bir anahtarla, bir ele alınmayan LicensingException ile sona erdi, bu başarısızlık kurulum kılavuzu tarafından rapor edildi ve yerinde bırakıldı.
  • Yeniden başlatma düzeltmesi, tarama kimliğini bıraktı ve kendi bekleyen sayfalar kuyruğunu tuttu.
  • Bağımsız üç durdurma ve yeniden başlatma döngüsünde, son tarayıcı tüm 60 işi bir kez yazdı, her durdurmadan önce 23 istek ve sonra 44 istem.
  • Ertesi günkü panoda, ilk istemin tarayıcısı hiçbir istek yapmadı ve iki yeni işi kaçırdı.
  • O tarayıcının dosyası, yeni 1. sayfadaki 10 işten 7'si ile eşleşti.
  • Ajan B'nin düzeltmesinden sonra, son tarayıcı o panodaki tüm 60 iş ile eşleşti.
  • Ajan A'nın beş testi, panoyla iletişime geçmeden geçti.
  • Bazı adımlar sayfadan farklı çalıştı. İlk istemin 57,2 dakikası, askıda duran durma testini bekleme süresini içeriyordu. İkinci istemden itibaren her teşvik tam yanıtından sonra hatalı bir fonksiyon çağrısı nedeniyle ERROR bir agy durumu ile sona erdi. Ajan A ayrı bir alt ajan olarak çalıştı ve ana konuşma, tarayıcı alt ajanı ile Ajan B'nin adımlarını çalıştırdı. /browser alt ajanı, çalıştırmanın başlattığı başsız bir Chrome kullandı çünkü CLI, kullanıcı profilindeki Chrome'un DevTools port dosyasını arar. Son tarayıcı, tam bir taramadan sonra önbelleğini temizledi, bu yüzden tamamlamadan sonra yeniden çalıştırma her sayfayı tekrar istedi.

ChatGPT Codex, durma kurallarını AGENTS.md'den okur, bu kılavuzda olduğu gibi ve bir görevdeki isimlendirilmiş parçalara araştırmacı ve çalışan ajanlara verir. GitHub Copilot ayrıca kaydedilmiş sayfalara karşı tarayıcıyı test eder, siteye hiçbir istek yapmadan. Antigravity'nin sürümü, modeli, çalışma süresi ve test makinesi paylaşılan koşu kaydında kaydedilir.


Hata Ayıklama


Sorular?

Herhangi bir sorunuz varsa, support@ironsoftware.com adresinden bize ulaşın

Curtis Chau, Bilgisayar Bilimleri alanında Lisans Derecesine (Carleton Üniversitesi) sahip ve Node.js, TypeScript, JavaScript ve React konularında uzmanlaşmış ön uç geliştirmeyle ilgileniyor. Sezgisel ve estetik açıdan hoş kullanıcı arayüzleri oluşturma tutkunu, Curtis modern çerçevelerle çalışmayı ve iyi yapılandırılmış, görsel olarak çekici kılavuzlar oluşturmayı seviyor.

Daha Fazla Oku

Başlamaya Hazır mısınız?

NuGet İndirmeleri 150,061Sürüm:2026.11yeni çıktı