Jak używać IronWebScraper z Google Antigravity
Zespół analityki rekrutacyjnej zbiera każdą ofertę z regionalnej tablicy ogłoszeń każdego ranka. Przeszukiwanie kilku setek stron może zatrzymać się w połowie, gdy serwer się restartuje, laptop zasypia lub ktoś naciśnie Ctrl+C. Gdy przeszukiwacz uruchamia się ponownie, należy skończyć pozostałe strony bez pobierania już ukończonych po raz drugi i bez dwukrotnego zapisywania pracy. Przeszukiwanie może również zakończyć się bez błędu i wciąż zarejestrować wynagrodzenie, które strona już nie pokazuje. Żaden z błędów nie pojawia się w dzienniku konsoli.
Google Antigravity może sprawdzić przeszukiwanie względem strony tak, jak widzi ją poszukiwacz pracy. Jego polecenie /browser uruchamia podagent przeglądarki, który otwiera każdą stronę i wykonuje zrzut ekranu. IronWebScraper utrzymuje pamięć podręczną sieci i może restartować przeszukiwanie pod identyfikatorem przeszukiwania, funkcje te są omówione w Poradniku zaawansowanych funkcji webscrapingu. Ten przewodnik buduje przeszukiwacz tablic ogłoszeń z użyciem obu narzędzi i testuje go na lokalnej kopii tablicy, której 60 ogłoszeń jest znanych z góry.
Ten przewodnik jest przeznaczony dla programistów używających agentów AI do pisania przeszukiwaczy .NET. Każde przeszukiwanie w nim celuje w tablicę testową obsługiwaną na localhost, i nie dotyczy przeszukiwania stron, których nie są obsługiwane.
Szybki startPrzy otwartym projekcie HarborJobs.Crawler w Antigravity, należy opisać przeszukiwanie.
/plan Build a crawler for Harbor Jobs, the local test board at http://localhost:5481.
This repo is a .NET 9 console app named HarborJobs.Crawler.
Install IronWebScraper 2026.10.1 and subclass WebScraper.
The crawl runs in this order:
1. Start at /jobs/page-1.html and follow the rel="next" links through page 6.
2. Open every job linked from a listing page.
3. Write one line per job to output/jobs.jsonl.
A line holds the job id, title, company, location, salary, posted date and a closed flag.
The crawler also follows these rules:
- It requests nothing outside localhost:5481, and at most one page every 250 ms.
- It obeys robots.txt, and its user agent is HarborJobsCrawler/1.0.
- IronWebScraper's working directory is output/.
- Pages go into IronWebScraper's web cache, so a restart doesn't download them again.
- The crawl gets an id, so a stopped run can start again under that id.
- A --stop-after N option stops the crawl after N jobs, for testing restarts.
Program.cs reads IRONWEBSCRAPER_LICENSE_KEY and sets IronWebScraper.License.LicenseKey once.
The key stays out of output, logs and files. Don't list environment variables either.
The Implementation Plan should answer two questions:
- Where on disk do the cache and the saved crawl state go?
- What happens to queued requests when a crawl stops?
Once the plan is done, build the crawler and run one full crawl.
Tell me how many lines output/jobs.jsonl ends up with.
IronWebScraper sam nie odczytuje IRONWEBSCRAPER_LICENSE_KEY, więc w podpowiedzi Program.cs przypisuje z niego License.LicenseKey. Przewodnik po kluczach licencyjnych opisuje inne sposoby zastosowania klucza.
Minimalny proces (5 kroków)
- Pobierz bibliotekę do zbierania danych z sieci w C# z NuGet
- Uruchomić agent na projekcie konsolowym, który się kompiluje, z testową stroną na localhost
- Nadać przeszukiwaniu katalog roboczy, pamięć podręczną sieci i sposób na zatrzymanie po N zadaniach
- Zlecić /browser porównanie stron ogłoszeń z plikiem wyjściowym
- Zatrzymać i uruchomić ponownie przeszukiwanie, a następnie potwierdzić każdym członka w dokumentacji API
Czym jest Google Antigravity i czym różni się od asystenta czatu?
Zgodnie z przeglądem Google, aplikacja Antigravity to niezależna aplikacja desktopowa do uruchamiania i inspekcji zespołów agentów AI. Jej agenci zwracają Artefakty, takie jak Plan Implementacji, Przewodnik i zrzuty ekranu, do przeglądu w kluczowych momentach.
Przewodnik asystentów kodowania AI wyjaśnia, dlaczego zadanie dodające nazwy pakietów IronWebScraper dokładnie. Zawiera również pliki dokumentacji IronWebScraper dla agentów i zawiera test akceptacyjny z jedną podpowiedzią.
Co należy sprawdzić w planie, zmianach kodu i Przewodniku?
Plan powinien umieścić pamięć podręczną sieci i zapisany stan przeszukiwania w katalogu roboczym, a także powinien stwierdzić, że zatrzymanie pozostawia zlecone żądania wymienione w zapisanym stanie.
W kodzie zmian, szukaj refleksji. Test zakończył przeszukiwanie i później czytał zbuforowane strony, wywołując niepublicznych członków IronWebScraper przez refleksję, z 13 użyciami BindingFlags.NonPublic po pierwszej podpowiedzi i 9 na końcu. Ci członkowie są nieobecni w dokumentacji API i mają zatarte nazwy, więc poproś o publiczne API i potwierdź każdego członka w dokumentacji API.
Przewodnik powinna zawierać zrzut ekranu każdej strony z ogłoszeniem, którą otworzyła przeglądarka. Aplikacja Antigravity przechowuje każdy zrzut ekranu jako artefakt obrazowy, który akceptuje komentarze. W CLI, podpowiedź nadająca nazwę folderu, takie jak artifacts/shots, przechowuje zrzuty ekranu w repozytorium.
Jak sprawdzasz wpisy względem tablicy w przeglądarce?
/browser Check the crawl against the board as a reader sees it.
Delete output/, cache included, and run the crawler once with no options. Then, in the browser:
1. Open http://localhost:5481/jobs/page-1.html and go through all six listing pages.
2. Count the job cards on each page.
3. Open J-1004, J-1012, J-1025, J-1047 and J-1058, and save a screenshot of each in artifacts/shots.
4. Note every field as the page displays it.
Put two tables in the Walkthrough and in artifacts/browser-check.md:
- job cards on the board against lines in output/jobs.jsonl
- one row per field of those five jobs, with the page value, the record value and a match column
If something differs, trace it in the crawler code before editing.
Then fix it, delete output/, crawl again and add both tables a second time.
Tell me what differed and what you changed.
Tablica posiada 60 ofert na sześciu stronach ogłoszeń. Siedem ofert zostało edytowanych po zamieszczeniu, a każda zachowuje swoje stare wynagrodzenie w ukrytym elemencie przed wynagrodzeniem, które strona wyświetla. J-1004, J-1012 i J-1047 są wśród nich. Przeszukiwacz, który czyta pierwszy element dd.salary, zapisuje starą wartość, podczas gdy przeglądarka pokazuje nową.
J-1004 w sposób, w jaki przechwycił ją podagent /browser w testowym uruchomieniu.
Wynik
Poniższy plik to jobs.jsonl, który przeszukiwanie zapisało po porównaniu z przeglądarką, bez zmian.
60 zapisów ofert z tablicy testowej, jeden obiekt JSON na linię, z wyświetlanym wynagrodzeniem dla J-1004.
Co przechowują pamięć podręczna sieci i zapisany stan?
EnableWebCache zapisuje jeden plik .webcache na URL w folderze WebCache katalogu roboczego. Dla 66 stron tablicy testowej sonda zmierzyła 66 plików i 32 341 bajtów. Ponowne uruchomienie nie wysłało żadnego żądania do tablicy i zakończyło się w 4,6 sekundy zamiast 9,4. Flaga CretaedFromWebCache, zapisana w ten sposób w API, była prawdziwa dla każdej odpowiedzi.
Pamięć podręczna nie wykrywa zmian na stronie. Po tym, jak tablica dodała dwie oferty i zmieniła wynagrodzenie, ponowne uruchomienie z pamięci podręcznej nie zapisano żadnego żądania i zapisało stare ogłoszenia. EnableWebCache z TimeSpan ogranicza to, a przy 15-sekundowym czasie wygaśnięcia ponowne uruchomienie 20 sekund później pobrało wszystkie 66 stron ponownie.
Start z identyfikatorem przeszukiwania zapisuje dwa pliki w folderze SavedState, jeden wymieniający każde zlecone żądanie, a jeden wymieniający żądania, które otrzymały odpowiedź. Obydwa pliki istniały po przeszukaniu, które trwało 6 sekund, chociaż dokumentacja XML opisuje zapis co pięć minut. Zakończony identyfikator przeszukiwania, który uruchomiono ponownie, wysłał jedno żądanie i nic nie zapisał, więc codzienna praca używająca jednego identyfikatora nie zbiera nowych ofert.
ScrapeUnique nigdy nie zapisał pierwszego rekordu, który każdy przeszukiwacz mu przekazał do pliku, więc 6 z 6 przeszukiwań sond pojawiających 60 ofert zapisało 59 linii.
Jak skonfigurować projekt, w którym Antigravity może działać?
What IronWebScraper version does HarborJobs.Crawler.csproj pin? Quote the PackageReference.
Quote the lines that apply the license key as well.
Judge everything from the code, without starting the crawler.
The key handling should meet these rules:
- The crawler's own code takes the key only from IRONWEBSCRAPER_LICENSE_KEY.
- No appsettings file or launch profile contains it.
- Without that variable, the crawler prints one line naming it and exits with code 2.
- A licensing failure is reported by exception type name, never by its message.
If the missing-variable line isn't there, add it to Program.cs and touch nothing else.
For every other rule that fails, tell me the file and line.
Bez klucza licencyjnego, IronWebScraper 2026.10.1 wywołuje LicensingException z Start przed uruchomieniem Init. Typ wyjątku nie jest publiczny, więc catch (LicensingException) nie kompiluje się z CS0122, a obsługujący musi dopasować typ po nazwie.
ObeyRobotsDotTxt czyta robots.txt tylko z domyślnego portu, więc agent testowy dodał niedozwoloną ścieżkę tablicy do BannedUrls.
Jak zapisywać zasady przeszukiwania na późniejsze zadania?
Gdy porównanie przeglądarki przejdzie, zarejestruj decyzje sesji jako zasady. Zgodnie z dokumentacją zasad Antigravity, CLI czyta AGENTS.md, GEMINI.md i .agents/rules z korzenia repozytorium i z podkatalogów. Polecenie /learn kondensuje korekcje z sesji w trwałe zasady.
/learn Write down what this session settled, in AGENTS.md at the repo root.
Use the heading "Crawling Harbor Jobs" and cover these points:
- the board URL, the 250 ms limit, robots.txt and the user agent
- the folders for the cache and the crawl state, and when to delete them
- which selector gives the salary the page displays
- that the key comes only from IRONWEBSCRAPER_LICENSE_KEY and is never printed or stored
- that no command lists environment variables
- that a crawl is finished once the browser comparison matches
Show me AGENTS.md when it's written.
Co dzieje się, gdy przeszukiwanie zatrzymuje się w połowie?
Stop nie kończy czysto przeszukiwania w IronWebScraper 2026.10.1. Jego podsumowanie XML nazywa zatrzymanie łagodnym i mówi, że przeszukiwanie może się rozpocząć na nowo pod swoim identyfikatorem przeszukiwania bez utraty danych. Po Stop, wywołanym z metody analizowania lub innego wątku, Start i StartAsync nigdy nie zwróciły się w 3 z 3 sond, które zakończono po 60 do 150 sekundach.
Ponowne uruchomienie pod tym samym identyfikatorem przeszukiwania również nie zakończyło przeszukiwania. W 10 restartach sond po zatrzymaniu przy 20 ofertach Start zwrócił się normalnie za każdym razem, a plik zawierał od 19 do 57 z 60 ofert. W 9 restartach, których zapisany stan sprawdzono później, od 1 do 19 zleconych żądań wciąż nie miało odpowiedzi.
/plan A crawl that stops halfway must finish on the next start, with every job exactly once.
Write the Implementation Plan first, and wait until I approve it before you edit any file.
After I approve, measure a restart before you fix anything:
1. Delete output/.
2. Run the crawler with --stop-after 20.
3. Run it again with no options.
4. Count the lines in output/jobs.jsonl, the repeated ids and the ids missing from J-1001 to J-1060.
5. Have the crawler log the pages each run took from the board and from the cache.
6. Write those counts to output/run-counts.txt.
Repeat steps 1 to 6 three times. Treat a run still going after two minutes as hung, and kill it.
Then fix every cause you found, keep the web cache, and do the three restarts again.
Add what the restarts showed to AGENTS.md.
Then tell me:
- the counts for each run, before and after the fix
- what output/SavedState contained after each stop, or that the fix no longer uses it
Ten przykład używa tylko publicznego API IronWebScraper i kompiluje się z IronWebScraper 2026.10.1. W trzech cyklach zatrzymywania i ponownego uruchamiania przeciwko tablicy testowej zażądał 22 stron do momentu zatrzymania oraz pozostałych 44 przy ponownym uruchomieniu, a plik zawierał każdą z 60 ofert raz. Po trzecim cyklu, folder wyjściowy zawierał jobs.jsonl i 66 zbuforowanych stron w WebCache, a przykład nie usuwa żadnego z nich.
using System.Text.Json;
using IronWebScraper;
var key = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
if (string.IsNullOrWhiteSpace(key))
{
Console.WriteLine("Missing required environment variable: IRONWEBSCRAPER_LICENSE_KEY");
return 2;
}
License.LicenseKey = key;
int stopAfter = args.Length == 2 && args[0] == "--stop-after" ? int.Parse(args[1]) : 0;
new HarborJobsScraper(stopAfter).Start();
return 0;
public sealed class HarborJobsScraper(int stopAfter) : WebScraper
{
private const string Board = "http://localhost:5481";
private readonly object _fileLock = new();
private readonly HashSet<string> _written = new();
private int _jobsThisRun;
public override void Init()
{
WorkingDirectory = "output";
RateLimitPerHost = TimeSpan.FromMilliseconds(250);
ObeyRobotsDotTxt = true;
AllowedDomains.Add("localhost");
Identities.Add(new HttpIdentity { UserAgent = "HarborJobsCrawler/1.0" });
// Pages fetched before a stop come back from output/WebCache on the next start.
EnableWebCache(TimeSpan.FromHours(12));
string jobsFile = Path.Combine(WorkingDirectory, "jobs.jsonl");
if (File.Exists(jobsFile))
{
foreach (var line in File.ReadLines(jobsFile))
{
_written.Add(JsonDocument.Parse(line).RootElement.GetProperty("id").GetString()!);
}
}
Request(Board + "/jobs/page-1.html", Parse);
}
public override void Parse(Response response)
{
foreach (var link in response.Css("article.job-card h2 a"))
{
Request(response.ToAbsoluteUrl(link.Attributes["href"]), ParseJob);
}
foreach (var next in response.Css("a[rel=next]"))
{
Request(response.ToAbsoluteUrl(next.Attributes["href"]), Parse);
}
}
public void ParseJob(Response response)
{
// The page carries an old salary in a hidden element ahead of the one it displays.
var salary = response.Css("dd.salary").Last(n => n.GetAttribute("style") is not { } s || !s.Contains("display:none"));
var job = new
{
id = response.Css("dd.job-id")[0].TextContentClean,
title = response.Css("h1.job-title")[0].TextContentClean,
company = response.Css("dd.company")[0].TextContentClean,
location = response.Css("dd.location")[0].TextContentClean,
salary = salary.TextContentClean,
postedDate = response.Css("time")[0].GetAttribute("datetime"),
closed = response.CssExists("p.closed"),
};
lock (_fileLock)
{
// ScrapeUnique drops the first record of each process, so the crawler writes the file itself.
if (_written.Add(job.id))
{
File.AppendAllText(Path.Combine(WorkingDirectory, "jobs.jsonl"), JsonSerializer.Serialize(job) + "\n");
}
if (stopAfter > 0 && ++_jobsThisRun >= stopAfter)
{
// Start never returns after Stop() in 2026.10.1, so a test stop ends the process.
Environment.Exit(0);
}
}
}
}
Kiedy należy wysłać więcej niż jednego agenta?
Harbor Jobs adds jobs every morning, and the crawler is scheduled once a day.
Divide the next part between two agents.
Agent A builds an xUnit project, HarborJobs.Crawler.Tests:
- Save the J-1004, J-1012, J-1021, J-1047 and J-1061 pages from today's board into TestData.
- Test the record each saved page produces, salary and closed flag included.
- The tests read only those files and send no request.
- Keep the test project out of the crawler's compile items.
- Run it with dotnet test HarborJobs.Crawler.Tests.
If the tests fail, stop there and tell me why.
Otherwise Agent B takes these steps:
1. Run the crawler with today's command and the existing output/ folder, as tomorrow's run would.
2. Use /browser to open page 1 of the board and each job it links to.
3. Check that every one of those jobs has a line in jobs.jsonl with the same values.
If the board and the file disagree, explain why before changing anything.
A restart on the same day still reads the cache, and the fix has to keep that.
Save screenshots in artifacts/shots-day2.
Write how many page 1 jobs matched before and after to artifacts/day2-check.md.
Tell me what each agent found.
Przed tą podpowiedzią tablica testowa przełączyła się na ogłoszenia następnego ranka, z dwiema nowymi ofertami na szczycie strony 1, jedną zmienioną płacą i jedną zamkniętą ofertą.
Co wyprodukowały zapytania w rzeczywistym uruchomieniu?
Wszystkie sześć podpowiedzi uruchomiło się bez nadzoru w jednej głównej rozmowie CLI Antigravity, z pominięciem podpowiedzi o zezwolenie. Każda liczba poniżej pochodzi z dziennika czasu i z niezależnych kontroli zatwierdzeń z uruchomienia, dziennika żądań i powtórnych uruchomień.
- Przed pierwszą podpowiedzią repozytorium zawierało projekt konsolowy, który tylko wyświetlał nazwę.
- Podczas planowania agent pobierał strony z ofertami przy użyciu żądań PowerShell i znalazł ukryte płace.
- Pierwsze pełne przeszukiwanie zapisało 60 linii, a wszystkie 60 pasowało do tablicy.
- Pierwszy test opcji zatrzymania nigdy się nie zakończył i został zakończony przez operatora po 23 minutach.
- W pierwszej podpowiedzi 64 z 273 odstępów między żądaniami przeszukiwacza było krótsze niż 240 ms, najkrótsze 8 ms.
- Od drugiej podpowiedzi, żaden odstęp przeszukiwacza nie był krótszy niż 292 ms.
- Porównanie przeglądarki policzyło 60 kart z ofertami względem 60 linii i nie znalazło różnic w polach, więc jego krok naprawy nie miał nic do zmiany.
- Podagent przeglądarki Chrome zażądał 125 stron pod /apply/, które robots.txt zabronił, a przeszukiwacz nie zażądał żadnej.
- Bez zmiennej klucza, końcowy przeszukiwacz wyświetlił jedną linię z jej nazwą i wyszedł z kodem 2.
- Z nieprawidłowym kluczem zakończyło się nieobsługiwanym LicensingException, awaria, którą podpowiedź dotycząca ustawień zgłosiła i pozostawiła na miejscu.
- Naprawa restartu usunęła identyfikator przeszukiwania i zachowała własną kolejkę oczekujących stron.
- W trzech niezależnych cyklach zatrzymywania i ponownego uruchamiania końcowy przeszukiwacz zapisał wszystkie 60 ofert raz, z 23 żądaniami przed każdym zatrzymaniem i 44 po.
- Na tablicy dnia następnego przeszukiwacz pierwszej podpowiedzi nie wysłał żadnego żądania i przegapił obie nowe oferty.
- Plik tego przeszukiwacza pasował do 7 z 10 ofert na nowej stronie 1.
- Po naprawie Agenta B, końcowy przeszukiwacz pasował do wszystkich 60 ofert na tej tablicy.
- Pięć testów Agenta A przeszło bez kontaktu z tablicą.
- Niektóre kroki uruchomiono inaczej niż na stronie. 57,2 minuty pierwszej podpowiedzi obejmowało oczekiwanie na zawieszony test zatrzymania. Każda podpowiedź od drugiej kończyła się ze statusem agy ERROR, z powodu niewłaściwego wywołania funkcji, po pełnej odpowiedzi. Agent A działał jako oddzielny podagent, a główna rozmowa przeprowadzała kroki Agenta B z podagentem przeglądarki. Podagent /browser używał bezgłowej przeglądarki Chrome, którą uruchomienie rozpoczęło, ponieważ CLI szuka pliku portu narzędzi deweloperskich Chrome w profilu użytkownika. Końcowy przeszukiwacz wyczyścił pamięć podręczną po pełnym przeszukiwaniu, więc ponowne uruchomienie po zakończeniu żądało każdą stronę ponownie.
ChatGPT Codex czyta swoje stałe zasady z AGENTS.md, jak ten przewodnik, i przekazuje nazwane części zadania agentom odkrywcom i pracownikom. GitHub Copilot również testuje przeszukiwacz na zapisanych stronach bez żądania do strony. Wersja Antigravity, model, czas uruchomienia i testowy komputer są zapisane we wspólnym zapisie uruchomienia.
Rozwiązywanie problemów
- Zaawansowane funkcje webscrapingu dla pamięci podręcznej sieci, identyfikatorów przeszukiwania i ograniczenia zapytań
- Stosowanie kluczy licencyjnych, gdy
Startwywołuje się przed pierwszym żądaniem - IronWebScraper i JavaScript gdy przeglądarka pokazuje wartość, której przeszukiwacz nigdy nie otrzymuje
- Bezpieczeństwo wątków jak IronWebScraper zarządza wątkami przeszukiwania
Pytania?
Jeśli są jakiekolwiek pytania, należy skontaktować się z support@ironsoftware.com
Curtis Chau posiada tytuł licencjata z informatyki (Uniwersytet Carleton) i specjalizuje się w front-endowym rozwoju, z ekspertką w Node.js, TypeScript, JavaScript i React. Pasjonuje się tworzeniem intuicyjnych i estetycznie przyjemnych interfejsów użytkownika, Curtis cieszy się pracą z nowoczesnymi frameworkami i tworzeniem dobrze zorganizowanych, atrakcyjnych wizualnie podręczników.