Como Usar IronWebScraper com Google Antigravity

Curtis Chau
Curtis Chau
Atualizado: 26 de outubro de 2026

Uma equipe de análise de recrutamento coleta cada listagem de uma bolsa de empregos regional todas as manhãs. Um rastreamento de algumas centenas de páginas pode parar pela metade quando um servidor reinicia, um laptop entra em modo de espera ou alguém pressiona Ctrl+C. Quando o rastreador começa novamente, ele precisa concluir as páginas restantes sem baixar as já concluídas duas vezes e sem escrever um trabalho duas vezes. Um rastreamento também pode terminar sem erro e ainda registrar um salário que a página não mostra mais. Nenhuma falha aparece em um log de console.

O Google Antigravity pode verificar o rastreamento em comparação com a página da forma como um candidato a emprego a vê. Seu comando /navegador lança um subagente de navegador que abre cada página e captura uma captura de tela. O IronWebScraper mantém um cache da web e pode reiniciar um rastreamento sob um id de rastreamento, os recursos cobertos em seu tutorial de Recursos Avançados de Webscraping. Este guia constrói um rastreador de bolsa de empregos com ambas as ferramentas e o testa contra uma cópia local de uma bolsa cujas 60 listagens são conhecidas antecipadamente.

Este guia é destinado a desenvolvedores que usam agentes de IA para escrever rastreadores .NET. Cada rastreamento nele mira uma bolsa de testes servida em localhost e não aborda rastreamentos de sites que você não opera.

Início Rápido
NuGetInstalar com NuGet

PM > Install-Package IronWebScraper

Instale o IronWebScraper executando o comando acima no Console do Gerenciador de Pacotes NuGet, ou procure pelo pacote no Gerenciador de Pacotes NuGet.

Com o projeto HarborJobs.Crawler aberto no Antigravity, descreva o rastreamento.

/plan Build a crawler for Harbor Jobs, the local test board at http://localhost:5481.
This repo is a .NET 9 console app named HarborJobs.Crawler.
Install IronWebScraper 2026.10.1 and subclass WebScraper.

The crawl runs in this order:

1. Start at /jobs/page-1.html and follow the rel="next" links through page 6.
2. Open every job linked from a listing page.
3. Write one line per job to output/jobs.jsonl.

A line holds the job id, title, company, location, salary, posted date and a closed flag.

The crawler also follows these rules:

- It requests nothing outside localhost:5481, and at most one page every 250 ms.
- It obeys robots.txt, and its user agent is HarborJobsCrawler/1.0.
- IronWebScraper's working directory is output/.
- Pages go into IronWebScraper's web cache, so a restart doesn't download them again.
- The crawl gets an id, so a stopped run can start again under that id.
- A --stop-after N option stops the crawl after N jobs, for testing restarts.

Program.cs reads IRONWEBSCRAPER_LICENSE_KEY and sets IronWebScraper.License.LicenseKey once.
The key stays out of output, logs and files. Don't list environment variables either.

The Implementation Plan should answer two questions:

- Where on disk do the cache and the saved crawl state go?
- What happens to queued requests when a crawl stops?

Once the plan is done, build the crawler and run one full crawl.
Tell me how many lines output/jobs.jsonl ends up with.
Text

O IronWebScraper não lê IRONWEBSCRAPER_LICENSE_KEY por si só, então o prompt faz o Program.cs atribuir License.LicenseKey a partir dele. O guia de chave de licença descreve outras maneiras de aplicar a chave.



O que é o Google Antigravity e como é diferente de um assistente de chat?

De acordo com a visão geral do Google, o Antigravity App é uma aplicação de desktop independente para lançar e inspecionar equipes de agentes de IA. Seus agentes retornam Artefatos, como um Plano de Implementação, um Passo a Passo e capturas de tela, para revisão em marcos chave.

O guia de assistentes de codificação de IA explica porque uma tarefa que adiciona os nomes dos pacotes IronWebScraper exatamente. Ele também lista os arquivos de documentação do IronWebScraper para agentes e inclui um teste de aceitação de um único prompt.

O que você deve verificar no plano, nas mudanças de código e no Guia Passo a Passo?

O plano deve colocar o cache da web e o estado de rastreamento salvo no diretório de trabalho, e deve dizer que uma parada deixa as solicitações enfileiradas listadas no estado salvo.

Nas alterações de código, procure por reflexão. A execução do teste parou um rastreamento e mais tarde leu páginas em cache chamando membros não públicos do IronWebScraper através de reflexão, com 13 usos de BindingFlags.NonPublic após o primeiro prompt e 9 no final. Esses membros estão ausentes da referência de API e possuem nomes ofuscados, então peça a API pública e confirme cada membro na referência de API.

A Visão Geral deve conter uma captura de tela de cada página de trabalho que o navegador abriu. O Antigravity App armazena cada captura de tela como um artefato de imagem que aceita comentários. No CLI, um prompt que nomeia uma pasta, como artifacts/shots, mantém as capturas de tela no repositório.

Como você verifica os registros em relação à bolsa em um navegador?

/browser Check the crawl against the board as a reader sees it.

Delete output/, cache included, and run the crawler once with no options. Then, in the browser:

1. Open http://localhost:5481/jobs/page-1.html and go through all six listing pages.
2. Count the job cards on each page.
3. Open J-1004, J-1012, J-1025, J-1047 and J-1058, and save a screenshot of each in artifacts/shots.
4. Note every field as the page displays it.

Put two tables in the Walkthrough and in artifacts/browser-check.md:

- job cards on the board against lines in output/jobs.jsonl
- one row per field of those five jobs, with the page value, the record value and a match column

If something differs, trace it in the crawler code before editing.
Then fix it, delete output/, crawl again and add both tables a second time.
Tell me what differed and what you changed.
Text

A bolsa possui 60 empregos em seis páginas de listagens. Sete listagens foram editadas após a publicação, e cada uma mantém seu salário antigo em um elemento oculto à frente do salário que a página exibe. J-1004, J-1012 e J-1047 estão entre eles. Um rastreador que lê o primeiro elemento dd.salary registra o valor antigo, enquanto o navegador mostra o novo.

Página de Harbor Jobs para J-1004, um cargo de Agente de Suporte ao Cliente no Saltmarsh Bistro, com seu salário exibido

J-1004 como o subagente /navegador capturou na execução do teste.

Saída

O arquivo abaixo é o jobs.jsonl que o rastreamento escreveu após a comparação do navegador, inalterado.

Baixar jobs.jsonl

60 registros de trabalho da bolsa de testes, um objeto JSON por linha, com o salário exibido para J-1004.

O que o cache da web e o estado salvo mantêm?

EnableWebCache escreve um arquivo .webcache por URL na pasta WebCache do diretório de trabalho. Para as 66 páginas da bolsa de testes, a sonda mediu 66 arquivos e 32.341 bytes. Uma repetição não fez nenhuma solicitação à bolsa e terminou em 4,6 segundos em vez de 9,4. A flag CretaedFromWebCache, escrita assim na API, era verdadeira em cada resposta.

O cache não detecta mudanças no site. Após a bolsa adicionar dois empregos e alterar um salário, uma repetição em cache não fez nenhuma solicitação e escreveu as listagens antigas. EnableWebCache com um TimeSpan limita isso, e com uma expiração de 15 segundos uma repetição 20 segundos depois buscou todas as 66 páginas novamente.

Start com um id de rastreamento escreve dois arquivos na pasta SavedState, um listando todas as solicitações enfileiradas e outro listando as solicitações que receberam uma resposta. Ambos os arquivos existiram após um rastreamento que funcionou por 6 segundos, apesar da documentação XML descrever um salvamento a cada cinco minutos. Um id de rastreamento concluído que começou novamente fez uma solicitação e não escreveu nada, então um trabalho diário que reutiliza um id não coleta novos empregos.

ScrapeUnique nunca escreveu o primeiro registro que cada rastreador passou para ele para um arquivo, então 6 de 6 sondas de 60 empregos escreveram 59 linhas.

Como você configura um projeto no qual Antigravity pode trabalhar?

What IronWebScraper version does HarborJobs.Crawler.csproj pin? Quote the PackageReference.
Quote the lines that apply the license key as well.
Judge everything from the code, without starting the crawler.

The key handling should meet these rules:

- The crawler's own code takes the key only from IRONWEBSCRAPER_LICENSE_KEY.
- No appsettings file or launch profile contains it.
- Without that variable, the crawler prints one line naming it and exits with code 2.
- A licensing failure is reported by exception type name, never by its message.

If the missing-variable line isn't there, add it to Program.cs and touch nothing else.
For every other rule that fails, tell me the file and line.
Text

Sem uma chave de licença, o IronWebScraper 2026.10.1 lança um LicensingException de Start antes de Init ser executado. O tipo de exceção não é público, então catch (LicensingException) falha ao compilar com CS0122 e um handler precisa combinar o tipo pelo nome.

ObeyRobotsDotTxt lê o robots.txt apenas da porta padrão, então o agente da execução teste adicionou o caminho não permitido da bolsa para BannedUrls.

Como você salva as regras de rastreamento para tarefas futuras?

Quando a comparação do navegador passa, registre as decisões da sessão como regras. De acordo com a documentação de regras do Antigravity, o CLI lê AGENTS.md, GEMINI.md e .agents/rules da raiz do repositório e de subdiretórios. O comando /learn resume as correções da sessão em regras persistentes.

/learn Write down what this session settled, in AGENTS.md at the repo root.
Use the heading "Crawling Harbor Jobs" and cover these points:

- the board URL, the 250 ms limit, robots.txt and the user agent
- the folders for the cache and the crawl state, and when to delete them
- which selector gives the salary the page displays
- that the key comes only from IRONWEBSCRAPER_LICENSE_KEY and is never printed or stored
- that no command lists environment variables
- that a crawl is finished once the browser comparison matches

Show me AGENTS.md when it's written.
Text

O que acontece quando um rastreamento para pela metade?

Stop não termina um rastreamento de maneira limpa no IronWebScraper 2026.10.1. Seu resumo XML chama a parada de graciosa e diz que o rastreamento pode reiniciar sob seu id de rastreamento sem perda de dados. Após Stop, chamado de um método de análise ou de outro thread, Start e StartAsync nunca retornaram em 3 de 3 sondas, que foram encerradas após 60 a 150 segundos.

Uma reinicialização sob o mesmo id de rastreamento também não terminou o rastreamento. Em 10 reinicializações de sondas após uma parada em 20 empregos, Start retornou normalmente cada vez, e o arquivo manteve de 19 a 57 dos 60 empregos. Nas 9 reinicializações cujos estados salvos foram inspecionados depois, 1 a 19 solicitações enfileiradas ainda não tinham resposta.

/plan A crawl that stops halfway must finish on the next start, with every job exactly once.
Write the Implementation Plan first, and wait until I approve it before you edit any file.

After I approve, measure a restart before you fix anything:

1. Delete output/.
2. Run the crawler with --stop-after 20.
3. Run it again with no options.
4. Count the lines in output/jobs.jsonl, the repeated ids and the ids missing from J-1001 to J-1060.
5. Have the crawler log the pages each run took from the board and from the cache.
6. Write those counts to output/run-counts.txt.

Repeat steps 1 to 6 three times. Treat a run still going after two minutes as hung, and kill it.
Then fix every cause you found, keep the web cache, and do the three restarts again.
Add what the restarts showed to AGENTS.md.

Then tell me:

- the counts for each run, before and after the fix
- what output/SavedState contained after each stop, or that the fix no longer uses it
Text

Este exemplo usa apenas a API pública do IronWebScraper e compila com o IronWebScraper 2026.10.1. Em três ciclos de parada e reinício contra a bolsa de teste, ele solicitou 22 páginas até a parada e as 44 restantes na reinicialização, e seu arquivo manteve cada um dos 60 empregos uma vez. Após o terceiro ciclo, a pasta de saída manteve jobs.jsonl e 66 páginas em cache no WebCache, e o exemplo não exclui nenhuma.

using System.Text.Json;
using IronWebScraper;

var key = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
if (string.IsNullOrWhiteSpace(key))
{
    Console.WriteLine("Missing required environment variable: IRONWEBSCRAPER_LICENSE_KEY");
    return 2;
}
License.LicenseKey = key;

int stopAfter = args.Length == 2 && args[0] == "--stop-after" ? int.Parse(args[1]) : 0;
new HarborJobsScraper(stopAfter).Start();
return 0;

public sealed class HarborJobsScraper(int stopAfter) : WebScraper
{
    private const string Board = "http://localhost:5481";
    private readonly object _fileLock = new();
    private readonly HashSet<string> _written = new();
    private int _jobsThisRun;

    public override void Init()
    {
        WorkingDirectory = "output";
        RateLimitPerHost = TimeSpan.FromMilliseconds(250);
        ObeyRobotsDotTxt = true;
        AllowedDomains.Add("localhost");
        Identities.Add(new HttpIdentity { UserAgent = "HarborJobsCrawler/1.0" });

        // Pages fetched before a stop come back from output/WebCache on the next start.
        EnableWebCache(TimeSpan.FromHours(12));

        string jobsFile = Path.Combine(WorkingDirectory, "jobs.jsonl");
        if (File.Exists(jobsFile))
        {
            foreach (var line in File.ReadLines(jobsFile))
            {
                _written.Add(JsonDocument.Parse(line).RootElement.GetProperty("id").GetString()!);
            }
        }

        Request(Board + "/jobs/page-1.html", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (var link in response.Css("article.job-card h2 a"))
        {
            Request(response.ToAbsoluteUrl(link.Attributes["href"]), ParseJob);
        }
        foreach (var next in response.Css("a[rel=next]"))
        {
            Request(response.ToAbsoluteUrl(next.Attributes["href"]), Parse);
        }
    }

    public void ParseJob(Response response)
    {
        // The page carries an old salary in a hidden element ahead of the one it displays.
        var salary = response.Css("dd.salary").Last(n => n.GetAttribute("style") is not { } s || !s.Contains("display:none"));
        var job = new
        {
            id = response.Css("dd.job-id")[0].TextContentClean,
            title = response.Css("h1.job-title")[0].TextContentClean,
            company = response.Css("dd.company")[0].TextContentClean,
            location = response.Css("dd.location")[0].TextContentClean,
            salary = salary.TextContentClean,
            postedDate = response.Css("time")[0].GetAttribute("datetime"),
            closed = response.CssExists("p.closed"),
        };

        lock (_fileLock)
        {
            // ScrapeUnique drops the first record of each process, so the crawler writes the file itself.
            if (_written.Add(job.id))
            {
                File.AppendAllText(Path.Combine(WorkingDirectory, "jobs.jsonl"), JsonSerializer.Serialize(job) + "\n");
            }
            if (stopAfter > 0 && ++_jobsThisRun >= stopAfter)
            {
                // Start never returns after Stop() in 2026.10.1, so a test stop ends the process.
                Environment.Exit(0);
            }
        }
    }
}
C#

Quando você deve despachar mais de um agente?

Harbor Jobs adds jobs every morning, and the crawler is scheduled once a day.
Divide the next part between two agents.

Agent A builds an xUnit project, HarborJobs.Crawler.Tests:

- Save the J-1004, J-1012, J-1021, J-1047 and J-1061 pages from today's board into TestData.
- Test the record each saved page produces, salary and closed flag included.
- The tests read only those files and send no request.
- Keep the test project out of the crawler's compile items.
- Run it with dotnet test HarborJobs.Crawler.Tests.

If the tests fail, stop there and tell me why.
Otherwise Agent B takes these steps:

1. Run the crawler with today's command and the existing output/ folder, as tomorrow's run would.
2. Use /browser to open page 1 of the board and each job it links to.
3. Check that every one of those jobs has a line in jobs.jsonl with the same values.

If the board and the file disagree, explain why before changing anything.
A restart on the same day still reads the cache, and the fix has to keep that.
Save screenshots in artifacts/shots-day2.
Write how many page 1 jobs matched before and after to artifacts/day2-check.md.

Tell me what each agent found.
Text

Antes deste prompt, a bolsa de teste passou para as listagens da manhã seguinte, com dois novos empregos no topo da página 1, um salário alterado e um emprego encerrado.

Por favor, note: A visão geral do Google descreve subagentes concorrentes que trabalham em worktrees do Git isolados. Leia cada conversa de subagente antes de mesclar seu trabalho.

O que os prompts produziram em uma execução real?

Todos os seis prompts foram executados sem supervisão em uma principal conversa de CLI do Antigravity, com prompts de permissão ignorados. Cada figura abaixo vem do log de tempo e de verificações independentes dos commits da execução, log de solicitações e novas execuções.

  • Antes do primeiro prompt, o repositório mantinha um projeto de console que apenas imprimia seu nome.
  • Ao planejar, o agente buscou as páginas de emprego com suas próprias solicitações PowerShell e encontrou os salários ocultos.
  • O primeiro rastreamento completo escreveu 60 linhas, e todas as 60 corresponderam à bolsa.
  • O primeiro teste da opção de parada nunca saiu e foi encerrado pelo operador após 23 minutos.
  • No primeiro prompt, 64 dos 273 intervalos entre solicitações de rastreamento eram inferiores a 240 ms, o mais curto 8 ms.
  • A partir do segundo prompt, nenhum intervalo de rastreamento caiu abaixo de 292 ms.
  • A comparação do navegador contou 60 cartões de trabalho contra 60 linhas e não encontrou diferença de campo, então sua etapa de correção não tinha nada para mudar.
  • O Chrome do subagente do navegador solicitou 125 páginas sob /apply/, que o robots.txt não permite, e o rastreador não solicitou nenhuma.
  • Sem a variável chave, o rastreador final imprimiu uma linha nomeando-o e saiu com o código 2.
  • Com uma chave inválida, terminou com um LicensingException não tratado, uma falha que o prompt de instalação relatou e deixou no lugar.
  • A correção do reinício descartou o id de rastreamento e manteve sua própria fila de páginas pendentes.
  • Em três ciclos de parada e reinício independentes, o rastreador final escreveu todos os 60 empregos uma vez, com 23 solicitações antes de cada parada e 44 depois.
  • Na bolsa do dia seguinte, o rastreador do primeiro prompt não fez nenhuma solicitação e perdeu os dois novos empregos.
  • O arquivo desse rastreador correspondeu a 7 dos 10 empregos na nova página 1.
  • Após a correção do Agente B, o rastreador final correspondeu a todos os 60 empregos nessa bolsa.
  • Os cinco testes do Agente A passaram sem contatar a bolsa.
  • Alguns passos foram executados de forma diferente da página. Os 57,2 minutos do primeiro prompt incluíram a espera pelo teste de parada travado. Cada prompt a partir do segundo terminou com um status agy de ERRO, para uma chamada de função com falha, após sua resposta completa. O Agente A rodou como um subagente separado, e a conversa principal rodou os passos do Agente B com um subagente de navegador. O subagente /navegador usou um Chrome sem cabeça que a execução iniciou, já que o CLI busca pelo arquivo de porta do DevTools do Chrome no perfil do usuário. O rastreador final limpou seu cache após um rastreamento completo, então um nova execução após a conclusão solicitou cada página novamente.

ChatGPT Codex lê suas regras permanentes de AGENTS.md, assim como este guia, e entrega partes nomeadas de uma tarefa para agentes exploradores e trabalhadores. GitHub Copilot também testa um rastreador contra páginas salvas sem uma solicitação para o site. A versão do Antigravity, o modelo, o tempo de execução e a máquina de teste são registrados no registro de execução compartilhado.


Solução de problemas


Questões?

Se você tiver dúvidas, entre em contato com support@ironsoftware.com

Curtis Chau é bacharel em Ciência da Computação (Universidade Carleton) e se especializa em desenvolvimento front-end, com experiência em Node.js, TypeScript, JavaScript e React. Apaixonado por criar interfaces de usuário intuitivas e esteticamente agradáveis, Curtis gosta de trabalhar com frameworks modernos e criar manuais bem estruturados e visualmente atraentes.

Leia Mais

Pronto para começar?

Downloads no NuGet 150,061Versão:2026.11recém-lançado