Cómo usar IronWebScraper con Google Antigravity
Un equipo de análisis de reclutamiento recopila cada listado de un tablero de empleos regional cada mañana. Un rastreo de unas pocas centenas de páginas puede detenerse a mitad de camino cuando un servidor reinicia, una laptop se pone en reposo o alguien presiona Ctrl+C. Cuando el rastreador comienza nuevamente, tiene que terminar las páginas restantes sin descargar las que ya se terminaron dos veces y sin escribir un trabajo dos veces. Un rastreo también puede terminar sin error y aún así registrar un salario que la página ya no muestra. Ninguna falla aparece en un registro de consola.
Google Antigravity puede verificar el rastreo contra la página tal como la ve un buscador de empleo. Su comando /browser lanza un subagente del navegador que abre cada página y captura una captura de pantalla. IronWebScraper mantiene una caché web y puede reiniciar un rastreo bajo un id de rastreo, características cubiertas en su tutorial de Funciones avanzadas de rastreo web. Esta guía construye un rastreador de tablero de empleos con ambas herramientas y lo prueba contra una copia local de un tablero cuyos 60 listados se conocen de antemano.
Esta guía está destinada a desarrolladores que usan agentes de IA para escribir rastreadores .NET. Cada rastreo en ella apunta a un tablero de pruebas servido en localhost, y no aborda el rastreo de sitios que no operas.
Inicio rápidoCon el proyecto HarborJobs.Crawler abierto en Antigravity, describe el rastreo.
/plan Build a crawler for Harbor Jobs, the local test board at http://localhost:5481.
This repo is a .NET 9 console app named HarborJobs.Crawler.
Install IronWebScraper 2026.10.1 and subclass WebScraper.
The crawl runs in this order:
1. Start at /jobs/page-1.html and follow the rel="next" links through page 6.
2. Open every job linked from a listing page.
3. Write one line per job to output/jobs.jsonl.
A line holds the job id, title, company, location, salary, posted date and a closed flag.
The crawler also follows these rules:
- It requests nothing outside localhost:5481, and at most one page every 250 ms.
- It obeys robots.txt, and its user agent is HarborJobsCrawler/1.0.
- IronWebScraper's working directory is output/.
- Pages go into IronWebScraper's web cache, so a restart doesn't download them again.
- The crawl gets an id, so a stopped run can start again under that id.
- A --stop-after N option stops the crawl after N jobs, for testing restarts.
Program.cs reads IRONWEBSCRAPER_LICENSE_KEY and sets IronWebScraper.License.LicenseKey once.
The key stays out of output, logs and files. Don't list environment variables either.
The Implementation Plan should answer two questions:
- Where on disk do the cache and the saved crawl state go?
- What happens to queued requests when a crawl stops?
Once the plan is done, build the crawler and run one full crawl.
Tell me how many lines output/jobs.jsonl ends up with.
IronWebScraper no lee IRONWEBSCRAPER_LICENSE_KEY por sí mismo, por lo que el indicador tiene Program.cs asignando License.LicenseKey desde él. La guía de la clave de licencia describe otras maneras de aplicar la clave.
Flujo de trabajo mínimo (5 pasos)
- Descargar la biblioteca de web scraping C# desde NuGet
- Inicia el agente en un proyecto de consola que se construye, con un sitio de prueba en localhost
- Dale al rastreo un directorio de trabajo, una caché web y una forma de detenerse después de N trabajos
- Haz que /browser compare las páginas de trabajos con el archivo de salida
- Detén y reinicia el rastreo, luego confirma cada miembro en la referencia API
¿Qué es Google Antigravity y en qué se diferencia de un asistente de chat?
Según el resumen de Google, la aplicación Antigravity es una aplicación de escritorio independiente para lanzar e inspeccionar equipos de agentes de IA. Sus agentes devuelven Artefactos, como un Plan de Implementación, un Recorrido y capturas de pantalla, para revisión en hitos clave.
La guía de asistentes de codificación de IA explica por qué una tarea que agrega los nombres de los paquetes IronWebScraper exactamente. También lista los archivos de documentación de IronWebScraper para agentes e incluye una prueba de aceptación de un solo indicador.
¿Qué deberías verificar en el plan, los cambios de código y la guía?
El plan debería colocar la caché web y el estado del rastreo guardado bajo el directorio de trabajo, y debería decir que un paro deja las solicitudes en cola listadas en el estado guardado.
En los cambios de código, busca la reflexión. La ejecución de prueba detuvo un rastreo y luego leyó las páginas en caché llamando a miembros no públicos de IronWebScraper a través de reflexión, con 13 usos de BindingFlags.NonPublic después del primer indicador y 9 al final. Esos miembros están ausentes de la referencia API y llevan nombres ofuscados, así que solicita la API pública y confirma cada miembro en la referencia API.
El Recorrido debería tener una captura de pantalla de cada página de trabajo que el navegador abrió. La aplicación Antigravity almacena cada captura de pantalla como un artefacto de imagen que acepta comentarios. En la CLI, un indicador que nombra una carpeta, como artifacts/shots, mantiene las capturas de pantalla en el repositorio.
¿Cómo compruebas los registros contra el tablero en un navegador?
/browser Check the crawl against the board as a reader sees it.
Delete output/, cache included, and run the crawler once with no options. Then, in the browser:
1. Open http://localhost:5481/jobs/page-1.html and go through all six listing pages.
2. Count the job cards on each page.
3. Open J-1004, J-1012, J-1025, J-1047 and J-1058, and save a screenshot of each in artifacts/shots.
4. Note every field as the page displays it.
Put two tables in the Walkthrough and in artifacts/browser-check.md:
- job cards on the board against lines in output/jobs.jsonl
- one row per field of those five jobs, with the page value, the record value and a match column
If something differs, trace it in the crawler code before editing.
Then fix it, delete output/, crawl again and add both tables a second time.
Tell me what differed and what you changed.
El tablero contiene 60 trabajos en seis páginas de listados. Siete listados fueron editados después de ser publicados, y cada uno mantiene su antiguo salario en un elemento oculto antes del salario que la página muestra. J-1004, J-1012 y J-1047 están entre ellos. Un rastreador que lee el primer elemento dd.salary registra la cifra antigua, mientras que el navegador muestra la nueva.
J-1004 como lo capturó el subagente /browser en la ejecución de prueba.
Resultado
El archivo a continuación es el jobs.jsonl que el rastreo escribió después de la comparación de navegadores, sin cambios.
60 registros de trabajos del tablero de prueba, un objeto JSON por línea, con el salario mostrado para J-1004.
¿Qué guardan la caché web y el estado guardado?
EnableWebCache escribe un archivo .webcache por cada URL en la carpeta WebCache del directorio de trabajo. Para las 66 páginas del tablero de prueba, la sonda midió 66 archivos y 32,341 bytes. Una nueva ejecución no hizo ninguna solicitud al tablero y terminó en 4.6 segundos en lugar de 9.4. La bandera CretaedFromWebCache, escrita de esta manera en la API, fue verdadera en cada respuesta.
La caché no detecta cambios en el sitio. Después de que el tablero agregó dos trabajos y cambió un salario, una nueva ejecución en caché no hizo ninguna solicitud y escribió los listados antiguos. EnableWebCache con un TimeSpan limita esto, y con un vencimiento de 15 segundos una nueva ejecución 20 segundos después obtuvo todas las 66 páginas nuevamente.
Start con un id de rastreo escribe dos archivos en la carpeta SavedState, uno listando cada solicitud en cola y otro listando las solicitudes que recibieron una respuesta. Ambos archivos existían después de un rastreo que duró 6 segundos, aunque la documentación XML describe un guardado cada cinco minutos. Un id de rastreo terminado que comenzó nuevamente hizo una solicitud y no escribió nada, por lo que un trabajo diario que reutiliza un id no recoge trabajos nuevos.
ScrapeUnique nunca escribió el primer registro que cada raspador le pasó para un archivo, así que 6 de 6 rastreos de prueba de 60 trabajos escribieron 59 líneas.
¿Cómo configuras un proyecto en el que Antigravity pueda trabajar?
What IronWebScraper version does HarborJobs.Crawler.csproj pin? Quote the PackageReference.
Quote the lines that apply the license key as well.
Judge everything from the code, without starting the crawler.
The key handling should meet these rules:
- The crawler's own code takes the key only from IRONWEBSCRAPER_LICENSE_KEY.
- No appsettings file or launch profile contains it.
- Without that variable, the crawler prints one line naming it and exits with code 2.
- A licensing failure is reported by exception type name, never by its message.
If the missing-variable line isn't there, add it to Program.cs and touch nothing else.
For every other rule that fails, tell me the file and line.
Sin una clave de licencia, IronWebScraper 2026.10.1 lanza una LicensingException desde Start antes de que Init ejecute. El tipo de excepción no es público, por lo que catch (LicensingException) falla al compilar con CS0122 y un manejador tiene que coincidir el tipo por nombre.
ObeyRobotsDotTxt lee robots.txt solo desde el puerto por defecto, por lo que el agente de la ejecución de prueba agregó el camino no permitido del tablero a BannedUrls.
¿Cómo guardas las reglas de rastreo para tareas posteriores?
Cuando pasa la comparación de navegador, registra las decisiones de la sesión como reglas. Según la documentación de reglas de Antigravity, el CLI lee AGENTS.md, GEMINI.md y .agents/rules desde la raíz del repositorio y desde subdirectorios. El comando /learn condensa correcciones de la sesión en reglas persistentes.
/learn Write down what this session settled, in AGENTS.md at the repo root.
Use the heading "Crawling Harbor Jobs" and cover these points:
- the board URL, the 250 ms limit, robots.txt and the user agent
- the folders for the cache and the crawl state, and when to delete them
- which selector gives the salary the page displays
- that the key comes only from IRONWEBSCRAPER_LICENSE_KEY and is never printed or stored
- that no command lists environment variables
- that a crawl is finished once the browser comparison matches
Show me AGENTS.md when it's written.
¿Qué sucede cuando un rastreo se detiene a mitad de camino?
Stop no termina un rastreo limpiamente en IronWebScraper 2026.10.1. Su resumen XML llama a la parada graciosa y dice que el rastreo puede reiniciarse bajo su id de rastreo sin pérdida de datos. Después de Stop, llamado desde un método de análisis o desde otro hilo, Start y StartAsync nunca regresaron en 3 de 3 sondas, que fueron terminadas después de 60 a 150 segundos.
Un reinicio bajo el mismo id de rastreo tampoco terminó el rastreo. En 10 reinicios de prueba después de una parada en 20 trabajos, Start regresó normalmente cada vez, y el archivo tenía 19 a 57 de los 60 trabajos. En los 9 reinicios cuyo estado guardado fue inspeccionado posteriormente, 1 a 19 solicitudes en cola aún no tenían respuesta.
/plan A crawl that stops halfway must finish on the next start, with every job exactly once.
Write the Implementation Plan first, and wait until I approve it before you edit any file.
After I approve, measure a restart before you fix anything:
1. Delete output/.
2. Run the crawler with --stop-after 20.
3. Run it again with no options.
4. Count the lines in output/jobs.jsonl, the repeated ids and the ids missing from J-1001 to J-1060.
5. Have the crawler log the pages each run took from the board and from the cache.
6. Write those counts to output/run-counts.txt.
Repeat steps 1 to 6 three times. Treat a run still going after two minutes as hung, and kill it.
Then fix every cause you found, keep the web cache, and do the three restarts again.
Add what the restarts showed to AGENTS.md.
Then tell me:
- the counts for each run, before and after the fix
- what output/SavedState contained after each stop, or that the fix no longer uses it
Este ejemplo usa solo la API pública de IronWebScraper y compila con IronWebScraper 2026.10.1. En tres ciclos de parada y reinicio contra el tablero de prueba, solicitó 22 páginas hasta la parada y las 44 restantes al reiniciar, y su archivo tenía cada uno de los 60 trabajos una vez. Después del tercer ciclo, la carpeta de salida contenía jobs.jsonl y 66 páginas en caché en WebCache, y el ejemplo no eliminó ninguna.
using System.Text.Json;
using IronWebScraper;
var key = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
if (string.IsNullOrWhiteSpace(key))
{
Console.WriteLine("Missing required environment variable: IRONWEBSCRAPER_LICENSE_KEY");
return 2;
}
License.LicenseKey = key;
int stopAfter = args.Length == 2 && args[0] == "--stop-after" ? int.Parse(args[1]) : 0;
new HarborJobsScraper(stopAfter).Start();
return 0;
public sealed class HarborJobsScraper(int stopAfter) : WebScraper
{
private const string Board = "http://localhost:5481";
private readonly object _fileLock = new();
private readonly HashSet<string> _written = new();
private int _jobsThisRun;
public override void Init()
{
WorkingDirectory = "output";
RateLimitPerHost = TimeSpan.FromMilliseconds(250);
ObeyRobotsDotTxt = true;
AllowedDomains.Add("localhost");
Identities.Add(new HttpIdentity { UserAgent = "HarborJobsCrawler/1.0" });
// Pages fetched before a stop come back from output/WebCache on the next start.
EnableWebCache(TimeSpan.FromHours(12));
string jobsFile = Path.Combine(WorkingDirectory, "jobs.jsonl");
if (File.Exists(jobsFile))
{
foreach (var line in File.ReadLines(jobsFile))
{
_written.Add(JsonDocument.Parse(line).RootElement.GetProperty("id").GetString()!);
}
}
Request(Board + "/jobs/page-1.html", Parse);
}
public override void Parse(Response response)
{
foreach (var link in response.Css("article.job-card h2 a"))
{
Request(response.ToAbsoluteUrl(link.Attributes["href"]), ParseJob);
}
foreach (var next in response.Css("a[rel=next]"))
{
Request(response.ToAbsoluteUrl(next.Attributes["href"]), Parse);
}
}
public void ParseJob(Response response)
{
// The page carries an old salary in a hidden element ahead of the one it displays.
var salary = response.Css("dd.salary").Last(n => n.GetAttribute("style") is not { } s || !s.Contains("display:none"));
var job = new
{
id = response.Css("dd.job-id")[0].TextContentClean,
title = response.Css("h1.job-title")[0].TextContentClean,
company = response.Css("dd.company")[0].TextContentClean,
location = response.Css("dd.location")[0].TextContentClean,
salary = salary.TextContentClean,
postedDate = response.Css("time")[0].GetAttribute("datetime"),
closed = response.CssExists("p.closed"),
};
lock (_fileLock)
{
// ScrapeUnique drops the first record of each process, so the crawler writes the file itself.
if (_written.Add(job.id))
{
File.AppendAllText(Path.Combine(WorkingDirectory, "jobs.jsonl"), JsonSerializer.Serialize(job) + "\n");
}
if (stopAfter > 0 && ++_jobsThisRun >= stopAfter)
{
// Start never returns after Stop() in 2026.10.1, so a test stop ends the process.
Environment.Exit(0);
}
}
}
}
¿Cuándo deberías enviar más de un agente?
Harbor Jobs adds jobs every morning, and the crawler is scheduled once a day.
Divide the next part between two agents.
Agent A builds an xUnit project, HarborJobs.Crawler.Tests:
- Save the J-1004, J-1012, J-1021, J-1047 and J-1061 pages from today's board into TestData.
- Test the record each saved page produces, salary and closed flag included.
- The tests read only those files and send no request.
- Keep the test project out of the crawler's compile items.
- Run it with dotnet test HarborJobs.Crawler.Tests.
If the tests fail, stop there and tell me why.
Otherwise Agent B takes these steps:
1. Run the crawler with today's command and the existing output/ folder, as tomorrow's run would.
2. Use /browser to open page 1 of the board and each job it links to.
3. Check that every one of those jobs has a line in jobs.jsonl with the same values.
If the board and the file disagree, explain why before changing anything.
A restart on the same day still reads the cache, and the fix has to keep that.
Save screenshots in artifacts/shots-day2.
Write how many page 1 jobs matched before and after to artifacts/day2-check.md.
Tell me what each agent found.
Antes de este indicador, el tablero de prueba pasó a los listados de la mañana siguiente, con dos nuevos trabajos en la parte superior de la página 1, un salario cambiado y un trabajo cerrado.
¿Qué produjeron los prompts en una ejecución real?
Todos los seis indicadores se ejecutaron sin supervisión en una conversación principal de Antigravity CLI, con avisos de permisos omitiéndose. Cada figura a continuación proviene del registro de tiempo y de cheques independientes de los commits de la ejecución, registro de solicitudes y nuevas ejecuciones.
- Antes del primer indicador, el repositorio contenía un proyecto de consola que solo imprimía su nombre.
- Durante la planificación, el agente obtuvo las páginas de trabajos con sus propias solicitudes de PowerShell y encontró los salarios ocultos.
- El primer rastreo completo escribió 60 líneas, y todas las 60 coincidieron con el tablero.
- La primera prueba de la opción de parada nunca salió y fue finalizada por el operador después de 23 minutos.
- En el primer indicador, 64 de 273 intervalos entre solicitudes del rastreador estuvieron por debajo de 240 ms, el más corto 8 ms.
- A partir del segundo indicador, ningún intervalo del rastreador cayó por debajo de 292 ms.
- La comparación de navegador contó 60 tarjetas de trabajo contra 60 líneas y no encontró diferencia de campo, así que su paso de corrección no tenía nada que cambiar.
- El Chrome del subagente del navegador solicitó 125 páginas bajo /apply/, las cuales robots.txt prohíbe, y el rastreador no solicitó ninguna.
- Sin la variable clave, el rastreador final imprimió una línea nombrándola y salió con código 2.
- Con una clave inválida, terminó con una LicensingException no manejada, un fallo que el indicador de configuración reportó y dejó en su lugar.
- La corrección de reinicio dejó caer el id de rastreo y mantuvo su propia cola de páginas pendientes.
- En tres ciclos independientes de parada y reinicio, el rastreador final escribió los 60 trabajos una vez, con 23 solicitudes antes de cada parada y 44 después.
- En el tablero del día siguiente, el rastreador del primer indicador no hizo ninguna solicitud y perdió ambos trabajos nuevos.
- Ese archivo del rastreador coincidió con 7 de los 10 trabajos en la nueva página 1.
- Después de la corrección del Agente B, el rastreador final coincidió con todos los 60 trabajos en ese tablero.
- Las cinco pruebas del Agente A pasaron sin contactar el tablero.
- Algunos pasos se ejecutaron de manera diferente a lo esperado. Los 57.2 minutos del primer indicador incluyeron la espera para la prueba de parada colgado. Cada indicador del segundo en adelante terminó con un estado agy de ERROR, por una llamada a función mal formada, después de su respuesta completa. El Agente A corrió como un subagente separado, y la conversación principal corrió los pasos del Agente B con un subagente de navegador. El subagente /browser usó un Chrome sin cabeza que la ejecución inició, ya que la CLI busca el archivo de puerto de DevTools de Chrome en el perfil del usuario. El rastreador final borró su caché después de un rastreo completo, por lo que una nueva ejecución después de la finalización solicitó cada página nuevamente.
ChatGPT Codex lee sus reglas permanentes desde AGENTS.md, al igual que esta guía, y entrega partes nombradas de una tarea a agentes exploradores y trabajadores. GitHub Copilot también prueba un rastreador contra páginas guardadas sin solicitar al sitio. La versión de Antigravity, el modelo, el tiempo de ejecución y la máquina de prueba se registran en el registro de ejecución compartido.
Solución de problemas
- Funciones avanzadas de rastreo web para la caché web, ids de rastreo y limitación de velocidad
- Aplicando claves de licencia cuando
Startlanza antes de la primera solicitud - IronWebScraper & JavaScript cuando el navegador muestra un valor que el rastreador nunca recibe
- Seguridad de hilos sobre cómo IronWebScraper gestiona sus hilos de rastreo
¿Preguntas?
Si tienes alguna pregunta, contacta a support@ironsoftware.com
Curtis Chau tiene una licenciatura en Ciencias de la Computación (Carleton University) y se especializa en el desarrollo front-end con experiencia en Node.js, TypeScript, JavaScript y React. Apasionado por crear interfaces de usuario intuitivas y estéticamente agradables, disfruta trabajando con frameworks modernos y creando manuales bien estructurados y visualmente atractivos.