Cómo usar IronWebScraper con Cursor

Curtis Chau
Curtis Chau
Actualizado: 26 de octubre de 2026

Cuando un rastreador C# se mueve de HttpClient y HtmlAgilityPack a IronWebScraper, un puerto que encola cada página de listado en Init pierde registros. IronWebScraper 2026.10.1 puede terminar un rastreo antes de haber solicitado todas las páginas encoladas. En nuestras pruebas, cuatro páginas de listado encoladas en Init con una llamada Request cada una produjeron tres, tres y dos páginas obtenidas en tres ejecuciones, y el resultado perdió 10, 10 y 24 de 46 proveedores sin error.

Cursor es un editor de código de IA construido sobre la base de código de VS Code, con un agente que edita archivos y ejecuta comandos. Esta guía utiliza dos de sus características, los enlaces de documentación que lee el agente y las reglas de proyecto comprometidas en .cursor/rules, para migrar un rastreador de proveedores de un equipo de compras. El rastreador copia 46 proveedores y sus detalles de contacto solo para miembros desde un directorio comercial a un archivo CSV, y la guía lo mueve a IronWebScraper sin cambiar una fila de ese archivo o exceder el límite del directorio de 4 solicitudes por segundo.

La guía sigue las funciones de control de velocidad e identidad del tutorial avanzado de web scraping. Cada rastreo se ejecutó contra una copia local del directorio servida en localhost. Lea los términos de un sitio público y obtenga permiso antes de escribir un rastreador para él.

Inicio rápido
NuGetInstalar con NuGet

PM > Install-Package IronWebScraper

Instale IronWebScraper ejecutando el comando arriba en la Consola del Administrador de Paquetes NuGet, o busque el paquete en el Administrador de Paquetes NuGet.

Con el repositorio HarborDirectory abierto, pegue este mensaje en un nuevo chat de Agente.

@src/HarborDirectory/ @README.md

Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.

Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.

The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.

The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.

When it builds, run the pages command and show me what it printed.
Text

No pegue la clave de licencia en un chat, porque el contenido pegado puede aparecer en un archivo fuente, un commit o un registro de compilación. IronWebScraper 2026.10.1 ignora una variable de entorno llamada IRONWEBSCRAPER_LICENSE_KEY, por lo que el Program.cs del repositorio copia esa variable en License.LicenseKey. La guía de claves de licencia enumera los lugares donde se puede almacenar la clave.



¿Qué modelo de Cursor debería usar para el trabajo con IronWebScraper?

Composer es el modelo agente propio de Cursor. El selector de modelos también ofrece los modelos Grok de SpaceXAI, que Cursor co-desarrolló, y modelos de OpenAI, Anthropic, Google y otros laboratorios. La prueba ejecutada a continuación utilizó Composer 2.5.

¿Cómo le proporciona la documentación de IronWebScraper a Cursor?

Incluya el enlace llms.txt de IronWebScraper en la solicitud, o almacénelo en una regla que comparta todo el equipo. A octubre de 2026, el menú de @ de Cursor adjunta archivos, carpetas, terminales, chats, diferencias de Git y el navegador, por lo que la documentación de IronWebScraper llega al agente como un enlace.

El tutorial avanzado establece RateLimitPerHost en sus ejemplos, pero no establece valores predeterminados, y ninguna página dice si dos rastreadores comparten un límite de velocidad.

@src/HarborDirectory/Legacy/PoliteHttp.cs

Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?

Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
Text

¿Cómo escribe reglas de proyecto para el código de rastreador de IronWebScraper?

Una regla de proyecto es un archivo .mdc almacenado en .cursor/rules y versionado con el repositorio. Cursor ignora un archivo .md simple en esa carpeta porque un archivo sin frontmatter no le proporciona una forma de decidir cuándo cargar la regla.

La regla a continuación enumera sus patrones de archivos en globs, separados por comas como especifica la página de reglas de Cursor, y establece alwaysApply en falso. Cursor lo adjunta cuando un archivo bajo esas rutas está en contexto. Guárdelo como .cursor/rules/harbor-crawlers.mdc.

---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---

Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Markdown

Las reglas en Init, el inicio de sesión y las solicitudes fallidas registran el comportamiento de IronWebScraper que las secciones a continuación miden.

¿Cómo se asignan las llamadas de HttpClient y HtmlAgilityPack a IronWebScraper?

El rastreador antiguo obtenía cada página por sí mismo y esperaba entre solicitudes. IronWebScraper encola las solicitudes, las espacia por host y llama a un método de análisis para cada respuesta exitosa.

HttpClient y HtmlAgilityPackIronWebScraper
Un bucle sobre números de página con GetAsyncRequest para la página 1 en Init, luego el enlace a la página siguiente encolado desde Parse
Task.Delay entre solicitudesRateLimitPerHost, con OpenConnectionLimitPerHost para solicitudes en paralelo
DefaultRequestHeaders.UserAgentUserAgent en un HttpIdentity añadido a Identities
DefaultRequestHeaders.Authorization con credenciales BásicasNetworkUsername y NetworkPassword en una identidad, o HttpIdentity.DefaultHttpRequestHeaders
Un bucle de reintento que espera por Retry-After en 429 y 503HttpRetryAttempts
SelectNodes y SelectSingleNode con XPathCss o XPath en el Response, que devuelven arreglos HtmlNode
File.WriteAllTextAsync para el CSVScrape, que añade líneas JSON bajo WorkingDirectory, o el propio escritor del programa

¿Por qué un rastreador portado pierde páginas de listado?

La guía de GitHub Copilot mide cómo IronWebScraper descarta solicitudes hechas en Init. En las pruebas para esta guía, FailedUrls se mantuvo en 0 para las páginas descartadas. La sobrecarga de Request que toma una lista de URLs obtuvo dos, cuatro y tres de las cuatro páginas de listado en tres ejecuciones.

Una solicitud en Init y cada solicitud adicional encolada desde un método de análisis obtuvo todos los 46 proveedores en 8 de 8 ejecuciones, por lo que la regla limita Init a la página 1 del listado.

¿Cómo espacia IronWebScraper sus solicitudes a un host?

Un nuevo WebScraper usó un RateLimitPerHost de 50 ms, un OpenConnectionLimitPerHost de 2, un MaxHttpConnectionLimit de 10, 8 para HttpRetryAttempts y un HttpTimeOut de 20 segundos. Con esos valores, el rastreador envió las 50 solicitudes de directorio entre 50 y 88 ms de diferencia.

Contra un sitio de prueba que rechazó solicitudes que llegaron demasiado rápido con 429 y un encabezado Retry-After, los valores predeterminados fallaron. Cada URL rechazada fue solicitada 9 veces con el mismo espaciado, el encabezado Retry-After no hizo diferencia, y se abandonaron 13 URLs. El rastreador antiguo respetaba Retry-After, por lo que un puerto que depende solo de reintentos pierde registros. Un RateLimitPerHost de 500 ms produjo brechas de 533 a 563 ms, lo que mantiene un rastreador dentro del límite del directorio.

¿Cómo se planifica y ejecuta la migración?

Presione Shift+Tab en la entrada del chat hasta que se seleccione el Modo Plan, luego envíe la solicitud a continuación. Cursor escribe el plan como un archivo Markdown editable.

@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv

Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.

The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?

List your assumptions at the end of the plan.
Text

Corrija cualquier error en el plan. Luego constrúyalo desde el plan, o cambie de nuevo a Agente y envíe esta solicitud.

@harbor-crawlers

The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.

Then tell me both match counts, how long each run took and how many requests the new run sent.
Text

La mención @harbor-crawlers adjunta la regla por su nombre.

¿Qué característica de Cursor encaja con cada cambio?

Seleccione una característica basada en el alcance del cambio. La pestaña completa una edición que el desarrollador ha comenzado, y la edición en línea (Ctrl+K) cambia una selección que una oración puede describir. Agente cubre cambios en varios archivos o trabajos que requieren un rastreo, y el Modo Plan vale la pena cuando un cambio incorrecto cuesta más deshacer que lo que cuesta escribir un plan. Cada solicitud en esta guía fue al Agente o al Modo Plan.

¿Qué identidad envía cada solicitud?

Cada identidad en Identities lleva su propio agente de usuario, cookies e inicio de sesión. Sin identidad, IronWebScraper no envió ningún encabezado User-Agent. Con varias identidades, seleccionó una al azar para cada solicitud y para cada reintento. Un rastreador que tenía una identidad de miembro y una identidad pública necesitó 140 solicitudes para 46 páginas de contacto, 94 de ellas rechazadas con 401.

Un inicio de sesión establecido a través de NetworkUsername y NetworkPassword cuesta una segunda solicitud en cada página protegida. Cada página de miembro salió primero sin credenciales, recibió un 401, y la solicitud con credenciales siguió dentro de 1.4 ms, fuera del espaciado RateLimitPerHost. Pasar la identidad de miembro a Request elimina la elección aleatoria pero no la segunda solicitud.

El tutorial enumera HttpRequestHeaders para encabezados personalizados, sin embargo, ningún encabezado colocado allí llegó al sitio. La prueba agregó Authorization y un encabezado X-Crawler personalizado, y ninguno llegó. Un encabezado añadido al HttpIdentity.DefaultHttpRequestHeaders estático antes de que se creara la identidad fue enviado en cada solicitud y eliminado en cada 401. Ese diccionario se aplica a cada identidad que el proceso crea después, incluidas las páginas públicas.

¿Cómo se depura el rastreador que ya usa IronWebScraper?

El rastreador de certificados ya usaba IronWebScraper antes de la migración. Tenía una identidad pública y una identidad de miembro, encolaba las tres páginas de registro en Init y no establecía ningún límite de velocidad.

@src/HarborDirectory/Scrapers/CertificateScraper.cs

The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.

Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.

Then fix CertificateScraper.
Run the command three times and give me the count from each run.
Text

Resultado

El rastreador fijo escribe el registro como una línea JSON por certificado, en el orden en que las páginas son analizadas.

Las primeras 10 de 32 líneas de out/certificates.jsonl, un objeto JSON por certificado

Las primeras 10 de las 32 líneas en out/certificates.jsonl como la ejecución de prueba las dejó después del mensaje de rastreo completo, representadas como texto plano desde el archivo.

¿Qué sucede cuando dos rastreadores rastrean el mismo host?

Cada instancia de WebScraper controla la tasa de sus propias solicitudes. Dos rastreadores que cada uno establece RateLimitPerHost en 500 ms y utilizaron una conexión mantuvieron dos solicitudes en vuelo y enviaron hasta 6 solicitudes en un segundo al mismo host. Por lo tanto, su tasa combinada debe planificarse en el código.

@src/HarborDirectory/

Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.

The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.

Run crawl-all, compare both files with TestData/expected and tell me what matched.
Text

Resultado

El gráfico cuenta las solicitudes que el sitio local recibió en cada segundo de la ejecución de rastreo completo.

Gráfico de barras apiladas de solicitudes por segundo de SupplierScraper y CertificateScraper, nunca por encima del límite de 4

Solicitudes por segundo durante la ejecución de rastreo completo de la prueba, tomadas del registro de solicitudes del sitio local. 209 solicitudes en 100 segundos.

¿Cómo se escriben pruebas de regresión para los rastreadores?

Un Response construido con su constructor público arrojó un ArgumentNullException desde Css, y la guía de ChatGPT Codex explica por qué IronWebScraper solo analiza páginas que obtuvo por sí mismo. Por lo tanto, las pruebas sirven las páginas guardadas a través de HTTP.

@src/HarborDirectory/ @TestData/pages/

Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.

Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.

Finish by running dotnet test, then report the passing and failing test counts.
Text

¿Qué produjeron los prompts en una ejecución real?

Compilaciones de versión fresca de cada commit que cambió el código se repitieron cada rastreo a continuación contra una nueva copia del sitio local. Un script leyó el registro de solicitudes del sitio y comparó cada archivo de salida con TestData/expected.

  • Antes del traslado, el rastreador HttpClient y HtmlAgilityPack escribió los 46 proveedores en 96 solicitudes y 49.2 segundos.
  • Después del traslado, SupplierScraper escribió las mismas 46 filas, con el mismo encabezado y orden de filas.
  • El nuevo rastreo envió 142 solicitudes en 57.9 segundos, y las páginas de contacto respondieron 46 de ellas con 401.
  • Cursor informó 96 solicitudes para la nueva ejecución, una cuenta solo de solicitudes exitosas.
  • SupplierScraper solo encoló la primera página de listado en Init y siguió el enlace de la página siguiente desde Parse.
  • Cursor respondió las cinco preguntas de documentación sin cambiar un archivo y no encontró página que estableciera los límites predeterminados o respondiera la pregunta de dos rastreadores.
  • Para el encabezado de Authorization, Cursor no encontró un ejemplo documentado y describió HttpRequestHeaders como enviados con cada solicitud, lo cual la prueba mostró incorrecto.
  • El plan afirmaba que fijar la identidad de miembro en las solicitudes de contacto evita la doble obtención, lo cual 46 respuestas de 401 refutaron.
  • Antes de su corrección, el comando de certificados escribió 1 y 0 certificados en las ejecuciones de Cursor y 6 de 32 en una ejecución independiente.
  • Cursor localizó los fallos en la identidad aleatoria, la identidad de miembro en el grupo aleatorio y la falta de límite de velocidad.
  • El CertificateScraper corregido aún solicitaba las tres páginas de registro desde Init, en contra de la regla del proyecto.
  • Después de la corrección, el comando escribió 32 de 32 certificados en tres ejecuciones independientes, cada una con 67 solicitudes y sin 429.
  • La primera compilación de rastreo completo no recibió ningún 429, y ninguna segunda mantuvo más de 4 solicitudes.
  • Dos ejecuciones independientes de rastreo completo escribieron todos los 46 proveedores y todos los 32 certificados en 105.2 y 104.8 segundos.
  • Ejecutar los dos comandos uno tras otro tomó 80.8 segundos.
  • La suite xUnit pasó 4 de 4 pruebas, y el sitio en el puerto 5493 no registró ninguna solicitud mientras se ejecutaban.
  • Algunos pasos se ejecutaron de manera diferente a lo esperado. Las siete solicitudes pasaron por el CLI de Cursor en una sola sesión sin pantalla. Modo Plan persistió después del mensaje 03, por lo que los mensajes 05 a 07 cada uno necesitaba el mensaje de seguimiento "Construir el plan". En el mensaje 04, Cursor también cambió el raspador de páginas y el README, lo cual el mensaje no solicitó.

La guía de GitHub Copilot limita sus convenciones de IronWebScraper al rastreador y las rutas de prueba en un archivo de instrucciones específicas por ruta, como el archivo de reglas hace aquí. La guía de Google Antigravity trabaja desde el mismo tutorial avanzado y mide lo que mantiene el caché web de IronWebScraper y el estado de rastreo guardado. El registro de ejecución enumera la versión del asistente, el modelo, la duración y la máquina de prueba para cada guía.


Solución de problemas


¿Preguntas?

Si tienes alguna pregunta, contacta a support@ironsoftware.com

Curtis Chau tiene una licenciatura en Ciencias de la Computación (Carleton University) y se especializa en el desarrollo front-end con experiencia en Node.js, TypeScript, JavaScript y React. Apasionado por crear interfaces de usuario intuitivas y estéticamente agradables, disfruta trabajando con frameworks modernos y creando manuales bien estructurados y visualmente atractivos.

Leer más

¿Listo para empezar?

Descargas de NuGet 150,061Versión:2026.11recién lanzado