Cómo usar IronWebScraper con Claude Code

Curtis Chau
Curtis Chau
Actualizado: 26 de octubre de 2026

Un scraper es fácil de escribir y fácil de escribir mal. La versión mala funciona en la página delante de ti, ignora el host al que está dirigido y deja de ser correcta la primera vez que cambia un diseño. Un equipo de marketing que planea mover el blog de su empresa a una nueva plataforma necesita un inventario de cada artículo publicado primero, con la dirección, título, autor, fecha de publicación, categorías, etiquetas, conteo de palabras e imágenes de cada uno. El archivo cubre cinco años y dos temas del sitio, y un artículo está vinculado desde ninguna página de archivo. Anthropic creó Claude Code como un agente para programación, disponible desde la línea de comandos, dentro de VS Code o JetBrains, como una aplicación de escritorio y en el navegador. En todos ellos lee código, edita archivos y ejecuta comandos, lo cual es adecuado para el trabajo de rastreo, donde cada cambio a un selector es seguido por otra ejecución y otro vistazo a la salida.

IronWebScraper está construido alrededor de una clase base. Extiendes WebScraper, sobrescribes Init para solicitar una URL inicial y establecer las reglas de rastreo, y sobrescribes Parse para extraer valores de cada respuesta. La cola y la limitación de velocidad ya están en su lugar, así que el agente solo escribe las partes que dependen del sitio. El tutorial del blog muestra el patrón en un blog. Esta guía explica cómo configurar Claude Code para construir el inventario de contenido con cuatro instrucciones probadas, y registra los comportamientos de IronWebScraper de los que depende cada instrucción.

Anthropic documenta Claude Fable 5.1 y Claude Fable 5 como los modelos más capaces en Claude Code, adecuados para tareas más grandes que una sola sesión. El comando /model cambia el modelo sin terminar la sesión.

Nombra los campos, el archivo de salida y los límites de rastreo en cada instrucción, y deja el resto al agente.

Inicio rápido
NuGetInstalar con NuGet

PM > Install-Package IronWebScraper

Instale IronWebScraper ejecutando el comando arriba en la Consola del Administrador de Paquetes NuGet, o busque el paquete en el Administrador de Paquetes NuGet.

Abre un terminal en la carpeta del proyecto, ejecuta claude, y entra /model opusplan antes de la primera instrucción. La prueba sirvió una copia del blog de la empresa en el puerto 5437 de la máquina local, y cada instrucción nombra esa dirección.

Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.

The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:

- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.

After setting the key, Program.cs does these things in order:

1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.

Run it once and show me the console output.
Text


¿Qué hace Claude Code en un proyecto de rastreador .NET?

El agente escribe la subclase WebScraper y la ejecuta contra el blog de prueba. El desarrollador decide qué sitio se rastrea, a qué velocidad y qué páginas se excluyen.

Las reglas del proyecto en las siguientes secciones prohíben un bucle de solicitudes escrito a mano y nombran el paquete y su versión, así que el agente no elige un paquete solo por su nombre.

¿Cómo configuras Claude Code?

Instale Claude Code e inicie sesión siguiendo el inicio rápido de Anthropic. La configuración está completa cuando claude comienza en un terminal y responde.

¿Cómo configuras un proyecto en el que Claude Code pueda trabajar?

Primero, dale al agente un objetivo real. El fixture de prueba es una aplicación de consola .NET 9 sin referencia de paquete, y el blog se ejecuta como un sitio local con 26 artículos. Los artículos de 2023 en adelante usan el tema actual, y los nueve artículos más antiguos usan el anterior. El archivo enlaza un artículo a través de un redireccionamiento, un artículo responde con un error del servidor, uno de los artículos más antiguos se envía en la codificación windows-1252, y robots.txt prohíbe una carpeta de borradores que la segunda página de archivo enlaza.

CLAUDE.md se carga al inicio de cada sesión, por lo que las reglas escritas allí se aplican a cada mensaje posterior. La segunda instrucción crea el archivo y un revisor de solo lectura para el código del rastreador.

Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:

- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.

Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.

Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:

- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?

I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Text

Para guías más allá de la lista de miembros, IronWebScraper lista su documentación para agentes en llms.txt.

¿Cuáles reglas de rastreo de IronWebScraper pertenecen a CLAUDE.md?

Cada línea proviene de una sonda que rastreó el blog local con y sin una clave de licencia y comparó el registro de solicitudes del sitio con lo que Parse recibió. Pega el bloque bajo la sección de Rastreo.

These crawl rules were measured on IronWebScraper 2026.10.1:

- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Markdown

¿Cómo aplica IronWebScraper robots.txt a una copia local de un sitio?

ObeyRobotsDotTxt está activado por defecto, pero IronWebScraper solicitó robots.txt de http://localhost/robots.txt, en el puerto 80, cualquiera que fuera el puerto que nombrara la URL inicial. En el blog de prueba nunca pidió robots.txt y descargó el borrador prohibido. Sin nada escuchando en el puerto 80, la primera solicitud llegó al blog 4.5 segundos después de que comenzó el proceso de sondeo, y establecer ObeyRobotsDotTxt en falso redujo eso a 0.5 segundos.

Una segunda sonda sirvió las reglas del blog en el puerto 80 también. Sin un agente de usuario configurado, Request lanzó un ArgumentException con el mensaje "Cadena de agente de usuario no válida" contra estas reglas, que incluyen una línea Crawl-delay. Con un HttpIdentity que configuró uno, el borrador permaneció sin solicitar y las solicitudes mantuvieron el retraso de rastreo de un segundo. Un glob BannedUrls como */blog/drafts/* mantuvo el borrador fuera en la sonda.

¿Qué páginas llegan a Parse, y cuántas veces se solicita cada una?

Con la configuración predeterminada, el rastreo de la sonda envió 43 solicitudes al blog de prueba. Una URL que el código solicitó dos veces con el mismo método de análisis se obtuvo una vez. Un redireccionamiento y su objetivo contaron como dos URLs, así que el artículo redirigido se obtuvo dos veces y llegó a Parse dos veces con el mismo FinalUrl.

El artículo que respondió 500 recibió 9 solicitudes con el HttpRetryAttempts predeterminado de 8, y Parse nunca se ejecutó para él. Un rastreador que debe listar sus fallos, por lo tanto, compara los enlaces que encoló con las filas que escribió.

RateLimitPerHost espacia el inicio de cada solicitud a un host. A 1,000 milisegundos los espacios medidos oscilaron entre 1.03 y 1.06 segundos, pero el artículo que tardó 2.5 segundos en responder se superpuso con dos solicitudes posteriores, porque OpenConnectionLimitPerHost tiene un valor predeterminado de 2. IronWebScraper también envió las solicitudes fuera del orden de las páginas, por lo que un rastreador que necesita una salida ordenada clasifica sus filas antes de escribirlas.

¿Qué escribe IronWebScraper en los archivos de salida?

Scrape se añade a su archivo de Líneas JSON, y una segunda ejecución en la misma carpeta de trabajo duplicó el archivo de la sonda de 27 líneas a 54. ScrapeUnique descarta el primer registro que cada scraper escribe en un archivo, y el primer artículo escrito faltaba en el archivo único en los 14 rastreos de sonda.

El artículo windows-1252 perdió sus acentos. Response.CharSet reportó windows-1252, sin embargo, el texto fue decodificado como UTF-8, y el nombre del autor llegó con caracteres de reemplazo en lugar de las letras acentuadas. Los artículos del mismo autor enviados como UTF-8 se decodificaron correctamente. Registrar CodePagesEncodingProvider con Encoding.RegisterProvider antes de Start solucionó la decodificación.

El artículo windows-1252 se ve así en un navegador. El inventario tiene que mantener las letras acentuadas en el nombre del autor.

El artículo windows-1252 en el blog local de prueba con un nombre de autor acentuado.

El artículo windows-1252 en el blog local de prueba, tal como lo mostró Chrome. El sitio y sus artículos fueron construidos para la prueba.

¿Cómo se pide código de IronWebScraper que compile?

Solicita el rastreador y sus reglas de salida en una instrucción, y permite que el modo de planificación ajuste el diseño antes de que se realicen cambios en archivos. Cambie al modo plan con Shift+Tab antes de enviar el mensaje. Con opusplan seleccionado, Opus escribe el plan y Sonnet lo lleva a cabo una vez que el plan es aprobado.

Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:

- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.

Write out/content-inventory.csv with one row per post, in this shape:

- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.

Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.

Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Text

Dos partes de la instrucción protegen el inventario.

  1. Una fila por dirección atendida: el inventario alimenta una migración, y un artículo listado bajo dos direcciones sería movido dos veces.
  2. Fallos en un archivo separado: sin ello, un artículo que falta en el inventario no se puede distinguir de un artículo que nunca fue publicado.
Consejos: Apruebe el plan solo si las reglas de robots.txt se convierten en configuraciones de BannedUrls y RateLimitPerHost y ninguna fila se escribe con ScrapeUnique.

¿Qué sucede cuando el blog cambia su plantilla de artículos?

La prueba cambió el blog local a una nueva plantilla de artículos entre la tercera y cuarta instrucciones. Las páginas de archivo y los artículos más antiguos mantuvieron su marcado, mientras que cada artículo a partir de 2023 se trasladó a nuevos nombres de clase. Una ruta que comienza con @ adjunta ese archivo a la solicitud.

The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:

1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.

Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
Text

¿Qué deberías verificar antes de confiar en el código del rastreador generado?

Incluya las siguientes verificaciones en la revisión.

  • El registro de solicitudes: cuenta las solicitudes por página, confirma que nada bajo una ruta prohibida fue obtenido y mide los espacios entre las solicitudes.
  • La compilación: dotnet build rechaza un miembro que no existe, como una corrección de la ortografía de Response.RequestlUrl.
  • Una muestra de filas: abre varios artículos de cada tema y compara sus campos con el inventario antes de que comience la migración.

Para una tarea completa de IronWebScraper con criterios de paso fijos que se pueda repetir, consulta la guía de asistentes de codificación de IA.

¿Qué produjeron los prompts en una ejecución real?

Claude Code ejecutó las cuatro instrucciones en una sola sesión, en orden, contra el blog local. El bloque de reglas se incluyó en CLAUDE.md antes de la tercera instrucción. No se editó ningún código a mano.

  • Antes de la ejecución, el repositorio contenía un Program.cs de una línea y ninguna referencia de paquete.
  • El programa Quickstart imprimió True para IsLicensed, contó 10 tarjetas de artículos y nombró el primer artículo correctamente.
  • CLAUDE.md recibió las cinco reglas de Rastreo, y el archivo subagente solo incluía las herramientas Read, Grep y Glob.
  • Durante la planificación, la sesión y sus subagentes enviaron 370 solicitudes curl al blog, 5 de ellas al escritorio de borradores prohibido.
  • El rastreador configuró ObeyRobotsDotTxt en false, leyó robots.txt por sí mismo y convirtió sus reglas en configuraciones de BannedUrls y RateLimitPerHost.
  • El rastreo de la tercera instrucción envió 38 solicitudes, todas con el agente de usuario LarkspurInventory/1.0 y ninguna al escritorio de borradores.
  • Su espacio mediano entre el inicio de solicitudes fue de 1.04 segundos, y los dos espacios más cortos siguieron a robots.txt y un redireccionamiento.
  • El artículo fallido recibió 3 solicitudes en ese rastreo y fue la única entrada en failed-pages.txt.
  • Después de la tercera instrucción, el inventario tenía 25 filas, y cada campo coincidía con los datos propios del blog en nuestra verificación.
  • El artículo redirigido apareció una vez, bajo su dirección final, y el artículo faltante de las páginas de archivo estaba presente.
  • El artículo windows-1252 mantuvo su nombre de autor acentuado, y ninguna fila contenía un carácter de reemplazo.
  • En la nueva plantilla, el rastreador de la tercera instrucción escribió 8 filas y enumeró 19 direcciones fallidas, aunque un artículo solo devolvió un error.
  • Después de una corrección en la cuarta instrucción, el nuevo inventario era idéntico al byte tomado antes del cambio de plantilla.
  • Las nuevas copias del código final produjeron las mismas 25 filas en el tema actual y en la nueva plantilla.
  • Sin la clave, el programa informó que la licencia falló y no envió ninguna solicitud al blog.
  • La clave de licencia no apareció en ninguna transcripción, archivo de sesión, registro o archivo de repositorio de esta ejecución.
  • Algunos pasos se ejecutaron de manera diferente a lo esperado. La sesión se ejecutó sin interfaz, por lo que una respuesta escrita aprobó el plan. El guardián de la ejecución, que mantuvo al agente dentro del repositorio, bloqueó cuatro llamadas a herramientas, dos de ellas por error.

Las últimas ocho filas del inventario contienen los artículos en el tema antiguo.

El encabezado y las últimas ocho filas de content-inventory.csv de la ejecución de prueba.

El encabezado y las últimas ocho filas de content-inventory.csv de la ejecución de prueba, extraídas como texto del archivo. Los números de línea son los del archivo.

La guía de Cursor también hace que el agente planifique el trabajo antes de escribir el código, como lo hace el modo de planificación aquí. La guía de ChatGPT Codex mantiene sus reglas de rastreo en AGENTS.md, que Codex lee antes de cualquier trabajo, tal como esta guía hace con CLAUDE.md. La versión de Claude Code, los modelos, los tiempos y la máquina de prueba para esta ejecución están en el registro de ejecución compartido.


Solución de problemas


¿Preguntas?

Si tienes alguna pregunta, contacta a support@ironsoftware.com

Curtis Chau tiene una licenciatura en Ciencias de la Computación (Carleton University) y se especializa en el desarrollo front-end con experiencia en Node.js, TypeScript, JavaScript y React. Apasionado por crear interfaces de usuario intuitivas y estéticamente agradables, disfruta trabajando con frameworks modernos y creando manuales bien estructurados y visualmente atractivos.

Leer más

¿Listo para empezar?

Descargas de NuGet 150,061Versión:2026.11recién lanzado