Cómo usar IronWebScraper con GitHub Copilot
Un agregador de horarios de cine recopila las proyecciones de varios lugares en un solo archivo que una aplicación de listas lee cada noche. Cada lugar publica su programa en sus propias páginas, y la misma película puede proyectarse en tres lugares a la vez. Una proyección que el rastreador no captura no aparece en la aplicación en absoluto.
GitHub Copilot trabaja con el repositorio a través del chat y el modo de agente en Visual Studio y VS Code, y a través de Copilot CLI en un terminal. Su agente en la nube en GitHub convierte un problema asignado en una solicitud de extracción. IronWebScraper rastrea los sitios web desde .NET a través de una subclase de WebScraper que sobrescribe Init y Parse. Los archivos de instrucciones comprometidos en el repositorio llevan las reglas del rastreador a cada uno de esos sistemas.
Esta guía cubre cómo dirigir a Copilot para construir y mantener el rastreador. La guía del sitio web de películas describe la página de listado, la página de detalles y el patrón MetaData que sigue el rastreador. Cada rastreo descrito aquí se dirige a un sitio de prueba servido en la máquina local, nunca a un sitio web de cine en vivo.
Abre un terminal en la raíz del repositorio, inicia Copilot CLI y envía el aviso. Las menciones a @ adjuntan los archivos nombrados en Copilot CLI, y Copilot Chat en Visual Studio toma referencias de # en su lugar.
Build the showtimes crawler in @src/Showtimes.Scraper/ShowtimeScraper.cs.
It collects every screening from the cinema test site at http://localhost:5447/.
Directory.Packages.props already pins IronWebScraper 2026.10.1.
The crawler should do this:
- Start at the site's start page and follow each venue's pages, page 2 included.
- Write one line per screening to out/showtimes.jsonl, using the Screening class.
- Fill the venue-page fields as @docs/output-format.md describes.
- Leave the film-page fields empty for now.
Then do these steps in order:
1. Add a crawl command to @src/Showtimes.Cli/Program.cs that takes --site <url> and --out <path>.
2. Run dotnet build.
3. In the repo root, run crawl --site http://localhost:5447/ --out out/showtimes.jsonl.
Tell me how many screenings each venue has.
El nombre del selector no se menciona, porque docs/output-format.md enumera el elemento de origen de cada campo.
Establezca IRONWEBSCRAPER_LICENSE_KEY en el entorno donde se ejecuta Copilot, y haga que el programa lo copie en License.LicenseKey. La guía del hub nombra las variables que IronWebScraper lee por sí mismo, y la guía de la clave de licencia enumera las otras ubicaciones compatibles.
Flujo de trabajo mínimo (5 pasos)
- Descargar la biblioteca de web scraping C# desde NuGet
- Escriba las reglas de rastreo en .github/copilot-instructions.md además de un archivo de instrucciones específico de la ruta
- Solicite cada página de película una vez y copie sus detalles en cada proyección de esa película
- Solicite una página de inicio desde Init y enfile todas las demás páginas desde un método de análisis
- Asigne el próximo cambio al agente en la nube como un problema y verifique la solicitud de extracción contra la referencia de la API de IronWebScraper
¿Cómo establece convenciones de IronWebScraper para Copilot?
Coloca las reglas del proyecto en .github/copilot-instructions.md. La referencia de soporte de GitHub lista ese archivo para Copilot Chat en Visual Studio, VS Code y las IDE de JetBrains, y para el agente en la nube y la revisión de código de Copilot. Copilot CLI lo lee desde la misma ubicación.
This repo holds the showtimes crawler, which gathers cinema screenings into one file.
Follow these rules in every change:
- Use IronWebScraper for all crawling and HTML parsing, never HttpClient.
- Don't add AngleSharp, HtmlAgilityPack or another scraping package.
- Change the IronWebScraper version in Directory.Packages.props only in an upgrade task.
- The showtimes crawler and its tests read IRONWEBSCRAPER_LICENSE_KEY into License.LicenseKey.
- IronWebScraper won't read that variable name on its own, so set the key before Start.
- Keep the key out of all output, logs included.
- Don't list environment variables.
- Crawl only the site a task names, which is http://localhost:5447/ in development.
- Tests crawl TestData/site through a local HTTP listener and never touch that address.
- Keep RateLimitPerHost at one second.
- Write records with WebScraper.Scrape, not with a JSON writer of your own.
- Treat docs/output-format.md as the contract for out/showtimes.jsonl.
- If the contract looks wrong, tell me and leave the file alone.
- Read the IronWebScraper docs for agents at https://ironsoftware.com/webscraper/csharp/llms.txt
La regla del límite de tasa establece el intervalo entre solicitudes en cada rastreo. Con el valor predeterminado RateLimitPerHost de 50 milisegundos, un rastreo de prueba alcanzó el sitio de prueba con solicitudes separadas por 0.048 a 0.064 segundos. En un segundo, las brechas midieron 1.02 a 1.10 segundos.
¿Cómo le da al rastreador sus propias reglas?
Un archivo como .github/instructions/scraper.instructions.md contiene reglas para las partes del árbol que sus patrones applyTo nombran, aquí el rastreador y sus pruebas. Según la documentación de GitHub, Copilot CLI incluye el archivo solo cuando trabaja en un archivo que coincide con uno de esos patrones.
---
applyTo: "src/**/*,tests/**/*"
---
The crawler and its tests rely on IronWebScraper 2026.10.1, which behaves like this:
- A crawl fetches each URL once per parse method.
- A second Request for that URL with the same parse method is dropped, even with new MetaData.
- MetaData passes the parse method the same object instance, not a copy.
- When a parse method throws, the page is fetched and parsed again, up to 8 more times.
- Each retry repeats every Scrape call made before the throw.
- A URL that answers 500 is requested 9 times, and its parse method is never called.
- Css throws an XPathException on a selector with two > combinators, such as div > p > a.
- TextContentClean returns entities such as é unchanged.
Follow these rules in this code:
- Request each film page once and copy its details onto every screening of that film.
- Decode text from TextContentClean with WebUtility.HtmlDecode.
Cada comportamiento enumerado en ese archivo proviene de una prueba contra el sitio de prueba.
¿Qué hace IronWebScraper con una página de película a la que enlazan tres lugares?
Las páginas de los lugares enlazan cada película a una página de película, por lo que los tres lugares que muestran Harbour Lights enlazan a la misma URL.
Fill in the film-page fields on every line the crawler writes.
They are RuntimeMinutes, Genres and Rating, and @docs/output-format.md gives the source of each.
Follow this guide for the detail requests:
https://ironsoftware.com/webscraper/csharp/how-to/scraping-from-an-online-movie-website/
Two things about the test site matter here:
- Harbour Lights plays at all three venues, and all 6 of its screenings need the runtime.
- The Night Train to Arles page answers 500 on purpose.
Keep the Night Train to Arles screening, with its film fields empty.
Then run the crawl again with --out out/details/showtimes.jsonl.
Tell me how many lines got a runtime, and which film's lines didn't.
IronWebScraper obtiene una URL una vez por método de análisis para todo el rastreo. En la prueba, tres lugares solicitaron la página de Harbour Lights con el mismo método de análisis y diferentes MetaData, y el sitio recibió una solicitud. El método de análisis solo vio el MetaData del primer lugar, por lo que las proyecciones de los otros dos lugares nunca recibieron detalles. La misma URL solicitada con un método de análisis diferente se obtuvo de nuevo, y también lo fue la página con una cadena de consulta diferente.
El analizador de detalles de la guía de películas falla en el marcado de la propia guía. Su selector de género div > p > a y su selector de actor div > p:nth-child(2) > a arrojaron una XPathException, porque IronWebScraper rechaza un selector con dos combinadores hijos. Los selectores con un combinador, como div.mvici-left > p, funcionaron.
IronWebScraper vuelve a intentar una página cuyo método de análisis arroja un error, tal como vuelve a intentar una página que falla al cargar. En la prueba, el método de análisis se llamó 9 veces para una página, y una llamada Scrape hecha antes del error escribió 9 líneas.
Resultado
En un navegador, la página del lugar Riverside muestra su nombre con una letra acentuada. La fuente de la página escribe esa letra como una entidad HTML nombrada, y TextContentClean devolvió la entidad sin cambios.

Página 1 del lugar Riverside en el sitio de prueba local, capturada en Microsoft Edge. Todas las películas y lugares en el sitio son ficticios.

Las líneas de Harbour Lights y Night Train to Arles de out/details/showtimes.jsonl tal como las escribió el segundo prompt, con sus números de línea en el archivo.
¿Cómo se prueba el rastreador sin el sitio en vivo?
Usa Shift+Tab para ciclar Copilot CLI al modo de planificación, luego envía este aviso.
Plan a new xUnit project, tests/Showtimes.Tests, listed in Showtimes.slnx.
Show me the plan, and don't write code until I say go.
The tests' local listener must answer 500 for /film/night-train-to-arles-20790/, like the test site.
Each test runs ShowtimeScraper and checks one of these:
- Northgate Picturehouse has 10 screenings, and the other two venues have 7 each.
- The Riverside venue name has no HTML entity left in it.
- All 6 Harbour Lights screenings have a RuntimeMinutes of 112.
- The Night Train to Arles screening is still there, with a null RuntimeMinutes.
After my go, write the tests and rerun dotnet test until every one passes.
Then give me the number that pass.
El robots.txt en TestData/site no tiene efecto en un rastreo de prueba. IronWebScraper solicita robots.txt sin el puerto de la URL de inicio, por lo que un oyente en un puerto aleatorio nunca sirve esas reglas. Con un oyente en el puerto 80, un rastreo de prueba las leyó y saltó la página no permitida /booking/. La guía de Claude Code cubre este comportamiento en su totalidad.
¿Por qué falta un lugar en algunas ejecuciones?
En este escenario, una herramienta de un compañero, tools/VenueCheck, solicita las tres páginas de lugares antes del rastreo nocturno e informa cualquier lugar que no responde.
tools/VenueCheck reports a venue as DOWN on some runs, though the site is up.
It checks the three venue pages listed in tools/VenueCheck/venues.json.
Find out why and fix it.
Before you fix anything, do these steps in order:
1. Run it five times against http://localhost:5447/ and note which venues came back DOWN.
2. Turn on LogLevel.All and find out what IronWebScraper does with the Request calls in Init.
3. Tell me the cause.
Keep the fix within these limits:
- Change files in tools/VenueCheck only.
- Add no sleep, and keep a single call to Start.
Then run it five more times and show me the results.
IronWebScraper no mantiene cada solicitud realizada en Init. Con tres URL de lugares solicitadas desde Init, el rastreo obtuvo las tres en 1 de 26 ejecuciones de prueba y una o dos en las otras 25. Esas 26 ejecuciones combinan 18 ejecuciones de un rastreador de prueba con 8 ejecuciones de tools/VenueCheck como se comprometió antes de la solución. El registro enumeró tres solicitudes e informó que el rastreo estaba completo después de dos, y las URL omitidas nunca llegaron al servidor. Las solicitudes realizadas desde un método de análisis nunca se perdieron. Solicitar el primer lugar desde Init y los otros dos desde su método de análisis devolvió los tres lugares en 8 de 8 ejecuciones.
¿Qué hace que un problema sea en el que el agente de la nube pueda actuar?
Según GitHub, un problema asignado a Copilot pasa al agente su título, su descripción, los comentarios presentes en la asignación y cualquier instrucción dada en ese punto. Los comentarios añadidos después no llegan al agente, por lo que el cuerpo del problema debe contener toda la solicitud.
Title: A second crawl must not double out/showtimes.jsonl
Files: src/Showtimes.Scraper and tests/Showtimes.Tests
Versions: net9.0 with IronWebScraper 2026.10.1
Background: IronWebScraper's Scrape appends to the file it writes and never empties it.
Without a cleanup step, a second crawl to the same --out path leaves 48 lines instead of 24.
Expected: after any crawl, the output file holds exactly one line per screening.
Constraint: the crawl command keeps its options.
Acceptance: close the issue once these are true:
- Two crawls in a row leave the same 24 lines, in any order.
- A new test crawls twice into one temp folder and counts the lines.
- dotnet test passes.
Summary: say where the old output gets cleared, and why there.
¿Por qué fallan las pruebas del agente en la nube en un proyecto de IronWebScraper?
Las pruebas de rastreo necesitan la clave de licencia en el entorno del agente en la nube. La documentación de GitHub describe ese entorno como Ubuntu Linux por defecto, y un trabajo copilot-setup-steps en .github/workflows/copilot-setup-steps.yml puede prepararlo. El trabajo se ejecuta en GitHub Actions antes de que Copilot comience a trabajar, y el flujo de trabajo no se activa a menos que el archivo esté en la rama predeterminada. Cuando un paso de configuración falla, Copilot omite los pasos de configuración restantes y comienza a trabajar en su entorno tal como está.
Create the cloud agent's setup workflow in .github/workflows/copilot-setup-steps.yml.
Call its job copilot-setup-steps, because GitHub skips a job with any other name.
The job needs these settings:
- The runner is ubuntu-latest.
- The workflow token has contents: read and nothing else.
- workflow_dispatch triggers it, and so does a pull request that edits the file.
Its steps go in this order:
1. Check out the code.
2. Install .NET 9.
3. Run dotnet restore, then dotnet build -c Release.
4. Look for the license key.
The key is IRONWEBSCRAPER_LICENSE_KEY, saved as an Agents secret.
The job gets it as an environment variable already, so skip the secrets context.
When the key is missing, the last step behaves like this:
- On pull_request or workflow_dispatch, it logs a warning and passes.
- On any other event, it fails with an error naming the secret.
Show me the finished YAML, and don't try to run the workflow.
Guarde la clave como un secreto de los Agents: según GitHub, el agente en la nube no tiene acceso a secretos de Actions, Codespaces o Dependabot. En la Configuración del repositorio, abra Secretos y variables en la sección de Seguridad, seleccione Agents y agregue IRONWEBSCRAPER_LICENSE_KEY en la pestaña Secretos. GitHub afirma que estos secretos están "expuestos a Copilot como variables de entorno" y pueden ser utilizados por scripts y herramientas que Copilot ejecuta, "incluido por su flujo de trabajo copilot-setup-steps.yml." La documentación no dice que un paso del flujo de trabajo lea uno sin un mapeo env, lo que supone el aviso anterior.
¿Qué debes verificar antes de fusionar?
Ejecute la revisión como un comando copilot -p separado, fuera de la sesión que escribió el código.
/review the changes on this branch compared with main.
Check the code against these three files:
- .github/copilot-instructions.md
- .github/instructions/scraper.instructions.md
- IronWebScraper.xml in the IronWebScraper package of the NuGet cache
Also look for two patterns that neither instructions file covers:
- an Init method that calls Request more than once
- a crawl that starts with an old output file still in place
List every mismatch you find, or say that nothing came up.
Don't change any file.
¿Qué produjeron los prompts en una ejecución real?
Los siete avisos se ejecutaron sin supervisión en Copilot CLI contra un repositorio de horarios de proyección y el sitio de prueba local construido para esta guía. Cada figura a continuación proviene de los archivos de salida, el registro de solicitudes del sitio y el repositorio, no de las respuestas de Copilot.
- Antes de la ejecución, el CLI imprimió una línea de uso y salió con el código 1.
- Después del primer aviso, out/showtimes.jsonl contenía 24 proyecciones, 10 en Northgate Picturehouse y 7 en cada uno de los otros dos lugares.
- En el rastreo del segundo aviso, cada página de película recibió una solicitud, excepto Night Train to Arles, que recibió 9 y respondió 500 a cada una.
- El archivo del segundo aviso tenía 24 líneas, y 23 de ellas tenían un tiempo de ejecución.
- La proyección de Night Train to Arles se mantuvo, con un tiempo de ejecución vacío, lista de géneros y clasificación.
- Todas las 6 proyecciones de Harbour Lights, en tres lugares, llevaban el tiempo de ejecución de 112 minutos.
- En modo de planificación, Copilot escribió un plan, no cambió ningún archivo y esperó el mensaje de aprobación.
- Las 4 pruebas del tercer aviso pasaron sin una sola solicitud al sitio de prueba.
- Antes de la solución, VenueCheck informó que uno o dos lugares no respondían en 4 de 5 ejecuciones de comprobación.
- La solución dejó una llamada de Solicitud en Init y solicitó cada siguiente lugar desde el método de análisis.
- Los tres lugares respondieron en 10 de 10 ejecuciones de la comprobación corregida.
- Con el primer lugar respondiendo 500, el corregido VenueCheck informó que los tres lugares no respondían en 3 de 3 ejecuciones.
- Las otras dos páginas de lugares no recibieron solicitudes en esas ejecuciones.
- La sesión del problema agregó la nueva prueba y dejó el rastreador sin cambios, porque su Init había eliminado la salida antigua desde el primer aviso.
- Las 5 pruebas en el repositorio final pasaron con la clave configurada y fallaron sin ella.
- La sesión de revisión no informó de desajustes y no cambió ningún archivo. Ningún patrón que buscó permaneció después de las indicaciones anteriores, por lo que esta ejecución no probó si la revisión los encuentra.
- Algunos pasos se ejecutaron de manera diferente a lo esperado. El cuerpo del problema fue a una nueva sesión de Copilot CLI, porque el repositorio de prueba no tiene un remoto de GitHub. El flujo de trabajo de configuración se escribió pero no se ejecutó, por la misma razón.
Cursor también limita las reglas comprometidas a las rutas que nombran, y Claude Code también tiene un plan para aprobación antes de que edite el proyecto. El registro compartido de ejecución lista la versión de lanzamiento de Copilot CLI, el modelo Auto seleccionado, la duración y la máquina de prueba.
Solución de problemas
- Cómo rastrear un sitio web de películas en línea para el patrón de la página de listado y de detalles con
MetaData - Aplicando claves de licencia para un rastreo que lanza una excepción de licencia en
Start - Seguridad de hilos para la conexión y los límites de tasa de un rastreo
¿Preguntas?
Si tienes alguna pregunta, contacta a support@ironsoftware.com
Curtis Chau tiene una licenciatura en Ciencias de la Computación (Carleton University) y se especializa en el desarrollo front-end con experiencia en Node.js, TypeScript, JavaScript y React. Apasionado por crear interfaces de usuario intuitivas y estéticamente agradables, disfruta trabajando con frameworks modernos y creando manuales bien estructurados y visualmente atractivos.