Como Usar IronWebScraper com GitHub Copilot

Curtis Chau
Curtis Chau
Atualizado: 26 de outubro de 2026

Um agregador de horários de cinema coleta as exibições de vários locais em um único arquivo que um aplicativo de listas lê todas as noites. Cada local publica seu programa em suas próprias páginas, e o mesmo filme pode ser exibido em três locais ao mesmo tempo. Uma exibição que o rastreamento não capta não aparece no aplicativo de forma alguma.

GitHub Copilot trabalha com o repositório através de chat e modo agente no Visual Studio e VS Code, e através do Copilot CLI em um terminal. Seu agente em nuvem no GitHub transforma um problema atribuído em uma solicitação de pull. IronWebScraper rastreia sites do .NET através de uma subclasse de WebScraper que substitui Init e Parse. Os arquivos de instrução commitados no repositório levam as regras do rastreador para cada uma dessas superfícies.

Este guia cobre como dirigir o Copilot para construir e manter o rastreador. O guia do site de cinema descreve a página de listagem, a página de detalhes e o padrão MetaData que o rastreador segue. Cada rastreamento descrito aqui tem como alvo um site de teste servido na máquina local, nunca o site ao vivo de um cinema.

Início Rápido
NuGetInstalar com NuGet

PM > Install-Package IronWebScraper

Instale o IronWebScraper executando o comando acima no Console do Gerenciador de Pacotes NuGet, ou procure pelo pacote no Gerenciador de Pacotes NuGet.

Abra um terminal na raiz do repositório, inicie o Copilot CLI e envie o prompt. As menções @ anexam os arquivos nomeados no Copilot CLI, e o Copilot Chat no Visual Studio usa referências # em vez disso.

Build the showtimes crawler in @src/Showtimes.Scraper/ShowtimeScraper.cs.
It collects every screening from the cinema test site at http://localhost:5447/.
Directory.Packages.props already pins IronWebScraper 2026.10.1.

The crawler should do this:
- Start at the site's start page and follow each venue's pages, page 2 included.
- Write one line per screening to out/showtimes.jsonl, using the Screening class.
- Fill the venue-page fields as @docs/output-format.md describes.
- Leave the film-page fields empty for now.

Then do these steps in order:
1. Add a crawl command to @src/Showtimes.Cli/Program.cs that takes --site <url> and --out <path>.
2. Run dotnet build.
3. In the repo root, run crawl --site http://localhost:5447/ --out out/showtimes.jsonl.

Tell me how many screenings each venue has.
Text

O prompt não nomeia um seletor, porque docs/output-format.md lista o elemento de origem de cada campo.

Defina IRONWEBSCRAPER_LICENSE_KEY no ambiente onde o Copilot roda, e faça o programa copiá-lo para License.LicenseKey. O guia do hub nomeia as variáveis que o IronWebScraper lê por conta própria, e o guia da chave de licença lista os outros locais suportados.



Como você define as convenções IronWebScraper para o Copilot?

Coloque as regras abrangentes do projeto em .github/copilot-instructions.md. A referência de suporte do GitHub lista esse arquivo para Copilot Chat no Visual Studio, VS Code e nos IDEs JetBrains, e para o agente em nuvem e revisão de código do Copilot. O Copilot CLI lê do mesmo local.

This repo holds the showtimes crawler, which gathers cinema screenings into one file.
Follow these rules in every change:
- Use IronWebScraper for all crawling and HTML parsing, never HttpClient.
- Don't add AngleSharp, HtmlAgilityPack or another scraping package.
- Change the IronWebScraper version in Directory.Packages.props only in an upgrade task.
- The showtimes crawler and its tests read IRONWEBSCRAPER_LICENSE_KEY into License.LicenseKey.
- IronWebScraper won't read that variable name on its own, so set the key before Start.
- Keep the key out of all output, logs included.
- Don't list environment variables.
- Crawl only the site a task names, which is http://localhost:5447/ in development.
- Tests crawl TestData/site through a local HTTP listener and never touch that address.
- Keep RateLimitPerHost at one second.
- Write records with WebScraper.Scrape, not with a JSON writer of your own.
- Treat docs/output-format.md as the contract for out/showtimes.jsonl.
- If the contract looks wrong, tell me and leave the file alone.
- Read the IronWebScraper docs for agents at https://ironsoftware.com/webscraper/csharp/llms.txt
Markdown

A regra de limite de taxa define o intervalo entre as solicitações em cada rastreamento. Na configuração padrão RateLimitPerHost de 50 milissegundos, um rastreamento de teste atingiu o site de teste com requisições de 0,048 a 0,064 segundos de intervalo. Em um segundo, os intervalos mediram de 1,02 a 1,10 segundos.

Como você fornece ao rastreador suas próprias regras?

Um arquivo como .github/instructions/scraper.instructions.md contém regras para as partes da árvore que seus padrões applyTo nomeiam, aqui o rastreador e seus testes. De acordo com a documentação do GitHub, o Copilot CLI inclui o arquivo somente quando trabalha em um arquivo que corresponde a um desses padrões.

---
applyTo: "src/**/*,tests/**/*"
---

The crawler and its tests rely on IronWebScraper 2026.10.1, which behaves like this:
- A crawl fetches each URL once per parse method.
- A second Request for that URL with the same parse method is dropped, even with new MetaData.
- MetaData passes the parse method the same object instance, not a copy.
- When a parse method throws, the page is fetched and parsed again, up to 8 more times.
- Each retry repeats every Scrape call made before the throw.
- A URL that answers 500 is requested 9 times, and its parse method is never called.
- Css throws an XPathException on a selector with two > combinators, such as div > p > a.
- TextContentClean returns entities such as &eacute; unchanged.

Follow these rules in this code:
- Request each film page once and copy its details onto every screening of that film.
- Decode text from TextContentClean with WebUtility.HtmlDecode.
Markdown

Cada comportamento listado nesse arquivo vem de um teste contra o site de teste.

O que o IronWebScraper faz com uma página de filme que três locais referenciam?

As páginas dos locais vinculam cada filme a uma página de filme, de modo que os três locais que exibem Harbour Lights se ligam ao mesmo URL.

Fill in the film-page fields on every line the crawler writes.
They are RuntimeMinutes, Genres and Rating, and @docs/output-format.md gives the source of each.
Follow this guide for the detail requests:
https://ironsoftware.com/webscraper/csharp/how-to/scraping-from-an-online-movie-website/

Two things about the test site matter here:
- Harbour Lights plays at all three venues, and all 6 of its screenings need the runtime.
- The Night Train to Arles page answers 500 on purpose.

Keep the Night Train to Arles screening, with its film fields empty.
Then run the crawl again with --out out/details/showtimes.jsonl.
Tell me how many lines got a runtime, and which film's lines didn't.
Text

IronWebScraper busca um URL uma vez por método de análise para todo o rastreamento. No teste, três locais solicitaram a página Harbour Lights com o mesmo método de análise e diferentes MetaData, e o site recebeu uma solicitação. O método de análise viu apenas a MetaData do primeiro local, então as exibições dos outros dois locais nunca receberam detalhes. O mesmo URL solicitado com um método de análise diferente foi recuperado novamente, assim como a página com uma string de consulta diferente.

O analisador de detalhes do guia do filme falha na própria marcação do guia. Seu seletor de gênero div > p > a e seu seletor de ator div > p:nth-child(2) > a lançaram uma XPathException, pois o IronWebScraper rejeita um seletor com dois combinadores de filho. Seletores com um combinador, como div.mvici-left > p, funcionaram.

IronWebScraper tenta novamente uma página cujo método de análise lança uma exceção, assim como tenta novamente uma página que falha ao carregar. No teste, o método de análise foi chamado 9 vezes para uma página, e uma chamada Scrape feita antes da exceção escreveu 9 linhas.

Saída

Em um navegador, a página do local Riverside mostra seu nome com uma letra acentuada. A fonte da página escreve essa letra como uma entidade HTML nomeada, e TextContentClean retornou a entidade inalterada.

Página do local Riverside do site de teste local com três filmes e seus horários de exibição

Página 1 do local Riverside no site de teste local, capturada no Microsoft Edge. Todos os filmes e locais no site são fictícios.

Sete linhas do arquivo JSONL de horários com Harbour Lights em três locais e Night Train to Arles com campos de filme vazios

As linhas Harbour Lights e Night Train to Arles de out/details/showtimes.jsonl como o segundo prompt as escreveu, com seus números de linha no arquivo.

Como você testa o rastreador sem o site ao vivo?

Use Shift+Tab para alternar o Copilot CLI para o modo plano, então envie este prompt.

Plan a new xUnit project, tests/Showtimes.Tests, listed in Showtimes.slnx.
Show me the plan, and don't write code until I say go.

The tests' local listener must answer 500 for /film/night-train-to-arles-20790/, like the test site.

Each test runs ShowtimeScraper and checks one of these:
- Northgate Picturehouse has 10 screenings, and the other two venues have 7 each.
- The Riverside venue name has no HTML entity left in it.
- All 6 Harbour Lights screenings have a RuntimeMinutes of 112.
- The Night Train to Arles screening is still there, with a null RuntimeMinutes.

After my go, write the tests and rerun dotnet test until every one passes.
Then give me the number that pass.
Text

O robots.txt em TestData/site não tem efeito em um rastreamento de teste. IronWebScraper solicita robots.txt sem a porta da URL inicial, então um ouvinte em uma porta aleatória nunca atende a essas regras. Com um ouvinte na porta 80, um rastreamento de teste leu-as e pulou a página /booking/não permitida. O guia Claude Code cobre esse comportamento por completo.

Por que um local desaparece de algumas execuções?

Neste cenário, as ferramentas/VenueCheck de um colega solicitam as três páginas dos locais antes do rastreamento noturno e relatam qualquer local que não responda.

tools/VenueCheck reports a venue as DOWN on some runs, though the site is up.
It checks the three venue pages listed in tools/VenueCheck/venues.json.
Find out why and fix it.

Before you fix anything, do these steps in order:
1. Run it five times against http://localhost:5447/ and note which venues came back DOWN.
2. Turn on LogLevel.All and find out what IronWebScraper does with the Request calls in Init.
3. Tell me the cause.

Keep the fix within these limits:
- Change files in tools/VenueCheck only.
- Add no sleep, and keep a single call to Start.

Then run it five more times and show me the results.
Text

IronWebScraper não mantém todas as solicitações feitas em Init. Com três URLs de locais solicitados de Init, o rastreamento buscou todos os três em 1 de 26 execuções de teste e um ou dois nos outros 25. Essas 26 execuções combinam 18 execuções de um rastreador de teste com 8 execuções de ferramentas/VenueCheck como commitado antes da correção. O log listou três solicitações e relatou o rastreamento completo após duas, e os URLs pulados nunca chegaram ao servidor. Solicitações feitas a partir de um método de análise nunca foram perdidas. Solicitar o primeiro local de Init e os outros dois de seu método de análise retornou todos os três locais em 8 de 8 execuções.

O que faz de um problema algo que o agente de nuvem pode atuar?

De acordo com o GitHub, um problema atribuído ao Copilot passa ao agente seu título, sua descrição, os comentários presentes na atribuição e quaisquer instruções dadas naquele momento. Os comentários adicionados posteriormente não chegam ao agente, então o corpo do problema deve conter todo o pedido.

Title: A second crawl must not double out/showtimes.jsonl

Files: src/Showtimes.Scraper and tests/Showtimes.Tests
Versions: net9.0 with IronWebScraper 2026.10.1

Background: IronWebScraper's Scrape appends to the file it writes and never empties it.
Without a cleanup step, a second crawl to the same --out path leaves 48 lines instead of 24.

Expected: after any crawl, the output file holds exactly one line per screening.

Constraint: the crawl command keeps its options.

Acceptance: close the issue once these are true:
- Two crawls in a row leave the same 24 lines, in any order.
- A new test crawls twice into one temp folder and counts the lines.
- dotnet test passes.

Summary: say where the old output gets cleared, and why there.
Markdown

Por que os testes do agente em nuvem falham em um projeto IronWebScraper?

Os testes que rastreiam precisam da chave de licença no ambiente do agente em nuvem. A documentação do GitHub descreve esse ambiente como Ubuntu Linux por padrão, e um trabalho copilot-setup-steps em .github/workflows/copilot-setup-steps.yml pode prepará-lo. O trabalho executa no GitHub Actions antes que o Copilot comece a trabalhar, e o fluxo de trabalho não é acionado a menos que o arquivo esteja no ramo padrão. Quando uma etapa de configuração falha, o Copilot pula as etapas de configuração restantes e começa a trabalhar em seu ambiente conforme está.

Create the cloud agent's setup workflow in .github/workflows/copilot-setup-steps.yml.
Call its job copilot-setup-steps, because GitHub skips a job with any other name.

The job needs these settings:
- The runner is ubuntu-latest.
- The workflow token has contents: read and nothing else.
- workflow_dispatch triggers it, and so does a pull request that edits the file.

Its steps go in this order:
1. Check out the code.
2. Install .NET 9.
3. Run dotnet restore, then dotnet build -c Release.
4. Look for the license key.

The key is IRONWEBSCRAPER_LICENSE_KEY, saved as an Agents secret.
The job gets it as an environment variable already, so skip the secrets context.

When the key is missing, the last step behaves like this:
- On pull_request or workflow_dispatch, it logs a warning and passes.
- On any other event, it fails with an error naming the secret.

Show me the finished YAML, and don't try to run the workflow.
Text

Armazene a chave como um segredo de Agentes: segundo o GitHub, o agente em nuvem não tem acesso a segredos de Actions, Codespaces ou Dependabot. Nas Configurações do repositório, abra Segredos e variáveis na seção Segurança, selecione Agentes e adicione IRONWEBSCRAPER_LICENSE_KEY na guia Segredos. GitHub afirma que esses segredos são "expostos ao Copilot como variáveis de ambiente" e podem ser usados por scripts e ferramentas que o Copilot executa, "incluindo pelo seu fluxo de trabalho copilot-setup-steps.yml." A documentação não diz que uma etapa do fluxo de trabalho lê um sem um mapeamento env, que o prompt acima assume.

O que você deve verificar antes de fazer o merge?

Execute a revisão como um comando copilot -p separado, fora da sessão que escreveu o código.

/review the changes on this branch compared with main.

Check the code against these three files:
- .github/copilot-instructions.md
- .github/instructions/scraper.instructions.md
- IronWebScraper.xml in the IronWebScraper package of the NuGet cache

Also look for two patterns that neither instructions file covers:
- an Init method that calls Request more than once
- a crawl that starts with an old output file still in place

List every mismatch you find, or say that nothing came up.
Don't change any file.
Text

O que os prompts produziram em uma execução real?

Os sete prompts foram executados sem supervisão no Copilot CLI contra um repositório de horários e o site de teste local criado para este guia. Cada figura abaixo vem dos arquivos de saída, do log de solicitações do site e do repositório, não das respostas do Copilot.

  • Antes da execução, o CLI imprimiu uma linha de uso e saiu com o código 1.
  • Após o primeiro prompt, out/showtimes.jsonl continha 24 exibições, 10 no Northgate Picturehouse e 7 em cada um dos outros dois locais.
  • No rastreamento do segundo prompt, cada página de filme recebeu uma solicitação, exceto Night Train to Arles, que recebeu 9 e respondeu 500 a cada uma.
  • O arquivo do segundo prompt continha 24 linhas, e 23 delas tinham uma duração.
  • A exibição do Night Train to Arles permaneceu, com uma duração vazia, lista de gêneros e classificação.
  • Todas as 6 exibições de Harbour Lights, em três locais, tinham a duração de 112 minutos.
  • No modo plano, o Copilot escreveu um plano, não alterou nenhum arquivo e aguardou a mensagem de aprovação.
  • Os 4 testes do terceiro prompt foram aprovados sem um único pedido ao site de teste.
  • Antes da correção, VenueCheck relatou um ou dois locais como inativos em 4 de 5 verificações.
  • A correção deixou uma chamada de Solicitação no Init e solicitou cada próximo local a partir do método de análise.
  • Todos os três locais responderam em 10 de 10 execuções da verificação corrigida.
  • Com o primeiro local respondendo 500, o VenueCheck corrigido relatou todos os três locais como inativos em 3 de 3 execuções.
  • As outras duas páginas dos locais não receberam nenhuma solicitação nessas execuções.
  • A sessão de problemas adicionou o novo teste e deixou o rastreador inalterado, porque seu Init havia excluído a saída antiga desde o primeiro prompt.
  • Todos os 5 testes no repositório final foram aprovados com a chave configurada e falharam sem ela.
  • A sessão de revisão não relatou nenhum desajuste e não alterou nenhum arquivo. Nenhum padrão que procurou permaneceu após os prompts anteriores, então esta execução não testou se a revisão os encontra.
  • Alguns passos foram executados de forma diferente da página. O corpo da issue foi para uma nova sessão do Copilot CLI, porque o repositório de teste não tem um remoto GitHub. O fluxo de configuração foi escrito, mas não executado, pelo mesmo motivo.

Cursor também restringe as regras commitadas aos caminhos que nomeiam, e Claude Code também possui um plano para aprovação antes de editar o projeto. O registro de execução compartilhado lista a versão do Copilot CLI, o modelo Auto selecionado, a duração e a máquina de teste.


Solução de problemas


Questões?

Se você tiver dúvidas, entre em contato com support@ironsoftware.com

Curtis Chau é bacharel em Ciência da Computação (Universidade Carleton) e se especializa em desenvolvimento front-end, com experiência em Node.js, TypeScript, JavaScript e React. Apaixonado por criar interfaces de usuário intuitivas e esteticamente agradáveis, Curtis gosta de trabalhar com frameworks modernos e criar manuais bem estruturados e visualmente atraentes.

Leia Mais

Pronto para começar?

Downloads no NuGet 150,061Versão:2026.11recém-lançado