Cursor와 함께 IronWebScraper 사용하는 방법
C# 크롤러가 HttpClient와 HtmlAgilityPack에서 IronWebScraper로 이동할 때, Init에 있는 모든 목록 페이지를 큐잉하는 포트가 기록을 잃습니다. IronWebScraper 2026.10.1은 대기열의 모든 페이지를 요청하기 전에 그러한 크롤을 종료할 수 있습니다. 테스트에서 한 번의 Request 호출로 Init에 큐잉된 네 개의 목록 페이지가 세 번의 실행에서 각각 세 개, 세 개, 두 개의 가져온 페이지를 생성했으며, 오류 없이 46개 공급자 중 10개, 10개 및 24개를 손실했습니다.
Cursor는 VS Code 코드베이스에 구축된 AI 코드 편집기로, 파일을 편집하고 명령을 실행하는 에이전트를 포함하고 있습니다. 이 가이드는 두 가지 기능, 에이전트가 읽는 문서 링크 및 .cursor/rules에 커밋된 프로젝트 규칙을 사용하여 구매 팀의 공급자 디렉터리 크롤러로 마이그레이션합니다. 크롤러는 거래 디렉터리에서 46명의 공급자와 그 회원 전용 연락처 정보를 CSV 파일로 복사하고, 이 가이드는 그 파일의 행을 변경하거나 디렉터리의 초당 4개의 요청 제한을 초과하지 않고 IronWebScraper로 이동합니다.
가이드는 고급 웹 스크래핑 튜토리얼의 속도 제어 및 신원 기능을 따릅니다. 모든 크롤은 localhost에서 제공되는 디렉터리의 로컬 복사본에 대해 실행되었습니다. 공공 사이트의 약관을 읽고 크롤러를 작성하기 전에 허가를 받으십시오.
빠른 시작HarborDirectory 저장소가 열려 있을 때, 이 프롬프트를 새 에이전트 채팅에 붙여넣으십시오.
@src/HarborDirectory/ @README.md
Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.
Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.
The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.
The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.
When it builds, run the pages command and show me what it printed.
붙여넣은 내용이 소스 파일, 커밋 또는 빌드 로그에 나타날 수 있으므로 라이선스 키를 채팅에 붙여넣지 마십시오. IronWebScraper 2026.10.1은 IRONWEBSCRAPER_LICENSE_KEY라는 환경 변수를 무시하므로, 저장소의 Program.cs가 그 변수를 License.LicenseKey로 복사합니다. 라이선스 키 가이드는 키를 저장할 수 있는 장소를 나열합니다.
최소 워크플로우(5단계)
- NuGet에서 C# 웹 스크래핑 라이브러리 다운로드
- .cursor/rules 아래에 IronWebScraper의 문서 링크가 포함된 프로젝트 규칙을 추가하십시오.
- 사이트의 요청 제한과 Init 큐잉 규칙을 해당 규칙에 기록하십시오.
- 각 요청에서 크롤러 코드와 예상되는 출력을 참조하십시오.
- 모든 실행을 사이트의 요청 로그와 비교한 후, API 레퍼런스에서 각 멤버 이름을 확인하십시오.
IronWebScraper 작업에 사용할 Cursor 모델은 무엇입니까?
Composer는 Cursor의 독자적 에이전트 모델입니다. 모델 선택자는 또한 Cursor와 공동 개발한 SpaceXAI의 Grok 모델 및 OpenAI, Anthropic, Google 기타 실험실의 모델을 제공합니다. 아래의 테스트 실행에는 Composer 2.5를 사용했습니다.
Cursor에 IronWebScraper 문서를 어떻게 제공합니까?
IronWebScraper의 llms.txt 링크를 요청에 포함시키거나, 팀 전체가 공유하는 규칙에 저장하십시오. 2026년 10월까지 Cursor의 @ 메뉴는 파일, 폴더, 터미널, 채팅, Git 차이 및 브라우저를 첨부하여 IronWebScraper의 문서가 링크로 에이전트에 도달하도록 합니다.
고급 튜토리얼은 예에서 RateLimitPerHost를 설정하지만, 기본값은 명시하지 않으며 두 개의 스크래퍼가 속도 제한을 공유하는지에 대한 페이지가 없습니다.
@src/HarborDirectory/Legacy/PoliteHttp.cs
Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?
Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
IronWebScraper 크롤러 코드를 위한 프로젝트 규칙은 어떻게 작성합니까?
프로젝트 규칙은 .cursor/rules에 저장되고 저장소와 버전이 관리되는 .mdc 파일입니다. Cursor는 해당 폴더의 보통 .md 파일은 무시합니다. 프론트매터가 없는 파일은 규칙을 언제 로드할지 결정할 방법을 제공하지 않기 때문입니다.
아래 규칙은 globs에서 쉼표로 구분된 파일 패턴을 나열하고, Cursor의 규칙 페이지에 명시된 대로 alwaysApply를 false로 설정합니다. Cursor는 그 경로 하의 파일이 상황에 포함될 때 첨부합니다. .cursor/rules/harbor-crawlers.mdc로 저장하십시오.
---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---
Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Init, 로그인 및 실패한 요청에 대한 규칙은 아래 섹션에서 측정하는 IronWebScraper의 동작을 기록합니다.
HttpClient 및 HtmlAgilityPack 호출은 IronWebScraper에 어떻게 대응됩니까?
구식 크롤러는 각 페이지를 스스로 가져오고 요청 사이에 대기했습니다. IronWebScraper는 요청을 큐잉하고, 호스트별로 간격을 두며, 각 성공적인 응답에 대해 파스 메서드를 호출합니다.
| HttpClient 및 HtmlAgilityPack | IronWebScraper |
|---|---|
페이지 1의 Init에 대한 GetAsync | Request 페이지 번호에 대한 반복, 그런 다음 Parse에서 큐잉된 다음 페이지 링크 |
요청 간의 Task.Delay | 병렬 요청에 대한 RateLimitPerHost 및 OpenConnectionLimitPerHost를 사용합니다. |
DefaultRequestHeaders.UserAgent | UserAgent이 HttpIdentity에 추가된 Identities에 대해 |
기본 자격 증명을 사용한 DefaultRequestHeaders.Authorization | NetworkUsername 및 NetworkPassword을 HttpIdentity.DefaultHttpRequestHeaders에서 사용 |
| 429 및 503에서 Retry-After를 기다리는 재시도 루프 | HttpRetryAttempts |
XPath의 SelectNodes 및 SelectSingleNode | Css 또는 XPath은 Response에 대해 HtmlNode 배열 반환 |
CSV에 대한 File.WriteAllTextAsync | Scrape은 WorkingDirectory 아래에 JSON 라인을 추가하거나 프로그램 자체의 작성기를 사용합니다. |
포팅된 크롤러가 목록 페이지를 놓치는 이유는 무엇입니까?
GitHub Copilot 가이드는 IronWebScraper가 Init에서 수행된 요청을 어떻게 드롭하는지 측정합니다. 이 가이드의 프로브에서는 FailedUrls가 놓친 페이지에서 0으로 유지되었습니다. URL 목록을 가져오는 Request의 오버로드는 세 번의 실행에서 네 개의 목록 페이지 중 두 개, 네 개 및 세 개를 가져왔습니다.
하나의 요청은 Init에서 발생했으며, 파스 메서드에서 큐잉한 모든 추가 요청은 8번 중 8번의 실행에서 46개의 공급자를 모두 가져왔습니다. 그래서 규칙은 목록의 페이지 1에 Init를 제한합니다.
IronWebScraper가 한 호스트로의 요청 간격을 어떻게 조정합니까?
새 WebScraper은 RateLimitPerHost 50ms, OpenConnectionLimitPerHost 2, MaxHttpConnectionLimit 10, HttpRetryAttempts에 8, 20초 HttpTimeOut을 사용했습니다. 그 값들로 크롤러는 50-88ms 간격으로 50개의 디렉터리 요청을 보냈습니다.
429와 Retry-After 헤더를 통해 너무 빠르게 도착하는 요청을 거부한 테스트 사이트 상대에서 기본값이 실패했습니다. 거부된 URL은 같은 간격으로 9번 요청되었고, Retry-After 헤더는 차이가 없었으며, 13개의 URL이 포기되었습니다. 구식 크롤러는 Retry-After를 준수했기 때문에 재시작에만 의존하는 포트는 기록을 잃습니다. 500ms의 RateLimitPerHost은 533에서 563ms의 간격을 만들어서 한 스크래퍼가 디렉토리의 제한 내에 있도록 유지합니다.
마이그레이션을 계획하고 실행하는 방법은 무엇입니까?
채팅 입력에서 Shift+Tab을 눌러 Plan Mode가 선택될 때까지 진행한 후, 아래 요청을 보내세요. Cursor는 계획을 편집 가능한 Markdown 파일로 작성합니다.
@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv
Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.
The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?
List your assumptions at the end of the plan.
계획의 오류를 수정하세요. 그런 다음 계획에서 구축하거나 에이전트로 되돌아간 다음 이 요청을 보냅니다.
@harbor-crawlers
The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.
Then tell me both match counts, how long each run took and how many requests the new run sent.
@harbor-crawlers 언급은 규칙을 이름으로 첨부합니다.
Cursor의 어떤 기능이 각 변경에 적합합니까?
변경의 범위에 따라 기능을 선택하세요. 탭은 개발자가 시작한 수정을 완료하며, 인라인 편집(Ctrl+K)은 한 문장으로 설명할 수 있는 선택을 변경합니다. 에이전트는 여러 파일에서 변경하거나 크롤이 필요한 작업을 다루며, 잘못된 변경을 되돌리는 데 더 많은 비용이 드는 경우 계획 모드가 유용합니다. 이 가이드의 모든 요청은 에이전트 또는 계획 모드로 갔습니다.
누가 각 요청을 보냅니까?
Identities의 각 ID는 고유한 사용자 에이전트, 쿠키 및 로그인을 가지고 있습니다. ID가 없으면 IronWebScraper는 User-Agent 헤더를 전혀 보내지 않았습니다. 여러 ID가 있으면 각 요청과 각 재시도에 대해 무작위로 하나를 선택했습니다. 회원 ID와 공공 ID를 보유한 스크래퍼는 46개의 연락처 페이지에 대해 140개의 요청이 필요했으며, 그중 94개는 401로 거부되었습니다.
NetworkUsername 및 NetworkPassword를 통해 설정된 로그인은 보호된 각 페이지에 대해 두 번째 요청을 비용으로 지불합니다. 각 회원 페이지는 처음에 자격 증명 없이 내보내졌으며 401을 받았고 자격 증명이 있는 요청이 1.4ms 내에 따라갔는데 이는 RateLimitPerHost 간격을 벗어났습니다. 회원 ID를 Request에 전달하면 무작위 선택은 제거되지만 두 번째 요청은 제거되지 않습니다.
튜토리얼은 사용자 정의 헤더를 위해 HttpRequestHeaders를 나열하지만, 그곳에 배치된 헤더 중 아무것도 사이트에 도달하지 않았습니다. 프로브는 Authorization 및 사용자 정의 X-Crawler 헤더를 추가했지만 둘 다 도착하지 않았습니다. ID 생성 전에 정적 HttpIdentity.DefaultHttpRequestHeaders에 추가된 헤더는 각 요청에서 전송되고 모든 401에서 제거되었습니다. 그 사전은 이후 공공 페이지를 포함하여 프로세스가 생성하는 모든 ID에 적용됩니다.
이미 IronWebScraper를 사용하는 스크래퍼를 어떻게 디버그합니까?
증명서 스크래퍼는 마이그레이션 전에 이미 IronWebScraper를 사용했습니다. 공개 ID와 회원 ID를 보유하고, Init에 세 개의 등록 페이지를 큐에 넣고 속도 제한을 설정하지 않았습니다.
@src/HarborDirectory/Scrapers/CertificateScraper.cs
The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.
Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.
Then fix CertificateScraper.
Run the command three times and give me the count from each run.
산출
수정된 스크래퍼는 페이지가 구문 분석된 순서대로 증명서당 하나의 JSON 라인으로 등록부를 작성합니다.

크롤-올 프롬프트 이후 테스트 실행이 남긴 상태에서 out/certificates.jsonl의 32줄 중 처음 10줄을 텍스트 파일에서 단순 텍스트로 렌더링한 것.
두 개의 스크래퍼가 같은 호스트를 크롤하면 어떻게 됩니까?
각 WebScraper 인스턴스는 자체 요청을 제어합니다. 각기 500ms의 RateLimitPerHost을 설정하고 하나의 연결을 사용한 두 개의 스크래퍼는 비행 중 2개의 요청을 유지하며 같은 호스트에 초당 최대 6개의 요청을 보냈습니다. 따라서 결합된 속도는 코드에서 계획해야 합니다.
@src/HarborDirectory/
Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.
The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.
Run crawl-all, compare both files with TestData/expected and tell me what matched.
산출
차트는 크롤-올 실행의 각 초 동안 로컬 사이트가 받은 요청 수를 집계합니다.

테스트의 크롤-올 실행 동안 초당 요청 수는 로컬 사이트의 요청 로그에서 가져왔습니다. 100초에 209개의 요청.
스크래퍼의 회귀 테스트는 어떻게 작성합니까?
공개 생성자로 제작된 Response는 Css에서 ArgumentNullException을 던졌고, ChatGPT Codex 가이드는 IronWebScraper가 스스로 가져온 페이지만 구문 분석하는 이유를 설명합니다. 따라서 테스트는 저장된 페이지를 HTTP로 제공합니다.
@src/HarborDirectory/ @TestData/pages/
Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.
Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.
Finish by running dotnet test, then report the passing and failing test counts.
실제 실행에서 프롬프트가 무엇을 생성했습니까?
코드를 변경한 각 커밋의 새 빌드는 로컬 사이트의 새 복사본에 대해 아래 모든 크롤을 반복했습니다. 스크립트는 사이트의 요청 로그를 읽고 각 출력 파일을 TestData/expected와 비교했습니다.
- 이전 크롤러는 96개의 요청과 49.2초에 46명의 모든 공급자를 HttpClient와 HtmlAgilityPack 크롤러에 기록했습니다.
- 이동 후 공급자 크롤러가 동일한 46개의 행을 동일한 헤더 및 행 순서로 기록했습니다.
- 새로운 크롤은 57.9초에 142개의 요청을 보냈고, 연락처 페이지는 그중 46개에 401로 응답했습니다.
- 커서는 새 실행에 대해 96개의 요청을 보고하고, 성공적인 요청만을 카운트했습니다.
- 공급자 크롤러는 Init에서 첫 번째 목록 페이지만 큐에 넣고, Parse에서 다음 페이지 링크를 따랐습니다.
- 커서는 파일을 변경하지 않고 다섯 가지 문서 질문에 답했으며, 기본 제한을 설명하거나 두 스크래퍼 문제를 해결하는 페이지를 찾지 못했습니다.
- 인증 헤더에 대해 커서는 문서화된 예제를 찾지 못하고, HttpRequestHeaders가 모든 요청과 함께 전송된다고 설명했으나, 프로브는 이를 부정확하다고 보여주었습니다.
- 계획은 연락처 요청에서 회원 ID를 고정하면 이중 가져오기를 피할 수 있다고 주장했으나, 이는 401의 46개 응답에 의해 입증되었습니다.
- 수정 전 커서의 실행에서는 증명서 명령이 1개와 0개의 증명서를 작성하고, 독립 실행에서 32개의 증명서 중 6개를 작성했습니다.
- 커서는 실패를 무작위 ID, 무작위 풀의 회원 ID 및 누락된 속도 제한으로 추적했습니다.
- 수정된 증명서 크롤러는 여전히 Init에서 세 개의 등록 페이지를 요청했습니다. 프로젝트 규칙을 무시했습니다.
- 수정 후 명령은 독립 실행의 세 번의 실행에서 32개의 증명서 중 32개를 작성했습니다. 각각 67개의 요청과 429 없음.
- 첫 크롤-올 빌드는 429를 받지 않았고, 두 번째는 4개 이상의 요청을 유지하지 않았습니다.
- 두 번의 독립 크롤-올 실행은 105.2초와 104.8초에 모든 46명의 공급자와 모든 32개의 증명서를 작성했습니다.
- 두 명령을 차례로 실행하는 데 80.8초가 걸렸습니다.
- xUnit 스위트는 4개의 테스트 중 4개를 통과했고, 포트 5493의 사이트는 실행 동안 요청을 기록하지 않았습니다.
- 일부 단계는 페이지와 달리 작동했습니다. 모든 7개의 프롬프트는 하나의 헤드리스 세션에서 Cursor CLI를 통해 진행되었습니다. 프롬프트 03 이후 계획 모드는 지속되었으며, 프롬프트 05에서 07까지 각각 "계획을 빌드하라."라는 후속 메시지를 필요로 했습니다. 프롬프트 04에서 커서는 페이지 스크래퍼와 README를 변경했으나, 프롬프트는 이를 요청하지 않았습니다.
GitHub Copilot 가이드는 IronWebScraper 규칙을 크롤러 및 테스트 경로에 파일 경로 전용 지침 파일로 제한하며, 이 규칙 파일은 그렇습니다. Google Antigravity 가이드는 동일한 고급 튜토리얼에서 작동하며 IronWebScraper의 웹 캐시와 저장된 크롤 상태가 유지하는 것을 측정합니다. 실행 기록은 각 가이드의 어시스턴트 버전, 모델, 기간 및 테스트 기계를 나열합니다.
문제 해결
- 크롤이 속도 제한이나 로그인이 필요한 경우 고급 웹 스크래핑 기능
- 한 크롤이 여러 요청을 동시에 실행하는 경우 스레드 안전성
- Start가 라이선스 예외를 던지는 경우 라이선스 키 적용
- 페이지가 브라우저에서는 꽉 차 있지만 스크래퍼로는 비어있는 경우 IronWebScraper & JavaScript
질문?
질문이 있으시면 support@ironsoftware.com으로 문의하세요.
커티스 차우는 칼턴 대학교에서 컴퓨터 과학 학사 학위를 취득했으며, Node.js, TypeScript, JavaScript, React를 전문으로 하는 프론트엔드 개발자입니다. 직관적이고 미적으로 뛰어난 사용자 인터페이스를 만드는 데 열정을 가진 그는 최신 프레임워크를 활용하고, 잘 구성되고 시각적으로 매력적인 매뉴얼을 제작하는 것을 즐깁니다.