IronWebScraper와 AI 코딩 보조 도구 사용하기
IronWebScraper는 Iron Software의 .NET용 웹 스크래핑 라이브러리입니다. C#에서 웹사이트를 크롤링하고, 페이지 간의 링크를 따라가며 HTML에서 구조화된 데이터를 추출합니다. 그리고 단일 패키지가 .NET Standard 2.0을 실행하는 모든 플랫폼을 지원합니다.
코딩 보조 도구는 단일 요청으로 .NET 웹 스크래퍼를 생성할 수 있습니다. 대상 사이트를 존중하는지, 두 번째 페이지에서도 제대로 작동하는지는 확인이 필요합니다. 메모리에서 작업하는 보조 도구는 원시 HttpClient 루프를 작성하고, 자체 재시도 로직을 추가하며, 연결이 허용하는 한 빠르게 요청을 보낼 수 있습니다. IronWebScraper는 이미 요청 큐, 제한 및 식별을 관리하기 때문에 보조 도구가 작성할 코드는 두 개의 오버라이드를 가진 하나의 클래스입니다. 사용 가능한 문서를 사용하여, 이 가이드의 테스트 실행에서 보조 도구는 하나의 WebScraper 서브클래스를 작성했고 HttpClient 호출은 없었습니다.
설치 프로세스는 모든 보조 도구에 동일합니다. 패키지를 추가하고 환경에서 키를 할당하며, IronWebScraper의 기계 판독 가능한 문서를 보조 도구에 제공하고 크롤러의 출력과 요청을 사이트와 비교하여 작업을 완료합니다. 이것은 기본 스크랩핑 튜토리얼, 블로그 스크랩핑, 쇼핑 사이트 스크랩핑, 그리고 고급 설정에 적용됩니다.
AI 코딩 보조 도구와 함께 IronWebScraper 사용 방법
- NuGet에서 C# 웹 스크래핑 라이브러리 다운로드
IronWebScraper_LICENSE_KEY에서IronWebScraper.License.LicenseKey를 시작 시 할당합니다- 보조 도구가 코드를 작성하기 전에 IronWebScraper의 llms.txt 인덱스를 제공합니다
- 보조 도구가 로드하는 지침 파일에 크롤링 규칙을 기록합니다
- 첫 번째 요청 전에 사용자 에이전트, 속도 제한 및 재시도 횟수를 설정합니다
- 출력 파일과 사이트의 요청 로그를 페이지와 비교합니다
내 AI 보조 도구가 자체 스크래퍼를 작성할 수는 없을까요?
작성할 수 있습니다. 프로그램 외부에서 문제가 발생합니다. 대상 사이트가 받는 것과 출력 파일에 담기는 내용입니다.
- 실행 중인 스크래퍼는 여전히 사이트를 과부하시킬 수 있습니다:
RateLimitPerHost호스트 간의 요청 간 최소 지연을 1초로 설정하고OpenConnectionLimitPerHost병렬 연결을 제한합니다. - HTML 선택에 정규 표현식이 필요하지 않습니다:
Response는Css,XPath,QuerySelector및GetElementById를 제공합니다. - 패키지 이름을 정확히 명명하십시오: 패키지와 네임스페이스는 모두
IronWebScraper입니다. 공격자는 보조 도구가 실수로 생성할 수 있는 패키지 이름을 등록합니다. 이 행위는 슬롭스쿼팅이라고 불립니다. - 라이선스 약관은 사전에 정의됩니다: 라이선스 페이지는 각 등급이 허용하는 개발자 수를 나열합니다.
단계 1: IronWebScraper 설치
Add the IronWebScraper NuGet package, version 2026.10.1, to this project and restore it.
Tell me which IronWebScraper version the project file lists now.
터미널에서 릴리스를 명시적으로 핀 고정하십시오.
dotnet add package IronWebScraper --version 2026.10.1
패키지에는 브라우저 엔진과 네이티브 바이너리가 포함되어 있지 않습니다. 유일한 종속성은 IronSoftware.Common과 IronSoftware.System.Drawing이며, 두 번째는 SixLabors.ImageSharp 3.1.12를 포함합니다. 그 릴리스에서 dotnet list package --vulnerable --include-transitive는 다섯 개의 권고 사항을 보고했으며, 그 중 세 개는 높은 등급으로 평가되었습니다.
2단계: 라이선스 키를 적용하세요
키가 없으면 Start 크롤러가 단일 요청을 보내기 전에 IronSoftware.Exceptions.LicensingException을 발생시키고, 아무것도 출력 폴더에 도달하지 않습니다. 메시지에는 7일의 무료 개발 사용이 언급되었지만, 이 기사에 대한 프로브의 첫 번째 호출에서 예외가 발생했습니다. 잘못 입력한 키는 "인식되지 않음" 메시지를 발생시키며, 키를 반복하지 않았습니다. 아래에서 무료 체험 키를 사용할 수 있습니다.
오늘 무료 체험으로 프로젝트에서 IronWebScraper 사용을 시작하십시오.
첫 번째 크롤링 전에 애플리케이션 시작 시 라이선스 키를 한 번 할당합니다. 저장소에 보관하지 않도록 환경 변수에서 가져옵니다.
IronWebScraper.License.LicenseKey = Environment.GetEnvironmentVariable("IRONWEBSCRAPER_LICENSE_KEY");
유효한 키가 할당된 후 IronWebScraper.License.IsLicensed는 true를 반환하며, IronWebScraper.License.IsValidLicense는 이를 적용하지 않고 키 문자열을 테스트합니다. 위의 할당이 없으면 IronWebScraper는 IRONWEBSCRAPER_LICENSE_KEY를 무시합니다. 환경 변수 IronWebScraper.LicenseKey, IronWebScraper_LicenseKey 또는 IronSuite.LicenseKey라는 이름을 아무 코드 없이 읽습니다.
단계 3: IronWebScraper의 LLM 문서로 보조 도구 지향하기
- llms.txt는 각 항목마다 한 줄 요약과 함께 17개의 링크를 나열합니다.
- llms-full.txt는 단일 파일에서 13개의 문서 페이지를 요약합니다.
- llms-full.txt는 llms-full-catalog.txt를 블로그 기사도 포함하는 인덱스로 설명하지만, 2026년 10월 17일에는 이 파일이 llms.txt와 동일했습니다.
- API 레퍼런스는 각 멤버의 서명을 나열합니다.
- 스킬 파일을 지원하는 도구는 설정, 라이선스, 레시피 및 일반적인 실패에 대해 설명하는 skill.md를 사용할 수 있습니다.
- AI 제품 팩트 시트는 지원 플랫폼 및 주요 사용 사례를 개요로 제공합니다.
명확한 지침과 함께 각 세션 시작 시 인덱스를 제공합니다.
Read https://ironsoftware.com/webscraper/csharp/llms.txt before you touch the scraper code again.
Keep to what the pages it links describe.
An IronWebScraper crawl is built like this:
- A scraper class extends WebScraper and overrides Init and Parse.
- Init sets the crawl options and queues the first URL with Request.
- Parse gets a Response, selects nodes with Css or XPath, and queues more pages.
- Scrape appends one JSON line per record to a file under WorkingDirectory.
- Start runs the crawl and returns once the queue is empty.
Response.RequestlUrl has that extra l in the real API, so don't correct it.
For a member those pages don't mention, follow these steps:
1. Look it up at https://ironsoftware.com/webscraper/csharp/object-reference/api/.
2. Compile once to show it exists.
3. If you're still unsure, tell me and don't guess.
Then list every IronWebScraper call here that none of those pages covers.
구문 RequestlUrl는 실제 멤버이며, 어셈블리에는 RequestUrl가 없습니다. 맞춤법을 수정한 보조 도구는 컴파일되지 않는 코드를 생성합니다.
단계 4: 프로젝트에 IronWebScraper 컨텍스트 추가하기
채팅에 입력된 지침은 세션이 끝나면 소실됩니다. 귀하의 팀에서 사용하는 프로젝트 파일에 크롤링 규칙을 저장합니다. Claude Code는 CLAUDE.md를 읽고, ChatGPT Codex는 AGENTS.md를, GitHub Copilot은 .github/copilot-instructions.md를, Cursor는 .cursor/rules/또는 AGENTS.md의 .mdc 파일을 읽고, Google Antigravity는 AGENTS.md 또는 GEMINI.md를 읽습니다. 텍스트의 단일 블록은 모두와 호환되며, Cursor 규칙 파일은 또한 MDC 전신을 포함합니다. 다음부터 시작하십시오.
Crawlers in this project are written with IronWebScraper and follow these rules:
- The NuGet package and the namespace share one name, `IronWebScraper`.
- The documentation index is https://ironsoftware.com/webscraper/csharp/llms.txt.
- If the tool supports skill files, use https://ironsoftware.com/webscraper/csharp/skill.md too.
- Startup code assigns `IronWebScraper.License.LicenseKey` before any crawl runs.
- Its value is looked up by name in IRONWEBSCRAPER_LICENSE_KEY, and nothing prints the environment.
- The key stays out of console output, log files and commits.
- A scraper is a subclass of `WebScraper` with `Init` and `Parse` overridden.
- No raw `HttpClient` loop fetches pages beside it.
- Pick content out of the `Response` with `Css` or `XPath`, never with regular expressions.
- Add an `HttpIdentity` whose `UserAgent` names the crawler. Without one, no user agent is sent.
- Set `RateLimitPerHost`, `OpenConnectionLimitPerHost` and `HttpRetryAttempts` in `Init`.
- Never lower those limits to speed up a crawl.
- `ObeyRobotsDotTxt` reads robots.txt from the default port only.
- For a site on another port, add its disallowed paths to `BannedUrls`.
- A page that keeps failing never reaches `Parse`. Override `Log` to record which URL failed.
- Each crawl adds lines to the file `Scrape` wrote last time. Delete it before a new crawl.
- `ScrapeUnique` drops the first record it writes to a file.
- Write records with `Scrape` and remove duplicates by id.
- Develop against a local copy of the site before pointing at a live host.
스킬 파일은 세 가지 영역에서 최신화되지 않았습니다. 단일 파일 예제는 IronWebScraper 2026.8.1을 고정하고, ObeyRobotsDotTxt를 robots.txt 경로 및 비율을 존중한다고 제시하며, ScrapeUnique를 중복 제거된 추가로 묘사합니다. 2026.10.1에 대한 프로브는 마지막 두 가지를 모순했습니다.
5단계: 원샷 설정 프롬프트
단계 1에서 4는 함께 하나의 메시지로 프로젝트 또는 세션의 시작에 보낼 수 있습니다.
Set this project up for IronWebScraper crawls with these rules:
- Keep the IronWebScraper package pinned at 2026.10.1.
- The app fills IronWebScraper.License.LicenseKey before the first crawl.
- It looks up IRONWEBSCRAPER_LICENSE_KEY itself and never enumerates the environment.
- No console line, log or committed file ever contains the key.
- Start from https://ironsoftware.com/webscraper/csharp/llms.txt and keep the code within it.
- Look up anything those pages miss in the API reference that llms.txt links.
- A tool that reads skill files also loads the agent skill listed there.
- Every scraper sets a user agent, a rate limit and a retry count before its first request.
- Nobody removes those settings to make a crawl finish sooner.
- Test selectors on a local copy of a site first.
Save these rules in the file your later sessions load.
Tell me that file's name and list any other change you made.
6단계: 작동하는 코드를 생성하는 프롬프트 패턴
시작 페이지, 따라갈 페이지, 필드 및 출력 파일 이름을 지정합니다.
모호함 IronWebScraper로 이벤트 사이트를 위한 스크래퍼 작성.
더 좋은
WebScraper을 확장합니다.Init에서는 사용자 에이전트 이름이 지정된HttpIdentity을 추가하고 1초RateLimitPerHost을 설정하며 첫 번째 목록 페이지를 요청합니다.Parse에서는 다음 링크를 따라가고 두 번째 구문 분석 방법으로 각 이벤트 페이지를 요청하며, 한 이벤트당 하나의 레코드를Scrape로 events.jsonl에 작성합니다.
IronWebScraper 릴리스 및 대상 프레임워크를 명시합니다.
더 좋은 .NET 9에서 IronWebScraper 2026.10.1, 시작 전에 IronWebScraper_LICENSE_KEY에서 키 할당하여
Start을 사용합니다.
완전한 파일을 요청하십시오. 스크래퍼는 서브클래스이므로, 부분 코드 조각은 클래스 선언 또는 using IronWebScraper; 지시문을 생략할 수 있습니다.
더 좋은 전체 Program.cs와 스크래퍼 클래스를 반환하고, 이들을 using 지시문 및 라이선스 줄과 함께 빌드할 준비가 된 상태로 제공합니다.
7단계: 되돌아온 것을 검증하기
다음 실수는 생성된 코드 검토에서 쉽게 놓칠 수 있습니다.
- 라이브러리 외부의 요청 루프:
HttpClient으로 가져온 페이지는 모든 스로틀링 설정을 무시하므로 생성된 코드에는 그러한 호출이 없어야 합니다. - 테스트 완료를 위해 제거된 속도 제한: 첫 번째
Request전에Init의 설정을 확인합니다. - 속성으로 시작하는 선택자:
Css("[data-event-id]")는 2026.10.1에서 XPathException을 던졌으며,Css("article[data-event-id]")는 요소를 반환했습니다. 각 속성 테스트 전에 태그 이름을 넣습니다.
에이전트에게 자신의 작업을 검증하게 하세요
Rebuild in Release from clean and remove the previous crawl's output files.
Keep events.run1.json, then run the crawl again.
Show me what that run proves:
- Every IronWebScraper class and member used, with its documentation page.
- Whether IronWebScraper.License.IsLicensed came back true.
- The user agent, rate limit, connection limit and retry count set in Init.
- How many records events.json has, plus every event link without one and the reason.
Then tell me whether events.json holds every event the crawl was meant to collect.
IronWebScraper로 기본 크롤링 설정
이 기사에 대한 프로브는 모든 기본값을 그대로 두고 포트 5467에서 로컬 사이트를 크롤링했습니다.
| 환경 | 2026.10.1의 기본값 | 테스트 사이트에서 측정된 효과 |
|---|---|---|
ObeyRobotsDotTxt | true | robots.txt 요청은 사이트에 도달하지 않았으며 금지된 페이지는 가져와졌습니다 |
RateLimitPerHost | 50 밀리초 | 전체 크롤의 42 요청은 2.55초 내에 도착했습니다 |
OpenConnectionLimitPerHost | 2 | 모든 42 요청은 하나의 연결을 통해 도착했습니다 |
HttpRetryAttempts | 8 | 실패한 각 페이지에 대해 9개의 요청 |
사용자 에이전트 (Identities 비어 있음) | none | 모든 요청은 User-Agent 헤더 없이 전송되었습니다 |
WorkingDirectory | 스크랩 | 출력 파일은 현재 디렉터리 아래의 Scrape 폴더에 나타났습니다 |
IronWebScraper는 스키마와 호스트 이름에서 robots.txt 주소를 구성하며 포트를 생략합니다. 테스트 사이트의 경우, 크롤러는 루프백 주소 모두에서 포트 80을 시도하고, 연결 실패를 위해 4.1초를 기다렸다가 규칙 없이 크롤링했습니다. 로그에는 여전히 호스트에 대해 robots.txt가 준수되어야 한다고 보고되었습니다. 기본 포트의 사이트는 영향을 받지 않습니다. 다른 포트의 사이트에는 허용되지 않는 경로를 BannedUrls에 추가합니다. 이는 프로브에서 크롤링에서 회원 전용 페이지를 제외했습니다.
IronWebScraper로 실패 및 건너뛴 페이지
IronWebScraper는 404 응답을 하는 페이지와 500 응답을 하는 페이지를 동일한 방식으로 처리합니다.
HttpRetryAttempts를 2로 설정하자, 각 실패한 페이지는 세 번 요청되었으며 로그 라인은 여전히 "2번 시도 후"라고 보고되었습니다.- 0 설정은 각 실패한 페이지에 대한 하나의 요청을 생성했습니다.
Parse는 실패한 페이지에는 결코 호출되지 않으므로 스크래퍼는 상태 코드를 볼 수 없습니다.- URL은 "Url permanently failed"라는 중요한 로그 라인에만 나타나며,
FailedUrls가 이를 카운트합니다.Log오버라이드는 어떤 페이지가 실패했는지를 기록할 수 있습니다. - 구문 분석 메서드 내에서 던져진 예외는 실패한 요청과 동일한 효과를 갖습니다. 페이지는 9번 요청되고 실패로 로그되었으며 크롤링이 계속되었습니다.
IronWebScraper 2026.10.1은 또한 Init에서 요청된 일부 페이지를 기록되지 않은 상태로 건너뜁니다. 이 가이드를 위한 프로브에서는, Init에서 세 개의 장소 페이지를 요청한 크롤러가 26번의 실행에서 1회에 모든 세 개를 가져왔습니다. 큐에 10개 페이지를 요청한 크롤러는 8번 실행에서 2개에서 9개 사이를 요청했습니다. 건너뛴 페이지는 사이트에 결코 도달하지 않았고, FailedUrls는 0에 머물렀으며 로그는 여전히 "크롤링 완료"라고 보고되었습니다. 구문 해석 메서드에서 나머지를 큐잉하고 Init에서 첫 번째 페이지를 요청하는 것은 8개의 실행 중 8개의 장소 페이지를 가져왔습니다.
IronWebScraper의 출력 파일
Scrape는 모든 개체를 JSON 한 줄로 직렬화하고 JSON Lines 파일에 추가합니다. 상대 파일 이름은 WorkingDirectory를 기준으로 해결되며 파일 이름 없이 호출하면 IronWebScraper.ScrapedData.jsonl과 같은 형식 이름으로 기록합니다.
- 파일은 BOM이 없는 UTF-8로, CRLF 줄 끝자리가 있습니다. 악센트가 있는 제목은 문자 자체로 기록되었습니다.
DateTimeOffset값은 그 오프셋을 유지했고, 12.50의 십진수 가격은 두 자리 모두 유지되었습니다.Scrape는 매 실행마다 추가합니다. 같은 폴더에 두 번째 크롤은 프로그램이 먼저 삭제하지 않으면 파일을 두 배로 만듭니다.ScrapeUnique는 전체 JSON 줄이 이미 기록된 레코드를 건너뛰므로 가격이 변경된 동일 이벤트는 다시 기록됩니다.ScrapeUnique는 또한 각 스크래퍼 인스턴스의 각 파일에 기록된 첫 번째 레코드를 삭제합니다. 새 파일에 A, B, C 및 A를 기록하면 B와 C만 남습니다. 단일 호출로는 파일이 생성되지 않았으며, 전체 크롤의 첫 번째로 구문 분석된 이벤트는 출력에서 누락되었습니다.
재생산할 수 있는 결과
테스트는 하나의 프롬프트로 구성되어 있으며, 코드를 작성할 필요는 없습니다. 테스트 사이트를 서비스하고, 빈 폴더에 새로운 세션을 열고, 프롬프트를 붙여넣고 결과를 합격 기준과 비교합니다.
IRONWEBSCRAPER_LICENSE_KEY에 IronWebScraper 체험판 또는 생산 키, 그리고 5467 포트의 테스트 사이트가 필요합니다. gen_site.py는 페이지를 작성하고 serve.py는 루프백 주소에서 서비스를 제공하며 각 요청을 기록합니다.사이트는 세 페이지에 23개의 고유 이벤트 링크를 나열합니다. 20개는 이벤트 페이지로 연결되고, robots.txt는 하나를 금지하며, 하나는 404로 응답하고 하나는 500으로 응답합니다. 하나의 이벤트는 추천 상자와 목록 모두에 나타납니다.
프롬프트
Make a .NET 9 console program that exports a local test site's event listings to JSON.
If this folder already holds project files, say so and stop.
Don't ask me anything.
Write all output here.
Add the NuGet package IronWebScraper 2026.10.1.
Go through https://ironsoftware.com/webscraper/csharp/llms.txt, then its agent skill.
Also read its license keys page and the tutorial /tutorials/webscraping-in-c-sharp/.
Call only members documented there or in the API reference.
The events app's first action sets IronWebScraper.License.LicenseKey.
It reads IRONWEBSCRAPER_LICENSE_KEY by name for that value.
Never let the key reach the console, files, shell echoes or environment variable listings.
If IronWebScraper.License.IsLicensed is false, the app exits with a message.
The site's listings start at http://localhost:5467/events/.
Follow the Next link through every listing page and open each event link.
The IronWebScraper crawler keeps to these limits:
- It requests only http://localhost:5467/ addresses.
- It requests no path that http://localhost:5467/robots.txt disallows.
- It sends the user agent RiversideEventsBot/1.0 on every request.
- It waits at least one second between requests, over one connection at a time.
- It retries a failed page at most twice.
Write a record per loaded event page with IronWebScraper's Scrape or ScrapeUnique.
events.json holds those records as a UTF-8 JSON array sorted by start time.
Each record has these fields:
- id, from the data-event-id attribute.
- title, with its accented letters intact.
- start, the time element's datetime value, unchanged.
- venue.
- price as a number, null when the page says Free.
- tags as an array.
- status in lower case, "scheduled" when the page shows none.
- url, the page's full address.
Also write these files:
- links.json lists every distinct a.event-link target on the listing pages.
- skipped.json gives each failed or disallowed link and its reason.
- requests.log has every URL the crawler requests, with a timestamp.
Each link in links.json ends as a record, a failed request, or a path robots.txt disallows.
Next, do a Release build and run it twice.
Keep the first run's file as events.run1.json and both runs' SHA-256 values.
The second run's events.json must match events.run1.json byte for byte.
Last, add a check mode that sends no requests, and run it to write readback.md.
It reads each actual value from disk.
readback.md gives expected, actual and match for these checks:
- Records plus skipped links equal the distinct event links found.
- No two records share an id.
- Records are in start order, and every start keeps its UTC offset.
- requests.log has no disallowed path, no other host, and no gap under one second.
- The two SHA-256 values are equal.
readback.md names any request you sent the site outside the crawl, and why.
When a check fails, find the cause, fix it and rerun.
Some causes are inside IronWebScraper, with no workaround.
For those, readback.md names the member, what you tried and the unmatched check.
Then finish the rest.
Tell me the Release build result, matching checks out of the total, and your assumptions.
산출
앱의 수정되지 않은 readback.md는 다섯 가지 검사 항목을 나열하며, events.json 및 skipped.json은 앱이 기록한 대로 사용할 수 있습니다. 실행 후 프롬프트가 수정되지 않았습니다. 아래 수치는 해당 파일과 테스트 사이트의 로그를 독립적으로 읽은 결과입니다.

앱이 작성한 대로 plain text로 표시된 events.json의 104-129줄입니다.
- net9.0용 Release 빌드가 경고 및 오류 없이 완료되었습니다.
- events.json은 각 이벤트 페이지 당 20개의 레코드를 포함하며, 시작 시간별로 정렬되었습니다.
- 모든 레코드의 모든 필드는 그 이벤트 페이지에 맞았습니다. 악센트가 있는 제목과 각 시작 시간의 UTC 오프셋이 보존되었습니다.
- 크롤러는 첫 번째 요청으로 robots.txt를 요청하고 AcceptUrl을 오버라이드하여 금지된 경로를 거부했습니다.
- 앱이 보낸 어떤 크롤도 금지된 경로를 요청하지 않았습니다.
- 앱이 robots.txt 규칙을 받기 전, 세션은 회원 전용 페이지를 세 번 수동으로 가져왔습니다.
- 두 개의 Release 크롤 각각은 사용자 에이전트 RiversideEventsBot/1.0으로 30개의 요청을 보냈습니다.
- 해당 크롤 간의 가장 짧은 요청 간 간격은 1.028초였습니다.
- 실패한 각 페이지는 첫 번째 시도와 두 번의 재시도로 세 번 요청되었습니다.
- 앱의 노트에는 ScrapeUnique가 첫 번째 레코드를 잃었다고 기록되었으며, 최종 코드는 Scrape로 모든 레코드를 작성했습니다.
- events.json은 앱의 두 번 실행 후와 별도의 리빌드 두 번 실행 후 바이트 단위로 동일했습니다.
- 앱의 readback은 5개 중 5개 검사를 통과했습니다.
- 독립적인 검토는 37개의 검사 모두에 맞습니다.
- readback.md는 두 개의 Release 크롤 외에 165개의 요청을 보냈다고 나열하며, 테스트 사이트의 로그는 195개를 기록했습니다.
- 프로젝트 폴더, Git 히스토리 또는 Claude Code 세션 파일에는 라이선스 키가 포함되어 있지 않았습니다.
- 설정 프롬프트는 새로운 CLAUDE.md의 112줄에 규칙을 작성했습니다.
- 일부 단계는 페이지와 달리 작동했습니다. 1, 3, 5 및 7 단계 프롬프트는 같은 세션 내에서 승인 프롬프트 후 실행되었습니다. 테스트 설정은 7개의 유효한 명령을 차단했으며, 세션은 각 작업을 다른 방법으로 완료했습니다.
통과 조건
- Release 빌드는 그 어떤 수동 수정 없이 완료됩니다.
- events.json은 시작 시간별로 정렬된 20개의 레코드를 보유하며, 페이지를 직접 읽을 때 각 필드는 그 이벤트 페이지와 일치합니다.
- skipped.json은 회원 전용 페이지와 실패한 두 개 링크를 나열합니다.
- 사이트 자체의 요청 로그에는 금지된 경로가 없고 크롤러 요청 간 간격이 1초 미만인 가하며 실패한 페이지에 최대 세 번 요청이 없습니다.
- 두 번째 실행은 동일한 events.json을 생성합니다.
- 프로젝트 폴더에서 라이선스 키를 포함한 파일을 찾을 수 없습니다.
실행 기록
- 모든 실행은 Core i9-14900KF 및 64 GB 메모리를 가진 Windows 11 x64 데스크톱 하나를 사용했습니다.
- 이 가이드의 프로젝트는 net9.0을 대상으로 하며
IronWebScraper2026.10.1을 고정하고, 모든 크롤은 동일한 머신에서 제공된 테스트 사이트를 대상으로 했습니다. - 가이드의 지속 시간은 페이지의 프롬프트에 대한 기록된 총 시간을 합한 것이며, 이 가이드의 행은 승인 프롬프트만을 수 포함합니다.
- 표의 버전과 모델은 각각의 도구 자체 세션 파일과 실행 로그에서 나왔으며, 별도의 버전 확인에서 나온 것이 아닙니다.
- Cursor CLI는 세션 파일에 버전을 기록하지 않으므로, 행은 실행을 다루는 프로세스 기록을 보유한 설치된 빌드를 제공합니다.
- 마지막 테스트는 Claude Code 가이드에는 2026년 10월 26일, 표의 모든 다른 가이드에는 2026년 10월 17일입니다.
| 가이드 | 보조 및 버전 | 모델 | 기간 (분) |
|---|---|---|---|
| 이 가이드 | Claude Code 2.1.277, 하나의 세션, 권한 프롬프트 해제 | Claude Opus 5 | 23.7 |
| Claude Code | Claude Code 2.1.277, 계획 모드의 프롬프트 3 | Opus 5 계획과 Sonnet 5 | 28.0 |
| ChatGPT Codex | Codex CLI 0.160.0 | GPT-6 Luna | 27.8 |
| GitHub Copilot | Copilot CLI 1.0.95 | 자동으로 선택된 GPT-6 Luna | 18.9 |
| Cursor | Cursor CLI 2026.10.16-e3cb207, headless | Composer 2.5 | 17.0 |
| Google Antigravity | Antigravity CLI 1.4.0, 권한 프롬프트 건너뜀 | Gemini 4 Argon (Medium) | 109.9 |
에이전트별 가이드
아래 각 가이드는 도구 하나와 스크래핑 작업 하나에 이 단계를 적용합니다.
- 회사 블로그 아카이브를 콘텐츠 인벤토리로 전환하기 위해 Claude Code와 함께 IronWebScraper 사용
- 페이지화된 제품 카탈로그 전반에 대한 가격 모니터링을 위해 ChatGPT Codex와 함께 IronWebScraper 사용
- 영화 상영 시간 통합기를 위해 GitHub Copilot과 함께 IronWebScraper 사용
- HttpClient와 HtmlAgilityPack에서 공급업체 디렉토리 크롤러를 옮기기 위해 Cursor와 함께 IronWebScraper 사용
- 정지 후에 재개되는 구직 게시판 크롤러를 위해 Google Antigravity와 함께 IronWebScraper 사용
문제 해결
Start가 라이선스 예외를 발생시킬 경우 IronWebScraper License Keys- 페이지의 콘텐츠가 로드 후 도착하여 비어 보이는 경우 IronWebScraper와 JavaScript
- 병렬 구문 분석이 추가되지 않는 결과를 생성할 경우 스레드 안전성
질문?
질문이 있으시면 support@ironsoftware.com으로 문의하세요.
커티스 차우는 칼턴 대학교에서 컴퓨터 과학 학사 학위를 취득했으며, Node.js, TypeScript, JavaScript, React를 전문으로 하는 프론트엔드 개발자입니다. 직관적이고 미적으로 뛰어난 사용자 인터페이스를 만드는 데 열정을 가진 그는 최신 프레임워크를 활용하고, 잘 구성되고 시각적으로 매력적인 매뉴얼을 제작하는 것을 즐깁니다.