IronWebScraper를 Claude Code와 함께 사용하는 방법
스크레이퍼는 작성하기 쉽고, 잘못 작성하기도 쉽다. 잘못된 버전은 눈앞의 페이지에서만 작동하고 지정한 호스트를 무시하며, 첫 번째 레이아웃 변경 시 올바르지 않게 된다. 회사의 블로그를 새로운 플랫폼으로 이전할 계획을 세우고 있는 마케팅 팀은 먼저 각 출판된 게시물의 주소, 제목, 저자, 출판일, 카테고리, 태그, 단어 수, 이미지 목록이 필요하다. 아카이브는 5년 동안 두 가지 사이트 테마를 포함하고 있으며, 한 게시물은 어떤 아카이브 페이지에서도 링크되어 있지 않다. Anthropic은 Claude Code를 프로그래밍 에이전트로 구축했으며, 명령줄, VS Code 또는 JetBrains 내부, 데스크톱 응용 프로그램, 브라우저에서 사용할 수 있다. 이들 모두에서 코드 읽기, 파일 편집 및 명령 실행이 가능하여 선택기를 변경할 때마다 새롭게 실행하고 출력물을 살펴보는 크롤러 작업에 적합하다.
IronWebScraper는 하나의 기본 클래스에 구축되어 있다. 당신은 WebScraper을 확장하고, 시작 URL을 요청하고 크롤 규칙을 설정하기 위해 Init을 재정의하며, 각 응답에서 값을 추출하기 위해 Parse을 재정의합니다. 큐와 스로틀링은 이미 자리 잡고 있으므로 사이트에 의존하는 부분만 에이전트가 작성합니다. 블로그 튜토리얼은 블로그에서 패턴을 보여줍니다. 이 가이드는 Claude Code를 구성하여 네 가지 테스트된 프롬프트로 콘텐츠 인벤토리를 작성하는 방법을 설명하며, 각 프롬프트에 따라 IronWebScraper 동작을 기록합니다.
Anthropic은 Claude Code에서 가장 강력한 모델인 Claude Fable 5.1과 Claude Fable 5를 문서화하여 단일 시간 이상 걸리는 작업에 적합하게 합니다. /model 명령은 세션을 끝내지 않고 모델을 변경합니다.
각 프롬프트에서 필드, 출력 파일 및 크롤 한도를 지정하고 나머지는 에이전트에게 맡기세요.
빠른 시작프로젝트 폴더에서 터미널을 열고 claude을 실행하고 첫 번째 프롬프트 전에 /model opusplan을 입력하세요. 테스트는 로컬 머신의 포트 5437에서 회사 블로그 복사본을 제공했으며, 모든 프롬프트는 해당 주소를 지정했습니다.
Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.
The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:
- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.
After setting the key, Program.cs does these things in order:
1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.
Run it once and show me the console output.
최소 워크플로우(5단계)
- NuGet에서 C# 웹 스크래핑 라이브러리 다운로드
- 프로젝트 폴더에서 Claude Code를 열고 /model로 모델을 설정하세요.
- IronWebScraper의 측정된 크롤링 규칙을 CLAUDE.md에 기록하여 모든 세션에서 로드되도록 하십시오.
- 실제 호스트 전에 사이트의 로컬 복사본을 크롤러에 지정해 주세요.
- 이전 시작 전에 각 게시물과 요청 로그에 대해 인벤토리를 확인하십시오.
.NET 크롤러 프로젝트에서 Claude Code가 무엇을 하나요?
에이전트는 WebScraper 서브클래스를 작성하고 테스트 블로그에 대해 실행합니다. 개발자는 어느 사이트가 크롤링될 지, 얼마나 빠르게, 어떤 페이지가 제외될지를 결정합니다.
다음 섹션의 프로젝트 규칙은 수동 요청 루프를 금지하고 패키지와 버전을 지정하여 에이전트가 이름만으로 패키지를 선택하지 않도록 합니다.
Claude Code를 어떻게 설정하나요?
Anthropic의 빠른 시작을 따라 Claude Code를 설치하고 로그인하세요. 설치는 claude가 터미널에서 시작되고 응답하면 완료됩니다.
Claude Code가 작업할 수 있는 프로젝트를 어떻게 설정하나요?
먼저 에이전트에 실제 대상을 제공하세요. 테스트 고정 장치는 패키지 참조가 없는 .NET 9 콘솔 응용 프로그램이며, 블로그는 26개의 게시물로 로컬 사이트로 실행됩니다. 2023년 이후의 게시물은 현재 테마를 사용하고 있으며, 9개의 오래된 게시물은 이전 테마를 사용하고 있습니다. 아카이브는 리디렉션을 통해 하나의 게시물을 연결하고, 하나의 게시물은 서버 오류로 응답하며, 오래된 게시물 중 하나는 windows-1252 인코딩으로 전송되며, 두 번째 아카이브 페이지가 링크된 초안 폴더가 robots.txt에 의해 허용되지 않습니다.
CLAUDE.md는 각 세션 시작 시 로드되므로, 거기에 기록된 규칙은 모든 후속 프롬프트에 적용됩니다. 두 번째 프롬프트는 파일과 크롤러 코드에 대한 읽기 전용 검토자를 생성합니다.
Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:
- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.
Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.
Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:
- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?
I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
회원 목록을 넘어서는 가이드의 경우, IronWebScraper는 llms.txt에 에이전트에 대한 문서를 나열합니다.
어떤 IronWebScraper 크롤 규칙이 CLAUDE.md에 포함되어야 하나요?
각 라인은 라이선스 키 없이 로컬 블로그를 크롤링한 프로브로부터 나왔으며, 사이트의 요청 로그와 Parse에서 수신된 내용을 비교합니다. 크롤링 섹션 아래에 블록을 붙여 넣으세요.
These crawl rules were measured on IronWebScraper 2026.10.1:
- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
IronWebScraper가 사이트의 로컬 복사본에 robots.txt를 어떻게 적용하나요?
ObeyRobotsDotTxt은 기본값으로 활성화되어 있지만, IronWebScraper는 시작 URL에 지정된 포트와 상관없이 포트 80의 http://localhost/robots.txt,에서 robots.txt를 요청했습니다. 테스트 블로그에서는 robots.txt를 요청하지 않았으며 허용되지 않는 초안을 가져왔습니다. 포트 80에서 아무 것도 수신 대기 중이지 않으면, 프로브 프로세스 시작 후 4.5초 후에 블로그의 첫 번째 요청이 도달하였으며, ObeyRobotsDotTxt을 false로 설정하여 0.5초로 줄였습니다.
두 번째 프로브도 블로그의 규칙을 포트 80에서 제공했습니다. 사용자 에이전트가 설정되지 않은 상태에서 Request는 "유효하지 않은 사용자 에이전트 문자열"이라는 메시지로 ArgumentException을 던졌으며, 여기에는 크롤링 지연 라인이 포함되어 있습니다. HttpIdentity이 이를 설정했을 때, 초안은 요청되지 않았으며 요청은 1초 크롤링 지연을 유지했습니다. BannedUrls 글로브와 같은 */blog/drafts/*는 프로브에서 초안을 배제했습니다.
어떤 페이지가 Parse에 도달하며, 각 페이지가 몇 번 요청되나요?
기본 설정으로, 프로브 크롤은 테스트 블로그에 43개의 요청을 보냈습니다. 코드가 동일한 파르스 방법과 함께 두 번 요창한 URL은 한 번만 가져왔습니다. 리디렉션과 그 대상은 두 개의 URL로 계산되었기 때문에 리디렉션된 게시물이 두 번 가져와졌고 같은 FinalUrl으로 Parse에 두 번 도달했습니다.
500으로 응답한 게시물은 기본 HttpRetryAttempts 8로 9개의 요청을 받았으며 Parse는 실행되지 않았습니다. 실패를 나열해야 하는 크롤러는 Therefore it lists it은 대기열에 놓인 링크와 작성된 테마를 비교합니다.
RateLimitPerHost는 호스트에 대한 각 요청의 시작을 간격을 둡니다. 1,000밀리초에서 간격은 1.03에서 1.06초로 측정되었으나, 답변하는 데 2.5초가 걸린 게시물은 이후 두 요청과 겹쳤습니다. 이는 OpenConnectionLimitPerHost의 기본값이 2이기 때문입니다. IronWebScraper는 또한 페이지 순서에서 벗어난 요청을 보냈으므로 정렬된 출력을 필요로 하는 크롤러는 작성 전에 행을 정렬합니다.
IronWebScraper는 출력 파일에 무엇을 작성하나요?
Scrape은 JSON Lines 파일에 추가하며, 동일한 작업 폴더로의 두 번째 실행은 프로브의 파일을 27행에서 54행으로 두 배로 늘렸습니다. ScrapeUnique는 각 스크레이퍼가 파일에 기록한 첫 번째 레코드를 삭제하며, 기록된 첫 번째 게시물은 모든 14개의 프로브 크롤에서 고유 파일에서 누락되었습니다.
windows-1252 게시물은 악센트를 잃었습니다. Response.CharSet이 windows-1252를 보고했지만 텍스트는 UTF-8로 디코딩되었으며 저자의 이름은 악센트 있는 문자의 자리에 대체 문자로 도착했습니다. UTF-8로 전송된 동일한 저자의 게시물은 올바르게 디코딩되었습니다. 디코딩을 수정하기 위해 Start 전에 CodePagesEncodingProvider을 Encoding.RegisterProvider에 등록했습니다.
browser에서 windows-1252 게시물은 이렇게 보입니다. 인벤토리에는 저자 이름의 악센트 문자를 유지해야 합니다.

Chrome이 표시한 로컬 테스트 블로그의 windows-1252 게시물입니다. 사이트와 해당 게시물은 테스트를 위해 구축되었습니다.
IronWebScraper 코드 컴파일을 위한 프롬프트 방법은?
한 프롬프트에서 크롤러와 그 출력 규칙을 요청하고, 파일 변경 전에 설계가 안정될 수 있도록 계획 모드를 허용하세요. 프롬프트를 보내기 전에 Shift+Tab으로 계획 모드로 전환하세요. opusplan가 선택되면 Opus가 계획을 작성하고 Sonnet은 계획이 승인되면 이를 수행합니다.
Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:
- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.
Write out/content-inventory.csv with one row per post, in this shape:
- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.
Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.
Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
프롬프트의 두 부분은 인벤토리를 보호합니다.
- 제공된 주소당 한 행: 인벤토리는 마이그레이션에 사용되며, 두 주소 아래에 나열된 게시물은 두 번 이동합니다.
- 별도의 파일에 있는 실패: 없이는 인벤토리에서 누락된 게시물을 출판되지 않은 게시물과 구별할 수 없습니다.
블로그가 게시물 템플릿을 변경할 때 무슨 일이 벌어지나요?
세 번째와 네 번째 프롬프트 사이에 테스트는 로컬 블로그를 새로운 게시물 템플릿으로 전환했습니다. 아카이브 페이지와 오래된 게시물은 그들 자신의 마크업을 유지했으며 2023년 이후의 모든 게시물은 새로운 클래스 이름으로 이동했습니다. @로 시작하는 경로는 그 파일을 요청에 첨부합니다.
The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:
1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.
Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
생성된 Chrome 코드도 신뢰하기 전에 무엇을 확인해야 하나요?
리뷰에 다음 확인 사항을 포함하세요.
- 요청 로그: 페이지당 요청 수를 세고, 허용되지 않은 경로 아래의 아무 것도 가져오지 않으셨는지 확인하며 요청 사이의 간격을 측정합니다.
- 빌드:
dotnet build은 존재하지 않는 멤버를, 예를 들어Response.RequestlUrl의 올바르게 교정된 철자 등을 거부합니다. - 행의 샘플: 각 테마의 여러 게시물을 열고 이전 마이그레이션 전의 인벤토리와 그 필드를 비교합니다.
고정 통과 기준으로 재실행할 수 있는 완전한 IronWebScraper 작업은 AI 코딩 어시스턴트 가이드에서 확인할 수 있습니다.
실제 실행에서 프롬프트가 무엇을 생성했습니까?
Claude Code는 네 가지 프롬프트를 한 세션에서 순서대로 실행했습니다. 규칙 블록은 세 번째 프롬프트 전에 CLAUDE.md으로 들어갔습니다. 코드는 손으로 편집되지 않았습니다.
- 실행 전에 리포지토리는 한 줄의 Program.cs만 담고 있었으며 패키지 참조는 없었습니다.
- Quickstart 프로그램은 IsLicensed에 대해 True를 출력하고, 10개의 게시물 카드를 세고, 첫 번째 게시물을 정확히 명명했습니다.
- CLAUDE.md에서는 5개의 크롤링 규칙을 받았고, 서브에이전트 파일에서는 Read, Grep 및 Glob 도구만 나열되었습니다.
- 계획하는 동안 세션과 그 서브에이전트는 블로그에 370번의 curl 요청을 보냈으며, 그 중 5번은 허용되지 않은 초안 폴더였습니다.
- 크롤러는 ObeyRobotsDotTxt를 false로 설정하고 자체적으로 robots.txt를 읽고 그 규칙을 BannedUrls 및 RateLimitPerHost 설정으로 변환했습니다.
- 세 번째 프롬프트의 크롤은 38개의 요청을 전부 LarkspurInventory/1.0 사용자 에이전트로 보내고 초안 폴더에는 보내지 않았습니다.
- 요청 시작 사이의 중간 간격은 1.04초였으며, 두 짧은 간격은 robots.txt와 리디렉션을 따랐습니다.
- 실패한 게시물은 해당 크롤에서 3번의 요청을 받았으며, 실패한 페이지 목록에 유일한 항목이었습니다.
- 세 번째 프롬프트 후 인벤토리는 25개의 행을 가졌으며, 각 필드는 우리의 확인에 블로그의 데이터와 일치했습니다.
- 리디렉션된 게시물은 최종 주소 아래 한 번 나타났으며, 아카이브 페이지에서 누락된 게시물은 존재했습니다.
- windows-1252 게시물은 악센트 있는 저자 이름을 유지했고, 어떤 행에서도 대체 문자가 포함되지 않았습니다.
- 새로운 템플릿에서 세 번째 프롬프트의 크롤러는 8개의 행을 작성하고, 19개의 실패한 주소를 나열했으며, 단 하나의 게시물만 오류를 반환했습니다.
- 네 번째 프롬프트에서 한 번의 수정을 한 뒤, 새로운 인벤토리는 템플릿 변경 전 복사본과 바이트 동일했습니다.
- 최종 코드의 새 복제본은 현재 테마와 새로운 템플릿에서 동일한 25개의 행을 생성했습니다.
- 키 없이 프로그램은 라이선스가 실패했음을 보고하고 블로그에 요청을 보내지 않았습니다.
- 라이선스 키는 이 실행의 어느 대본, 세션 파일, 로그, 저장소 파일에도 나타나지 않았습니다.
- 일부 단계는 페이지와 달리 작동했습니다. 세션은 무두화된 상태로 실행되어, 타이핑된 응답이 계획을 승인했습니다. 에이전트를 저장소 내에 유지한 실행의 가드가 도구 호출 4개를 차단했으며, 이 중 두 개는 오류였습니다.
인벤토리의 마지막 8개의 행은 오래된 테마의 게시물을 포함합니다.

테스트 실행에서 파일에서 텍스트로 꺼낸 content-inventory.csv의 헤더 및 마지막 8개 행. 줄 번호는 파일의 줄 번호입니다.
Cursor 가이드 역시 계획 모드처럼 코드를 작성하기 전에 작업을 계획하게 합니다. ChatGPT Codex 가이드는 AGENTS.md에 그 크롤링 규칙을 유지하며, Codex는 모든 작업 전에 읽습니다. 이번 실행의 Claude Code 버전, 모델, 타이밍 및 테스트 머신은 공용 실행 기록에 있습니다.
문제 해결
Start가 LicensingException을 던지면 라이선스 키 적용- 여러 요청이 동시에 실행되는 방식을 제어하는 설정에 대한 스레드 안전성
- 라이브러리 자체의 보안 상태에 대한 IronWebScraper 보안 CVE
질문?
질문이 있으시면 support@ironsoftware.com으로 문의하세요.
커티스 차우는 칼턴 대학교에서 컴퓨터 과학 학사 학위를 취득했으며, Node.js, TypeScript, JavaScript, React를 전문으로 하는 프론트엔드 개발자입니다. 직관적이고 미적으로 뛰어난 사용자 인터페이스를 만드는 데 열정을 가진 그는 최신 프레임워크를 활용하고, 잘 구성되고 시각적으로 매력적인 매뉴얼을 제작하는 것을 즐깁니다.