IronWebScraper を Claude Code で使用する方法

Curtis Chau
Curtis Chau
更新日: 2026年10月26日

スクレイパーは簡単に書けますが、悪く書くのもまた簡単です。 悪いバージョンはあなたの前のページで動作しますが、指定されたホストを無視し、レイアウトが変更された最初の時点で正しくなくなります。 企業ブログを新しいプラットフォームに移行しようとしているマーケティングチームは、最初にすべての公開された投稿の住所、タイトル、著者、公開日、カテゴリー、タグ、単語数、および画像を含むインベントリが必要です。 アーカイブは5年間と2つのサイトテーマをカバーしており、1つの投稿はアーカイブページからリンクされていません。 AnthropicはClaude Codeをプログラミングのためのエージェントとして構築し、コマンドラインから、VS CodeやJetBrainsの内部、デスクトップアプリケーション、ブラウザで利用可能にしました。 それらすべてで、コードを読み、ファイルを編集し、コマンドを実行し、クローラーの作業に適しており、セレクターの変更ごとに別の実行と出力の再確認が行われます。

IronWebScraper は1つの基本クラスを中心に構築されています。 開発者はWebScraperを拡張し、開始URLを要求しクロールルールを設定するためにInitをオーバーライドし、各応答から値を引き出すためにParseをオーバーライドします。 キューとスロットリングはすでに設定されているため、エージェントはサイトに依存する部分だけを書きます。ブログチュートリアルはブログでパターンを示しています。 このガイドは、Claude Codeを構成して4つのテスト済みのプロンプトを使用してコンテンツインベントリを構築する方法を説明し、各プロンプトが依存するIronWebScraperの動作を記録します。

AnthropicはClaude Fable 5.1およびClaude Fable 5をClaude Codeで最も高性能なモデルとして文書化しており、単一の座席を超えた作業に適しています。 /modelコマンドはセッションを終了せずにモデルを変更します。

各プロンプトでフィールド名、出力ファイル、クロール制限を指定し、その他はエージェントに任せます。

クイックスタート
NuGetNuGet でインストール

PM > Install-Package IronWebScraper

NuGetパッケージマネージャーコンソールで上記のコマンドを実行するか、NuGetパッケージマネージャーでパッケージを検索して、IronWebScraperをインストールします。

プロジェクトフォルダでターミナルを開き、claudeを実行し、最初のプロンプトの前に/model opusplanを入力します。 テストはローカルマシンのポート5437で会社のブログのコピーを提供し、すべてのプロンプトがそのアドレスを記載しています。

Add the IronWebScraper 2026.10.1 package to BlogInventory.csproj.
Then make Program.cs a smoke test for the company blog at http://localhost:5437/blog/.

The inventory tool puts the value of IRONWEBSCRAPER_LICENSE_KEY in License.LicenseKey first.
Keep that key private with these rules:

- The key never goes to the console, a log or a file.
- Don't run env, printenv, Get-ChildItem Env: or any other command that lists the environment.
- When you check the variable, answer yes or no to whether it has a value.

After setting the key, Program.cs does these things in order:

1. Prints License.IsLicensed.
2. Runs a WebScraper subclass that requests http://localhost:5437/blog/ and no other page.
3. Prints how many post cards that page lists, and the title of the first card.

Run it once and show me the console output.
Text


.NETクローラープロジェクトでClaude Codeは何をしますか?

エージェントはWebScraperサブクラスを書き、テストブログに対して実行します。 開発者はどのサイトをクロールし、どれほど高速にクロールし、どのページを除外するかを決定します。

次のセクションのプロジェクトルールは手書きのリクエストループを禁止し、パッケージとそのバージョンを名指しするため、エージェントが名前だけでパッケージを選ばないようにします。

Claude Codeをどのように設定しますか?

Anthropicのクイックスタートに従ってClaude Codeをインストールし、サインインします。 ターミナルでclaudeを起動して応答するまでセットアップは完了です。

プロジェクトClaude Codeが作業できるようにするにはどうすればよいですか?

エージェントにまず実際のターゲットを与えます。テストフィクスチャはパッケージ参照のない.NET 9コンソールアプリケーションであり、ブログはローカルサイトとして26の投稿で動作します。 2023年以降の投稿は現在のテーマを使用し、9つの古い投稿は以前のテーマを使用します。 アーカイブには1つの投稿がリダイレクトを通じてリンクされ、1つの投稿がサーバーエラーに応答し、古い投稿の1つはwindows-1252エンコーディングで送信され、robots.txtは第2アーカイブページがリンクするドラフトフォルダを禁止しています。

CLAUDE.mdは各セッションの開始時にロードされるため、そこに書かれたルールはその後のすべてのプロンプトに適用されます。 第2のプロンプトはファイルとクローラーコード用の読み取り専用レビュアーを作成します。

Create CLAUDE.md for this repo, with a Crawling section that later sessions follow:

- IronWebScraper fetches and parses every page. No HttpClient, HtmlAgilityPack or AngleSharp.
- Stay on the IronWebScraper version that BlogInventory.csproj has now.
- The crawler only ever requests http://localhost:5437.
- Check each IronWebScraper member against docs/IronWebScraper.xml before using it.
- Crawl results go under out/.

Copy IronWebScraper.xml into docs/ now.
Your NuGet global packages folder has it in ironwebscraper/2026.10.1/lib/netstandard2.1.

Next, create a subagent at .claude/agents/crawl-reviewer.md.
Give it only the Read, Grep and Glob tools.
It reviews Inventory/ and answers four questions:

- Which IronWebScraper members does the code call, and which are missing from the XML?
- Does anything fetch a page without going through IronWebScraper?
- Which robots.txt rules in CLAUDE.md does the crawler skip?
- Which output calls does CLAUDE.md warn against?

I'm adding IronWebScraper's measured crawl rules to CLAUDE.md before the first review.
Tell me the path you copied the XML from.
Text

メンバーリストを超えたガイドについては、IronWebScraperはそのエージェントのドキュメントをllms.txtにリストします。

どのIronWebScraperクロールルールがCLAUDE.mdに含まれるべきですか?

各行は、ライセンスキーの有無にかかわらずローカルブログをクロールしたプローブから来ており、Parseが受信したサイトのリクエストログと比較しました。 クロールセクションの下にブロックを貼り付けます。

These crawl rules were measured on IronWebScraper 2026.10.1:

- IronWebScraper never reads IRONWEBSCRAPER_LICENSE_KEY on its own.
- Assign License.LicenseKey from that variable before Start.
- With no valid key, Start throws LicensingException before the first request.
- LicensingException is not accessible, so catching it by name fails with CS0122.
- Compare the exception's type name as a string instead.
- Requests carry no User-Agent header until an HttpIdentity sets one.
- IronWebScraper reads robots.txt from port 80 of the host, whatever port the start URL uses.
- On localhost:5437 no rule applies, and the failed lookup delays the first request by 4 s.
- Set ObeyRobotsDotTxt to false.
- In Init, read http://localhost:5437/robots.txt with FetchUrlContents.
- Turn each Disallow path into a BannedUrls glob, and Crawl-delay into RateLimitPerHost.
- RateLimitPerHost spaces the starts of requests to one host. Its default is 50 ms.
- OpenConnectionLimitPerHost defaults to 2, so a slow page overlaps the next request.
- A second Request for a URL already seen is dropped when its parse method matches.
- A different parse method fetches it again. A redirect and its target are two URLs.
- Two Parse calls can then share one Response.FinalUrl, so deduplicate on FinalUrl.
- By default a URL that returns 500 gets 9 requests, because HttpRetryAttempts is 8.
- Parse never sees that page, and FailedUrls counts it.
- Call Start() with no CrawlId. After a finished crawl, Start(CrawlId) parses nothing.
- Scrape appends to its file on every run, so delete the old file first.
- ScrapeUnique drops the first record each scraper writes to a file, even an existing file.
- Don't use ScrapeUnique for the inventory.
- A windows-1252 page is decoded as UTF-8, though Response.CharSet says windows-1252.
- Call Encoding.RegisterProvider(CodePagesEncodingProvider.Instance) before Start to fix that.
Markdown

IronWebScraperはどのようにしてサイトのローカルコピーにrobots.txtを適用しますか?

ObeyRobotsDotTxtはデフォルトでオンですが、IronWebScraperは開始URLが示したポートに関係なくポート80のhttp://localhost/robots.txt,からrobots.txtを要求しました。 テストブログ上では、robots.txtを要求せず、禁止されていたドラフトを取得しました。 ポート80で何もリスニングしていない場合、最初のリクエストはプローブプロセスが開始してから4.5秒後にブログに到達し、ObeyRobotsDotTxtをfalseに設定するとそれが0.5秒に減少しました。

2番目のプローブはポート80でもブログのルールを提供しました。 ユーザーエージェントが設定されていない場合、Requestが「有効なユーザーエージェント文字列ではありません」とメッセージを持ったArgumentExceptionを投げ、このルールにはCrawl-delay行が含まれます。設定されたHttpIdentityで、ドラフトは要求されず、リクエストは1秒のクロール遅延を維持しました。 BannedUrlsグロブ(例:*/blog/drafts/*)はプローブでドラフトを除外しました。

どのページがParseに到達し、各ページが何回リクエストされますか?

デフォルト設定では、プローブクロールはテストブログに43のリクエストを送りました。 コードが同じパースメソッドで2回リクエストしたURLは1回のみフェッチされました。 リダイレクトとそのターゲットは2つのURLとしてカウントされたため、リダイレクトされた投稿は2回フェッチされ、Parseに同じFinalUrlで2回到達しました。

500で応答した投稿はデフォルトのHttpRetryAttempts8で9つのリクエストを受け取り、Parseはそのために実行されませんでした。 失敗をリストする必要があるクローラーは、キューに入れたリンクと書き込んだ行を比較します。

RateLimitPerHostはホストへの各リクエストの開始を整えます。1,000ミリ秒でギャップは1.03から1.06秒に計測されましたが、応答に2.5秒かかった投稿は、後続の2つのリクエストと重なりました。OpenConnectionLimitPerHostはデフォルトで2です。IronWebScraperはまたリクエストをページ順序とは無関係に送信したため、並び替えが必要なクローラーは、行を書き込む前に並び替えを行います。

IronWebScraper は出力ファイルに何を書きますか?

ScrapeはJSON Linesファイルに追加しますが、同じ作業フォルダーで2回目の実行がプローブのファイルを27行から54行に倍増させました。ScrapeUniqueは各スクレイパーがファイルに書いた最初のレコードを落とし、最初に書かれた投稿はすべての14プローブクロールで一意のファイルに欠けていました。

windows-1252投稿はそのアクセントを失いました。 Response.CharSetはwindows-1252を報告しましたが、テキストはUTF-8としてデコードされ、著者の名前はアクセントのある文字の代わりに置換文字が到着しました。 同じ著者によるUTF-8送信の投稿は正しくデコードされました。 CodePagesEncodingProviderをEncoding.RegisterProviderで登録してからStartを実行することでデコードが修正されました。

windows-1252投稿はブラウザでこのように見えます。 インベントリは著者名にアクセントのある文字を保持する必要があります。

ローカルテストブログでアクセントのある著者名のwindows-1252投稿

Chromeで表示されたようにローカルテストブログ上のwindows-1252投稿。サイトとその投稿はテストのために構築されました。

コンパイルされるIronWebScraperコードをプロンプトするにはどうすればいいですか?

クローラーとその出力ルールを1つのプロンプトで要求し、プランモードでファイル変更の前にデザインを確定させます。 プロンプトを送信する前にShift+Tabでプランモードに切り替えます。 opusplanを選択すると、Opusがプランを書き、Sonnetがそのプランが承認されるとそれを実行します。

Build the inventory crawler in Inventory/BlogInventoryScraper.cs, and have Program.cs run it.
It starts at http://localhost:5437/blog/ and crawls by these rules:

- Follow the Older posts links and every category page.
- One post is on no archive page, but its category page links to it.
- Apply the site's robots.txt the way CLAUDE.md describes.
- Send LarkspurInventory/1.0 as the user agent.
- Give up on a failing page after two retries.
- Posts from 2021 and 2022 use the old theme, so read both layouts.

Write out/content-inventory.csv with one row per post, in this shape:

- The columns are Url, Title, Author, Published, Layout, Categories, Tags, Words and Images.
- Url is where the post was served from, after any redirect.
- Published is yyyy-MM-dd, and Layout is current or old.
- Categories and Tags are joined with semicolons. Old-theme posts have no tags.
- Words is the number of whitespace-separated words in the body.
- Images counts the img tags in the body.
- Rows go newest first, and each run replaces the file.

Put every post URL that answered with an error in out/failed-pages.txt, one URL per line.

Run it, then tell me the row count and which pages failed.
After that, have the crawl-reviewer subagent review Inventory/ and give me its findings.
Text

プロンプトの2つの部分がインベントリを保護します。

  1. 提供されたアドレスごとに1行:インベントリは移行を活用し、2つのアドレスでリストされた投稿は2回移動されます。
  2. 失敗を別ファイルに:それなしでは、インベントリに欠けている投稿が決して公開されなかった投稿と区別されません。
ヒント: プランを承認するのはrobots.txtルールがBannedUrlsおよびRateLimitPerHost設定となり、ScrapeUniqueで行が書かれない場合のみ

ブログが投稿テンプレートを変更するとどうなるか?

テストは3番目と4番目のプロンプトの間でローカルブログを新しい投稿テンプレートに切り替えました。アーカイブページと古い投稿はマークアップを保持し、2023年以降の投稿はすべて新しいクラス名に移行しました。 @で始まるパスはそのファイルをリクエストに添付します。

The blog moved its posts to a new template this morning.
Check the crawler against it with these steps:

1. Copy @out/content-inventory.csv to before-template.csv in the repo root, and keep it unchanged.
2. Run the crawler again and compare the new inventory with the copy.
3. Fix the crawler so it reads the old theme, the current theme and the new template.
4. Repeat steps 2 and 3 until every row matches before-template.csv, at most three times.

Posts in the new template still get Layout current.
Tell me which fields the new template broke, what you changed, and anything that still differs.
Text

自動生成されたクローラーコードを信用する前に何を確認する必要がありますか?

レビューに以下のチェックを含めます。

  • リクエストログ:ページごとのリクエストをカウントし、許可されていないパスの下で何もフェッチされていないことを確認し、リクエスト間のギャップを計測します。
  • ビルド:dotnet buildは存在しないメンバーを拒否します。例えばResponse.RequestlUrlのスペルを訂正します。
  • 行のサンプル:各テーマからいくつかの投稿を開き、移行開始前にそのフィールドをインベントリと比較します。

再実行可能な固定通過基準を持つ完全なIronWebScraperタスクについては、AIコーディングアシスタントガイドをご覧ください。

プロンプトが実運用で生成したものは何ですか?

Claude Codeは4つのプロンプトを1つのセッションで順番に実行し、ローカルブログに対して行いました。 ルールブロックは3番目のプロンプトの前にCLAUDE.mdに入りました。 コードは手作業で編集されませんでした。

  • 実行前に、リポジトリには1行のProgram.csがあり、パッケージ参照はありませんでした。
  • クイックスタートプログラムはIsLicensedに対しTrueを印刷し、10のポストカードを数え、最初の投稿を正しく命名しました。
  • CLAUDE.mdは5つのクロールルールを受け取り、サブエージェントファイルはRead、Grep、Globツールのみをリストしました。
  • 計画中、セッションとそのサブエージェントはブログに370のcurlリクエストを送信し、そのうち5つは許可されていないドラフトフォルダーに対してでした。
  • クローラーはObeyRobotsDotTxtをfalseに設定し、robots.txt自体を読み、そのルールをBannedUrlsおよびRateLimitPerHost設定に変換しました。
  • 第3のプロンプトのクロールは38のリクエストを送り、全てをLarkspurInventory/1.0ユーザーエージェントで行い、ドラフトフォルダには1つもありませんでした。
  • リクエスト開始間の中央値は1.04秒で、短い2つのギャップはrobots.txtとリダイレクトに続きました。
  • 失敗した投稿はそのクロールで3つのリクエストを受け取り、failed-pages.txtの唯一のエントリでした。
  • 3番目のプロンプト後、インベントリは25行を保持し、すべてのフィールドは私たちのチェックでブログのデータと一致していました。
  • リダイレクトされた投稿は最終的なアドレスの下で1回表示され、アーカイブページから欠けていた投稿が存在しました。
  • windows-1252投稿はアクセントのある著者名を保持し、代替文字を含む行はありませんでした。
  • 新しいテンプレートでは、3番目のプロンプトのクローラーは8行を書き、19の失敗したアドレスをリストしましたが、1つの投稿だけがエラーを返しました。
  • 4番目のプロンプトで1つの修正後、新しいインベントリはテンプレート変更前に取得されたコピーとバイト単位で同一でした。
  • 最終コードのフレッシュクローンは現在のテーマと新しいテンプレートで同じ25行を生成しました。
  • キーがない場合、プログラムはライセンスが失敗したと報告し、ブログにリクエストを送信しませんでした。
  • この実行からのトランスクリプト、セッションファイル、ログ、リポジトリファイルにライセンスキーが表示されませんでした。
  • 一部のステップはページと異なる方法で実行されました。 セッションはヘッドレスで実行されたため、入力された返信がプランを承認しました。 エージェントをリポジトリ内に保つランのガードにより、4つのツールコールがブロックされ、うち2つはエラーで行われました。

インベントリの最後の8行は古いテーマの投稿を保持しています。

テストランからのcontent-inventory.csvのヘッダーと最後の8行

テストランからのcontent-inventory.csvのヘッダと最後の8行は、ファイルからテキストとして描かれたものです。行番号はファイルのものです。

カーソルガイドも、計画モードがここで行うように、エージェントがコードを書く前に作業を計画します。 ChatGPT Codexガイドは、Codexが作業前に読むAGENTS.mdにクロールルールを保持しており、このガイドがCLAUDE.mdを使って行うようにしています。 この実行のClaude Codeバージョン、モデル、タイミング、テストマシンは、共有される実行記録にあります。


トラブルシューティング


質問ありますか?

質問がある場合は、support@ironsoftware.com にお問い合わせください。

Curtis Chauは、カールトン大学でコンピュータサイエンスの学士号を取得し、Node.js、TypeScript、JavaScript、およびReactに精通したフロントエンド開発を専門としています。直感的で美しいユーザーインターフェースを作成することに情熱を持ち、Curtisは現代のフレームワークを用いた開発や、構造の良い視覚的に魅力的なマニュアルの作成を楽しんでいます。

もっと読む

準備はできましたか?

NuGetダウンロード数 150,061バージョン:2026.11ちょうどリリースされました