IronWebScraperをCursorと一緒に使う方法

Curtis Chau
Curtis Chau
更新日: 2026年10月26日

C#クローラーがHttpClientとHtmlAgilityPackからIronWebScraperに移行すると、Initで全てのリスティングページをキューに入れるポートはレコードを失うことがあります。 IronWebScraper 2026.10.1は、キューに入れられた全てのページをリクエストする前にそのクロールを終了することがあります。 私たちのテストでは、Initにキューに入れられた4つのリスティングページがあり、それぞれ1つのRequest呼び出しで、3回の実行で3ページ、3ページ、2ページのフェッチが行われ、エラーなしで10、10、46サプライヤーのうち24サプライヤーを失いました。

CursorはVS Codeのコードベースに基づいて構築されたAIコードエディタであり、ファイルを編集しコマンドを実行するエージェントを持ちます。 このガイドでは、その機能の一部である、エージェントが読む文書のリンクと、.cursor/rulesにコミットされたプロジェクトルールを使用して、購買チームのサプライヤーディレクトリクローラーを移行します。 クローラーは46のサプライヤーとその会員限定の連絡先情報をトレードディレクトリからCSVファイルにコピーし、このガイドではそのファイルの行を変更することなく、あるいは秒間4リクエストのディレクトリの制限を超えることなく、それをIronWebScraperに移動します。

このガイドは高度なウェブスクレイピングチュートリアルのスロットリングとアイデンティティ機能に従います。 各クロールはlocalhostで提供されるディレクトリのローカルコピーに対して実行されました。公開サイトの利用規約を読んで、クロールを書く前に許可を得てください。

クイックスタート
NuGetNuGet でインストール

PM > Install-Package IronWebScraper

NuGetパッケージマネージャーコンソールで上記のコマンドを実行するか、NuGetパッケージマネージャーでパッケージを検索して、IronWebScraperをインストールします。

HarborDirectoryリポジトリを開いた状態で、このプロンプトを新しいエージェントチャットに貼り付けてください。

@src/HarborDirectory/ @README.md

Add a pages command that checks the supplier listing with IronWebScraper.
Invoke it as `dotnet run --project src/HarborDirectory -- pages`.
Stay on IronWebScraper 2026.10.1.

Start with https://ironsoftware.com/webscraper/csharp/llms.txt.
After that, read the advanced tutorial linked from there.

The pages command walks the listing as follows:
- It starts at /directory?page=1 on the test site and follows each Next page link.
- For every listing page, it prints the page number and the number of suppliers on that page.

The directory crawler already loads its key from IRONWEBSCRAPER_LICENSE_KEY in Program.cs.
Don't write the key to any output or file, and don't dump environment variables.

When it builds, run the pages command and show me what it printed.
Text

ライセンスキーをチャットに貼り付けないでください。貼り付けた内容がソースファイル、コミット、ビルドログに現れることがあります。 IronWebScraper 2026.10.1はIRONWEBSCRAPER_LICENSE_KEYという名前の環境変数を無視するため、リポジトリのProgram.csはその変数をLicense.LicenseKeyにコピーします。 ライセンスキーガイドにはキーを保存できる場所が示されています。



IronWebScraper作業にはどのCursorモデルを使用すべきですか?

ComposerはCursor独自のエージェントモデルです。 モデルピッカーは、Cursorが共同開発したSpaceXAIのGrokモデルやOpenAI、Anthropic、Google、その他の研究所のモデルも提供します。 以下のテスト実行ではComposer 2.5を使用しました。

CursorにIronWebScraperの文書をどうやって提供しますか?

リクエストにIronWebScraperのllms.txtリンクを含めるか、チーム全体で共有するルールに保存します。 2026年10月時点で、Cursorの@メニューはファイル、フォルダ、ターミナル、チャット、Git差分、ブラウザを添付するので、IronWebScraperのドキュメントはリンクとしてエージェントに届きます。

高度なチュートリアルでは例でRateLimitPerHostを設定していますが、デフォルト値を示してはおらず、2つのスクレーパーがレートリミットを共有するかどうかもページには記載されていません。

@src/HarborDirectory/Legacy/PoliteHttp.cs

Answer these five questions about IronWebScraper without editing any files:
1. Which members replace the 500 ms wait that PoliteHttp keeps between requests?
2. What delay and connection limit per host does a new WebScraper use?
3. When a scraper holds several HttpIdentity objects, which one sends a given request?
4. Can an HttpIdentity send a fixed Authorization header, as PoliteHttp does?
5. Do two scrapers running at once against one host share a rate limit?

Answer only using https://ironsoftware.com/webscraper/csharp/llms.txt, plus the pages linked there.
Cite the source page for each answer.
If the docs don't cover a question, write "not documented" and don't guess.
Text

IronWebScraperクローラーコードのプロジェクトルールを書くにはどうしますか?

プロジェクトルールは.cursor/rulesに保存され、リポジトリと共にバージョン管理される.mdcファイルです。 Cursorはそのフォルダ内の単なる.mdファイルを無視し、フロントマターなしのファイルではルールを読み込むタイミングを決定できません。

以下のルールはCursorのルールページが指定するように、カンマで区切ってglobsにそのファイルパターンを列挙し、alwaysApplyをfalseに設定します。 その後、Cursorはそれらのパス下にあるファイルがコンテキストにあるときにそれを添付します。 .cursor/rules/harbor-crawlers.mdcとして保存します。

---
description: IronWebScraper conventions for the Harbor directory crawlers
globs: src/HarborDirectory/**/*.cs, tests/HarborDirectory.Tests/**/*.cs
alwaysApply: false
---

Every scraper in this repository keeps to these rules:
- Fetch and parse pages with IronWebScraper 2026.10.1 only.
- Don't add HttpClient calls or another HTML parser.
- Check IronWebScraper members against https://ironsoftware.com/webscraper/csharp/llms.txt.
- The site at http://localhost:5493 allows 4 requests per second across all scrapers combined.
- Each scraper sets RateLimitPerHost and OpenConnectionLimitPerHost in Init.
- Queue only the first listing page in Init, then follow the Next page link from Parse.
- A login set with NetworkUsername sends each member page twice, once without it and once with it.
- A request that keeps failing never reaches Parse, so check how many records a run wrote.
- When the docs don't list a member, tell me which pages you checked.
Markdown

Init、ログイン、不正なリクエストのルールはIronWebScraperの動作を記録し、以下のセクションで測定されます。

HttpClientとHtmlAgilityPackの呼び出しはIronWebScraperにどのように対応しますか?

古いクローラーは各ページを自分でフェッチし、リクエストの間で待機していました。 IronWebScraperはリクエストをキューに入れ、ホストごとで間隔を空け、各成功した応答に対してパースメソッドを呼び出します。

HttpClientとHtmlAgilityPackIronWebScraper
GetAsyncでページ番号のループを行い、Initのページ1をRequestし、Parseからキューに入れられたNextページリンクを処理します。
要求間のTask.DelayRateLimitPerHostで、並列要求のOpenConnectionLimitPerHostを含む
DefaultRequestHeaders.UserAgentUserAgentをHttpIdentityに追加し、Identitiesに追加します。
Basic認証を行うDefaultRequestHeaders.AuthorizationNetworkUsernameとNetworkPasswordをアイデンティティで、またはHttpIdentity.DefaultHttpRequestHeaders
429と503に対してRetry-Afterを待機するリトライループHttpRetryAttempts
SelectNodesとSelectSingleNodeをXPathでCssまたはXPathをResponseに基づいて行い、HtmlNode配列を返します。
CSVのためのFile.WriteAllTextAsyncScrape、WorkingDirectoryの下にJSON行を追加するか、プログラム独自のライター

ポートされたクローラーがリスティングページを逃すのはなぜですか?

GitHub Copilotガイドでは、Initで行われるリクエストをIronWebScraperがどのようにドロップするかを測定します。 このガイドのプローブでは、ドロップされたページに対してFailedUrlsが0のままでした。 URLリストを取得するRequestのオーバーロードは3回の実行で4つのリスティングページのうち2ページ、4ページ、3ページをフェッチしました。

Initの1つのリクエストと、パースメソッドからキューに入れられたすべての追加リクエストで、8回の実行中8回で46のサプライヤーを全てフェッチしたため、ルールはInitをリスティングのページ1に制限しています。

IronWebScraperは1つのホストへのリクエストをどのように間隔を空けますか?

新しいWebScraperは50 msのRateLimitPerHost、2のOpenConnectionLimitPerHost、10のMaxHttpConnectionLimit、HttpRetryAttemptsのために20秒のHttpTimeOutで8を使用しました。 それらの値で、クローラーは50から88 msの間隔で50のディレクトリリクエストを送りました。

あまりにも早く到着したリクエストを拒否する429とRetry-Afterヘッダ付きのテストサイトに対して、デフォルト値は失敗しました。 拒否された各URLは同じ間隔で9回リクエストされ、Retry-Afterヘッダは影響せず、13 URLが放棄されました。 古いクローラーはRetry-Afterを尊重していたため、リトライのみに依存するポートはレコードを失います。 500 msのRateLimitPerHostは533から563 msの間隔を生み出し、1つのスクレーパーをディレクトリの制限内に保ちます。

移行をどのように計画し実行しますか?

チャット入力でShift+Tabを押して計画モードが選択されるまで押し、次に下記のリクエストを送信します。 Cursorは、計画を編集可能なMarkdownファイルとして書き出します。

@src/HarborDirectory/Legacy/ @TestData/expected/suppliers.csv

Plan the move of DirectoryCrawler from HttpClient and HtmlAgilityPack to IronWebScraper.
Leave CertificateScraper out of this change.
Don't write code until I approve the plan.

The plan should answer these questions:
- What replaces the wait, the retry, the user agent and the login in PoliteHttp?
- How does the new scraper reach all four listing pages?
- How does it stay within the request limit in the harbor-crawlers rule?
- How does the suppliers command keep its output file and its column order?

List your assumptions at the end of the plan.
Text

計画の誤りを修正してください。 その後、計画に基づいて構築するか、またはエージェントに戻ってこのリクエストを送信します。

@harbor-crawlers

The plan is approved. Build it in this order:
1. Run the current suppliers command.
2. Count the rows of out/suppliers.csv that match TestData/expected/suppliers.csv.
3. Replace DirectoryCrawler and PoliteHttp with one IronWebScraper class named SupplierScraper.
4. Remove HtmlAgilityPack from the project file.
5. Build, run the suppliers command again and count the matching rows.

Then tell me both match counts, how long each run took and how many requests the new run sent.
Text

@harbor-crawlers言及は名前でルールを添付します。

どのCursor機能が各変更に適していますか?

変更の範囲に基づいて機能を選択してください。 タブは開発者が開始した編集を完了し、インライン編集(Ctrl+K)は1つの文で説明できる選択を変更します。エージェントは複数のファイルをまたがる変更やクロールを必要とする作業をカバーし、誤った変更を元に戻すコストが計画を書くコストよりも高いときにはプランモードが価値があります。このガイドのすべてのリクエストはエージェントまたはプランモードに送られました。

各リクエストを送信するアイデンティティはどれですか?

Identitiesにある各アイデンティティは独自のユーザーエージェント、クッキー、ログインを持っています。 アイデンティティがない場合、IronWebScraperはUser-Agentヘッダを全く送信しませんでした。 複数のアイデンティティがある場合、各リクエストおよび各リトライでランダムに1つを選びました。 メンバーアイデンティティと公開アイデンティティを保持するスクレーパーは46の連絡先ページのために140のリクエストを必要とし、そのうち94が401で拒否されました。

NetworkUsernameとNetworkPasswordを使ったログインは各保護されたページに2回目のリクエストを必要とします。 各メンバーページは資格情報なしで最初に送信され、401を受信し、その後1.4 ms以内に資格情報付きのリクエストが行われましたが、RateLimitPerHostの間隔外でした。 メンバーアイデンティティをRequestに渡すとランダム選択は排除されますが、2回目のリクエストは排除されません。

チュートリアルにはカスタムヘッダ用のHttpRequestHeadersがリストされていますが、そこに置かれたヘッダはサイトに届きませんでした。プローブはAuthorizationとカスタムX-Crawlerヘッダを追加しましたが、どちらも到達しませんでした。 アイデンティティが作成される前に静的なHttpIdentity.DefaultHttpRequestHeadersに追加されたヘッダは各リクエストで送信され、すべての401を削除しました。その辞書は、その後のプロセスが作成するすべてのアイデンティティに適用され、公開ページも含まれます。

既にIronWebScraperを使用しているスクレーパーをどのようにデバッグしますか?

証明書スクレーパーは移行前にすでにIronWebScraperを使用していました。 それは公開アイデンティティとメンバーアイデンティティを保持し、Initで3つの登録ページをキューに入れ、レートリミットを設定しませんでした。

@src/HarborDirectory/Scrapers/CertificateScraper.cs

The certificates command should write 32 certificates, but it writes far fewer.
The number it writes also varies between runs.

Find the cause before you change anything:
1. Run the command twice and note both counts.
2. Raise the scraper's LoggingLevel and read what happened to the missing certificates.
3. Explain each cause you find.

Then fix CertificateScraper.
Run the command three times and give me the count from each run.
Text

出力

固定されたスクレーパーは証明書ごとに1つのJSON行として登録を記述し、ページが解析される順序で行います。

out/certificates.jsonlの32行のうち最初の10行、証明書ごとに1つのJSONオブジェクト

クロール・オールプロンプトの後、テスト実行がそれを残したときのout/certificates.jsonlの32行のうち最初の10行、ファイルからプレーンテキストとしてレンダリングされたもの。

2つのスクレーパーが同じホストをクロールする場合はどうなりますか?

各WebScraperインスタンスはそれぞれ自分のリクエストをスロットリングします。 各々RateLimitPerHostを500 msに設定し、1つの接続を使用した2つのスクレーパーは2つのリクエストをフライト中に保ち、1秒間に同じホストに最大6つのリクエストを送りました。したがって、彼らの結合レートはコード内で計画しなければなりません。

@src/HarborDirectory/

Add a crawl-all command that runs SupplierScraper and CertificateScraper at the same time.

The command is done when it meets these conditions:
- It writes the same suppliers.csv and certificates.jsonl as the two separate commands.
- Neither scraper gets a 429.
- It prints each scraper's request count and the total run time.

Run crawl-all, compare both files with TestData/expected and tell me what matched.
Text

出力

チャートはクロール・オール実行中の各秒にローカルサイトが受け取ったリクエストをカウントします。

SupplierScraperとCertificateScraperからの毎秒リクエストの積み重ねられた棒グラフ、4の制限を超えることはありません

テストのクロール・オールラン中の毎秒リクエスト、ローカルサイトのリクエストログから描かれています。100秒間に209リクエスト。

スクレーパーのための回帰テストをどのように書きますか?

そのパブリックコンストラクタで構築されたResponseはCssからArgumentNullExceptionを投げ、ChatGPT CodexガイドはIronWebScraperが自身でフェッチしたページしか解析しない理由を説明しています。 したがって、テストは保存されたページをHTTP経由で提供します。

@src/HarborDirectory/ @TestData/pages/

Create an xUnit project at tests/HarborDirectory.Tests and add it to HarborDirectory.slnx.
The tests must not call the Harbor site on port 5493.
Serve the files in TestData/pages from a local listener inside the tests instead.

Write tests for these cases:
- SupplierScraper reads every field from the saved supplier page and contact page.
- CertificateScraper reads every field from the saved certificate page.
- A contact page that answers 401 leaves Email and Phone empty and keeps the supplier.
- A listing page with no Next page link ends the crawl.

Finish by running dotnet test, then report the passing and failing test counts.
Text

プロンプトが実運用で生成したものは何ですか?

コードが変更された各コミットの新しいコピーに対してすべてのクロールを反復する新しいリリースビルド。スクリプトがサイトのリクエストログを読み、すべての出力ファイルをTestData/expectedと比較しました。

  • 移動前、HttpClientとHtmlAgilityPackクローラーは96リクエストと49.2秒で46のサプライヤーをすべて書きました。
  • 移動後、SupplierScraperは同じ46行を、同じヘッダと行順で書きました。
  • 新しいクロールは57.9秒で142リクエストを送り、接触ページはそのうち46を401で回答しました。
  • Cursorは新しい実行で96リクエストを報告し、それは成功したリクエストのみのカウントです。
  • SupplierScraperはInitで最初のリスティングページだけをキューに入れ、ParseからNextページリンクを追跡しました。
  • Cursorはドキュメンテーションの質問5にファイルを変更せずに答え、デフォルト制限を示すページや2つのスクレーパーの質問に答えるページは見つかりませんでした。
  • Authorizationヘッダについて、Cursorは文書化された例が見つからず、HttpRequestHeadersがすべてのリクエストに送信されると説明されましたが、プローブがそれを誤りであると示しました。
  • 計画は接触リクエストでメンバーアイデンティティを固定することが2重フェッチを避けると主張しましたが、46の401応答がそれを否定しました。
  • 修正前、証明書コマンドはカーソルの実行で1と0の証明書を書き、独立した実行で32のうち6を書きました。
  • Cursorは失敗をランダムアイデンティティ、ランダムプール内のメンバーアイデンティティ、およびレート制限の欠如に追跡しました。
  • 修正されたCertificateScraperは依然としてプロジェクトルールに反してInitから3つの登録ページをリクエストしました。
  • 修正後、コマンドは3つの独立した実行で32のうち32の証明書を書き、67のリクエストと429はありませんでした。
  • 初めてのクロール・オールビルドでは429を受け取らず、2回目では4リクエストを超えませんでした。
  • 2つの独立したクロール・オール実行は105.2秒と104.8秒で46のサプライヤーと32の証明書すべてを書きました。
  • 2つのコマンドを順番に実行するのに80.8秒かかりました。
  • xUnitスイートは4つの4つのテストをパスし、ポート5493上のサイトは彼らが実行中にリクエストを記録しませんでした。
  • 一部のステップはページと異なる方法で実行されました。 7つのプロンプトはすべて1つのヘッドレスセッションでCursor CLIを通過しました。 プロンプト03の後のプランモードが持続するので、プロンプト05から07のそれぞれが後続のメッセージ「計画を構築してください」を必要としました。プロンプト04では、CursorはページスクレーパーとREADMEを変更しましたが、プロンプトはそれを要求しませんでした。

GitHub CopilotガイドはクローラーとテストのパスにおけるIronWebScraperの慣習をパス固有の指示ファイルに制限します。 Google Antigravityガイドは同じ高度なチュートリアルに基づき、IronWebScraperのウェブキャッシュと保存されたクロール状態が何を保持するかを測定します。実行記録には各ガイドのアシスタントバージョン、モデル、継続時間、テストマシンが記載されています。


トラブルシューティング


質問ありますか?

質問がある場合は、support@ironsoftware.com にお問い合わせください。

Curtis Chauは、カールトン大学でコンピュータサイエンスの学士号を取得し、Node.js、TypeScript、JavaScript、およびReactに精通したフロントエンド開発を専門としています。直感的で美しいユーザーインターフェースを作成することに情熱を持ち、Curtisは現代のフレームワークを用いた開発や、構造の良い視覚的に魅力的なマニュアルの作成を楽しんでいます。

もっと読む

準備はできましたか?

NuGetダウンロード数 150,061バージョン:2026.11ちょうどリリースされました