C#ウェブスクレイピングライブラリ

基本的なHTML解析の枠を超えて。.NET 10向けの自動Webスクレイピングをマルチスレッド対応で提供し、大規模に構造化データを抽出してエクスポートできます。

CSSセレクタ、XPath、JavaScriptレンダリングを使用したスクレイピング。
マルチスレッド処理による数百の同時リクエスト
サポート スロットリング、プロキシ、ユーザーエージェント、および robots.txt
無料 30日間トライアル、フル機能、クレジットカード不要

C# ウェブスクレイパー

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

新着情報を見る：変更ログ

クロスプラットフォームのサポート

C#, F#, & VB.NET 用に設計されており、.NET 10, 9, 8, 7, 6, 5, Core, Standard, または Framework 上で動作します

なぜIronWebScraperか

単一のC#クラスから数千のページをスクレイピングします。CSSセレクタ、XPath、JavaScriptレンダリング、仮想ID、好意的制御を1つのライブラリで実行。

幅広いスクレイピング機能

CSSセレクタまたはXPath式で解析します; jQueryスタイルの構文。
JavaScriptページをレンダリングし、静的HTMLだけでなく。
C#クラスインスタンス、JSON、もしくはダウンロードファイルとして出力可能。

結果： アプリが必要とするすべてのスクレイピングワークフローを1つのライブラリでカバーします。

5分で導入

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ 5分のクイックスタート。
シンプルなAPI：Request(url, Parse), response.Css(".selector"), Scrape(data).
スマートなデフォルト: マルチスレッド、好意的制御、およびキャッシュをフレームワークが処理。

結果： このスプリントでスクレイパーを出荷し、次の四半期ではなく。

Enterprise業績

.NET 10、Core、Standard、またはFramework
C#、VB.NET、F#対応。DigiCert署名済みバイナリ。
どこでもデプロイ可能: Windows、Linux、macOS、Docker、Azure、AWS。

結果： スレッドモデルを書き換えることなく、単一のブログクロールから数百万ページにスケール可能。

好意的で、耐障害性があり、監査フレンドリー

スロットリング、プロキシサポート、ユーザーエージェント、robots.txtの準拠を内蔵。
仮想ユーザーID: リクエストごとのユーザーエージェント、クッキー、ログイン、IP。
例外、クラッシュ、または停電後に自動保存されたジョブが再開。

View Code Examples

開発者優先のサポートとライセンス

永続的ライセンス：一度購入して永遠に使用可能。オプションの更新と更新。
24時間365日エンジニアサポート（24/7 Premium対応）。リアルな人間、中央値チャット応答時間<1分。
30日間の返金保証適していませんか？全額返金、質問なし。

Chat With an Engineer

ビルダー向け

本当に使う機能：
- CSSセレクタとXPath
- multithreaded crawling
- プロキシとユーザーエージェントのローテーション
- 仮想ユーザーID
- auto-resume on crash
- JavaScriptレンダリング
- スロットリングと好意的制御
- robots.txt の準拠
- アクションリプレイ（オフライン）
- JSONまたはクラス出力
どこでも動作: Windows, Linux, macOS, Docker, Azure, AWS。

(30 days, fully-functional product)

購入者向け

Iron Suiteのエンジニア数百万人に信頼されています。
実際のワークロードのために構築: システムの移行、競合分析、検索インデックス作成、データマイニング。
調達にやさしい: 永続ライセンス、オプションの更新、請求書の提供、複数の支払いオプション（ローカルとしては、Amazon Pay、Alipay、Apple Pay、IDEAL、SEPA、ACHを含む）。
30日間の返金保証。

See Licensing

世界中の数百万人のエンジニアに信頼されています。

始めましょう: C# コード例

C# ウェブスクレイパー

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraperは、C#コードを使用してウェブサイトからデータやファイルを抽出するための強力なフレームワークを提供します。

NuGetを使用してプロジェクトにIronWebScraperをインストールします。
WebScraperを拡張するクラスを作成します。
Initメソッドを作成します。
リクエストを処理し、さらにParseメソッドを作成します。 response.Cssを使用して、jQueryスタイルのCSSセレクタを使用してHTML要素を操作します。
アプリケーション内でWebスクレイピングクラスのインスタンスを作成し、Start();メソッドを呼び出します。
IronWebScraperを使用して高度なウェブクローラーを作成する方法を学ぶには、C#ウェブスクレイピングチュートリアルをお読みください。

C#でオンライン映画ウェブサイトをスクレイピングする方法を学ぶ

当社の開発チームからの直接的な人間サポート

製品、統合、またはライセンスの問い合わせであろうと、Ironの製品開発チームはすべての質問に対応します。Ironと対話を始め、このライブラリをプロジェクトで最大限に活用してください。

質問をする

強力なスクレイピングエンジンを自分の手で制御

数千、いや数百万のウェブページをC#クラスインスタンス、JSON、またはダウンロードファイルにスクレイプするために、単一のC#ウェブスクレイパークラスを書くことだけです。IronWebScraperを利用すると、人間のブラウジング行動をシミュレートする簡潔かつ直線的なワークフローをコーディングすることができます。IronWebScraperは、仮想ウェブブラウザの群れとしてコードを実行し、非常に並行的でありながら丁寧で故障耐性があります。

ドキュメントで始めましょう

シンプルで柔軟なロジック

IronWebScraperは、出会う各「タイプ」のページをどのように扱うかを知るためにプログラムされる必要があります。これは、CSSセレクタやXPath式を使用して非常に簡潔に実現され、C#で完全にカスタマイズできます。この自由により、ウェブサイト内でスクレイプするページを決定し、抽出したデータをどのように扱うかを決定できます。各メソッドはVisual Studioで整理されてデバッグおよび監視されることができます。

チュートリアルに従ってください

高速で丁寧な動作

IronWebScraperは、マルチスレッドとウェブリクエストを扱い、開発者が管理することなく数百の同時スレッドを可能にします。丁寧さはリクエストのスロットリングに設定でき、ターゲットウェブサーバーへの過剰な負荷のリスクを減らします。

WebScraperのセットアップ

仮想ユーザーアイデンティティを作成

IronWebScraperは、一つ以上の「アイデンティティ」– 実世界の人間のリクエストをシミュレートするセッションを使用できます。各リクエストはプログラム的またはランダムに独自のアイデンティティ、ユーザーエージェント、クッキー、ログインさらにはIPアドレスを割り当てることができます。リクエストはURL、解析メソッド、およびポスト変数の組み合わせで自動ユニークに設定されます。

See API Reference