ウォーターマークなしで本番環境でテスト。
必要な場所で動作します。
完全に機能する製品を30日間利用できます。
数分でセットアップして稼働します。
製品試用期間中、サポートエンジニアリングチームへのフルアクセス
using IronWebScraper;
public class Program
{
private static void Main(string[] args)
{
var ScrapeJob = new BlogScraper();
ScrapeJob.Start();
}
}
public class BlogScraper : WebScraper
{
public override void Init()
{
LoggingLevel = LogLevel.All;
Request("https://www.zyte.com/blog/", Parse);
}
public override void Parse(Response response)
{
foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
{
string strTitle = title_link.TextContentClean;
Scrape(new ScrapedData() { { "Title", strTitle } });
}
if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
{
string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
Request(next_page, Parse);
}
}
}Install-Package IronWebScraper
C#, F#, & VB.NET 用に設計されており、.NET 10, 9, 8, 7, 6, 5, Core, Standard, または Framework 上で動作します
using IronWebScraper;
public class Program
{
private static void Main(string[] args)
{
var ScrapeJob = new BlogScraper();
ScrapeJob.Start();
}
}
public class BlogScraper : WebScraper
{
public override void Init()
{
LoggingLevel = LogLevel.All;
Request("https://www.zyte.com/blog/", Parse);
}
public override void Parse(Response response)
{
foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
{
string strTitle = title_link.TextContentClean;
Scrape(new ScrapedData() { { "Title", strTitle } });
}
if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
{
string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
Request(next_page, Parse);
}
}
}Install-Package IronWebScraper
IronWebScraperは、C#コードを使用してウェブサイトからデータやファイルを抽出するための強力なフレームワークを提供します。
WebScraperを拡張するクラスを作成します。Requestメソッドを使用するInitメソッドを作成します。Parseメソッドを作成し、更にRequestでページをリクエストします。 jQueryスタイルのCSSセレクターを使用してHTML要素を操作するにはresponse.Cssを使用します。Start();メソッドを呼び出します。
製品、統合、またはライセンスの問い合わせであろうと、Ironの製品開発チームはすべての質問に対応します。Ironと対話を始め、このライブラリをプロジェクトで最大限に活用してください。
質問をする数千、いや数百万のウェブページをC#クラスインスタンス、JSON、またはダウンロードファイルにスクレイプするために、単一のC#ウェブスクレイパークラスを書くことだけです。IronWebScraperを利用すると、人間のブラウジング行動をシミュレートする簡潔かつ直線的なワークフローをコーディングすることができます。IronWebScraperは、仮想ウェブブラウザの群れとしてコードを実行し、非常に並行的でありながら丁寧で故障耐性があります。
ドキュメントで始めましょう
IronWebScraperは、出会う各「タイプ」のページをどのように扱うかを知るためにプログラムされる必要があります。これは、CSSセレクタやXPath式を使用して非常に簡潔に実現され、C#で完全にカスタマイズできます。この自由により、ウェブサイト内でスクレイプするページを決定し、抽出したデータをどのように扱うかを決定できます。各メソッドはVisual Studioで整理されてデバッグおよび監視されることができます。
チュートリアルに従ってくださいIronWebScraperは、マルチスレッドとウェブリクエストを扱い、開発者が管理することなく数百の同時スレッドを可能にします。丁寧さはリクエストのスロットリングに設定でき、ターゲットウェブサーバーへの過剰な負荷のリスクを減らします。
WebScraperのセットアップ
IronWebScraperは、一つ以上の「アイデンティティ」– 実世界の人間のリクエストをシミュレートするセッションを使用できます。各リクエストはプログラム的またはランダムに独自のアイデンティティ、ユーザーエージェント、クッキー、ログインさらにはIPアドレスを割り当てることができます。リクエストはURL、解析メソッド、およびポスト変数の組み合わせで自動ユニークに設定されます。
See API ReferenceIronWebScraperは、高度なキャッシュを使用して、開発者がインターネットと接触することなく「フライ」でコードを変更し、すべての以前のリクエストを再生可能にします。すべてのスクレイプジョブは自動保存され、例外や電源障害が発生した場合も再開できます。
WebScraperセットアップ手順IronWebScraperは、Visual Studioインストーラを使用して迅速にウェブスクレイピングツールを利用できます。Visual Studio内で直接NuGetからインストールするかDllをダウンロードするかにかかわらずすぐに設定が可能です。たった1つのDLLで依存関係はありません。
PM > Install-Package IronWebScraper DLL をダウンロード





VB C# ASP.NET
AhmedがどのようにIronWebScraperを使用して、コンテンツを一つのサイトから別のサイトに移行するかをご覧ください。サンプルプロジェクトとコードが提供されており、eコマースやブログウェブサイトのスクレイピングに役立ちます
AhmedのWebScrapingチュートリアルを見る 


Ironのチームは、.NETソフトウェアコンポーネント市場で10年以上の経験があります。







