在生產環境中進行無水印測試。
無論在何處需要,它都能正常運作。
獲得 30 天完整功能產品試用期。
幾分鐘就能安裝運作。
產品試用期間,您可以隨時聯絡我們的支援工程團隊。
using IronWebScraper;
public class Program
{
private static void Main(string[] args)
{
var ScrapeJob = new BlogScraper();
ScrapeJob.Start();
}
}
public class BlogScraper : WebScraper
{
public override void Init()
{
LoggingLevel = LogLevel.All;
Request("https://www.zyte.com/blog/", Parse);
}
public override void Parse(Response response)
{
foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
{
string strTitle = title_link.TextContentClean;
Scrape(new ScrapedData() { { "Title", strTitle } });
}
if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
{
string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
Request(next_page, Parse);
}
}
}Install-Package IronWebScraper
專為運行在.NET 10、9、8、7、6、5(Core、Standard 或 Framework)上的C#、F# 和 VB.NET設計
using IronWebScraper;
public class Program
{
private static void Main(string[] args)
{
var ScrapeJob = new BlogScraper();
ScrapeJob.Start();
}
}
public class BlogScraper : WebScraper
{
public override void Init()
{
LoggingLevel = LogLevel.All;
Request("https://www.zyte.com/blog/", Parse);
}
public override void Parse(Response response)
{
foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
{
string strTitle = title_link.TextContentClean;
Scrape(new ScrapedData() { { "Title", strTitle } });
}
if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
{
string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
Request(next_page, Parse);
}
}
}Install-Package IronWebScraper
IronWebScraper 提供了一個強大的框架,可以使用 C# 程式碼從網站中提取資料和檔案。
WebScraper類別。Init方法,使用Request方法解析至少一個 URL。Parse方法來處理請求,並Request更多頁面。 使用response.Css可以透過 jQuery 風格的 CSS 選擇器來操作 HTML 元素。Start();方法。
只需編寫一個 C# 網路爬蟲類,即可將成千上萬甚至數百萬個網頁抓取到 C# 類別實例、JSON 或下載檔案中。 IronWebScraper 讓您可以編寫簡潔的線性工作流程,模擬人類的瀏覽行為。 IronWebScraper 會將您的程式碼作為大量虛擬瀏覽器運行,實現大規模並行處理,同時保持良好的回應速度和容錯性。
開始編寫文檔
IronWebScraper 必須經過編程才能處理遇到的每種「類型」的頁面。這可以透過簡潔的方式使用 CSS 選擇器或 XPath 表達式來實現,並且可以完全使用 C# 進行自訂。這種靈活性可讓您決定要抓取網站中的哪些頁面,以及如何處理提取的資料。每個方法都可以在 Visual Studio 中進行偵錯和檢視。
按照教程操作IronWebScraper 能夠處理多執行緒和 Web 要求,支援數百個並發線程,而無需開發者進行管理。它還可以設定請求頻率限制,從而降低目標 Web 伺服器負載過高的風險。
使用 WebScraper 開始運行
IronWebScraper 可以使用一個或多個「身分」——模擬真實世界人類請求的會話。每個請求都可以透過程式設計或隨機方式分配其自身的身分、使用者代理、Cookie、登入訊息,甚至 IP 位址。請求透過 URL、解析方法和 POST 變數的組合自動產生唯一識別碼。
See API ReferenceIronWebScraper 使用進階快取技術,讓開發者「即時」修改程式碼,並在無需連接網路的情況下重播先前的所有請求。每個抓取任務都會自動儲存,即使發生異常或斷電,也能恢復執行。
網路爬蟲設定說明IronWebScraper 透過 Visual Studio 安裝程序,讓您快速擁有網頁擷取工具。無論您是直接在 Visual Studio 中從 NuGet 安裝,還是下載 DLL 文件,都能立即完成設定。只需一個 DLL 文件,無需任何依賴項。
PM > 安裝 IronWebScraper 包 下載 DLL





VB C# ASP.NET
看看 Ahmed 如何在他的專案中使用 IronWebScraper 將內容從一個網站遷移到另一個網站。提供了用於抓取電子商務網站和部落格網站的範例項目和程式碼。
查看艾哈邁德的網路爬蟲教程 


Iron 團隊在 .NET 軟體組件市場擁有超過 10 年的經驗。







