C# 網路爬蟲庫

跨平台支持

設計為C#, F#, & VB.NET運行於.NET 10, 9, 8, 7, 6, 5, Core, Standard,或 Framework

開始使用：C# 代碼範例

C# 網頁爬蟲

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
	Public Shared Sub Main(ByVal args() As String)
		Dim ScrapeJob = New BlogScraper()
		ScrapeJob.Start()
	End Sub
End Class

Public Class BlogScraper
	Inherits WebScraper

	Public Overrides Sub Init()
		LoggingLevel = LogLevel.All
		Request("https://www.zyte.com/blog/", AddressOf Parse)
	End Sub

	Public Overrides Sub Parse(ByVal response As Response)
		For Each title_link As HtmlNode In response.Css(".oxy-post-title")
			Dim strTitle As String = title_link.TextContentClean
			Scrape(New ScrapedData() From {
				{ "Title", strTitle }
			})
		Next title_link

		If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
			Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
			Request(next_page, AddressOf Parse)
		End If
	End Sub
End Class

Install-Package IronWebScraper

IronWebScraper 提供了一個強大的框架，使用 C# 代碼從網站提取數據和文件。

使用NuGet將 IronWebScraper 安裝到您的項目中。
創建一個繼承 WebScraper 的類。
創建一個使用 Request 方法解析至少一個 URL 的 Init 方法。
創建一個 Parse 方法來處理請求，並確實Request更多頁面。使用 response.Css 以 jQuery 樣式的 CSS 選擇器來操作 HTML 元素。
在您的應用程序中，創建一個 web 刮削類的實例並調用 Start(); 方法。
閱讀我們的C# 網頁抓取教程以學習如何使用 IronWebScraper 創建高級網絡爬蟲。

了解如何使用 C# 擷取線上電影網站

直接從我們的開發團隊獲得人性化支持

無論是產品、集成還是許可問題，Iron 產品開發團隊隨時支持您的所有問題。與 Iron 取得聯繫，開始對話，以便在項目中充分利用我們的庫。

提問

Powerful Scraping Engine related to C# 網路爬蟲庫

強大的爬取引擎掌握在您手中

只需編寫一個 C# 網路爬蟲類別即可將成千上萬甚至數百萬的網頁抓取到 C# 類別實例、JSON 或下載文件中。IronWebScraper 允許您編寫簡明、線性的工作流程，模擬人類的瀏覽行為。IronWebScraper 將您的代碼作為一群虛擬網絡瀏覽器運行，大量併行，但卻禮貌而容錯。

從文档开始

Simple Flexible Logic related to C# 網路爬蟲庫

簡單、靈活的邏輯

IronWebScraper 必須被編程以知道如何處理它遇到的每種“類型”的頁面。這可以通過很簡明的方式使用 CSS 選擇器或 XPath 表達式來實現，並且可以在 C# 中完全自定義。這種自由使得您可以決定在哪個網站內抓取哪些頁面，以及對提取的資料進行何種操作。每種方法都可以在 Visual Studio 中使用調試和觀看。

跟隨教程