跨平台支持

專為設計 C#、F#、VB.NET 運行於 .NET 8、7、6、Core、Standard 或 Framework

.NET 標誌
Visual Studio 標誌 Visual Studio 標誌
NuGet 標誌 NuGet 標誌
ReSharper
Windows 標誌
Linux 標誌
Mac標誌
Docker標誌 Docker標誌
Azure 標誌 Azure 標誌
AWS 標誌 AWS 標誌
C# 網頁抓取工具
using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}
Imports IronWebScraper

Public Class Program
	Public Shared Sub Main(ByVal args() As String)
		Dim ScrapeJob = New BlogScraper()
		ScrapeJob.Start()
	End Sub
End Class

Public Class BlogScraper
	Inherits WebScraper

	Public Overrides Sub Init()
		LoggingLevel = LogLevel.All
		Request("https://www.zyte.com/blog/", AddressOf Parse)
	End Sub

	Public Overrides Sub Parse(ByVal response As Response)
		For Each title_link As HtmlNode In response.Css(".oxy-post-title")
			Dim strTitle As String = title_link.TextContentClean
			Scrape(New ScrapedData() From {
				{ "Title", strTitle }
			})
		Next title_link

		If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
			Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
			Request(next_page, AddressOf Parse)
		End If
	End Sub
End Class

IronWebScraper 提供了一個強大的框架,使用 C# 代碼從網站提取數據和文件。

  1. 使用以下命令安裝 IronWebScraper 到您的專案中 NuGet

  2. 創建一個擴展 WebScraper 的類別

  3. 創建一個使用 Request 方法解析至少一個 URL 的 Init 方法。

  4. 創建一個 Parse 方法來處理請求,並且確實要 Request 更多頁面。使用 response.Css 以 jQuery 樣式的 CSS 選擇器來處理 HTML 元素

  5. 在你的應用程式中,請創建並實例化你的網絡爬蟲類別,然後呼叫 Start();` 方法

  6. 閱讀我們的 C# 網頁抓取教程 學習如何使用 IronWebScraper 創建高級網頁爬蟲

由我們開發團隊提供的人力支援

無論是產品、整合或授權問題,Iron 產品開發團隊都隨時為您解答所有問題。請聯絡我們並開始與 Iron 對話,在您的項目中充分利用我們的庫。

提出問題

強大的資料抓取引擎由您掌控

只需编写一个 C# 網頁爬蟲類,即可將成千上萬甚至數百萬個網頁抓取到 C# 類實例、JSON 或下載文件中。IronWebScraper 允許您編寫簡潔、線性的工作流程,模擬人類的瀏覽行為。IronWebScraper 將以一支虛擬網頁瀏覽器群來運行您的代碼,具有大規模並行處理、禮貌並且容錯的特性。

開始使用文件

簡單靈活的邏輯

IronWebScraper 必須被編寫程序以了解如何處理所遇到的每個“類型”頁面。這可以通過使用 CSS 選擇器或 XPath 表達式以非常簡潔的方式實現,並且可以在 C# 中完全自定義。這樣的自由使您可以決定在網站內抓取哪些頁面,以及如何處理提取的數據。每種方法都可以在 Visual Studio 中整潔地調試和觀察。

跟隨教學

快速且禮貌的行為

IronWebScraper 處理多執行緒和網路請求,以允許數百個同時進行的執行緒,而開發者無需管理它們。可以設置禮貌性以節流請求,從而降低目標網路伺服器過載的風險。

快速入門 WebScraper

創建虛擬用戶身份

IronWebScraper 可以使用一個或多個“身份” - 模擬現實世界中人類請求的會話。每個請求都可以通過程式化或隨機地分配其自身的身份、用戶代理、Cookies、登錄訊息,甚至是 IP 地址。請求被設置為自動唯一,並使用 URL、解析方法和發布變數的組合。

See API Reference

即時回放

IronWebScraper 使用先進的快取技術,讓開發人員可以即時更改他們的程式碼,並且能夠在不聯網的情況下重播每一次過去的請求。每個抓取任務都會自動保存,並且在發生異常或停電時可以恢復。

WebScraper 設置說明
用於創建和編輯內容的 Visual Studio PDF 庫。

使用微軟Visual Studio快速安裝

IronWebScraper 通過 Visual Studio 安裝程式迅速地將 Web Scraping 工具掌握在您手中。無論是直接從 Visual Studio 內的 NuGet 進行安裝,還是下載 DLL,都能迅速完成設置。 只需一個 DLL 且無依賴項。

PM > Install-Package IronWebScraper 下載DLL
支持:
  • .NET Framework 4.0及以上版本支持C#、VB、F#
  • Microsoft Visual Studio. .NET 開發 IDE 圖標
  • NuGet 安裝程式支援 Visual Studio
  • JetBrains ReSharper C# 語言助理相容
  • Microsoft Azure C#.NET 託管平台相容

.NET 網路爬蟲社群教程

教學 + 代碼範例 在 .NET 中進行網頁抓取 | VB.NET & ASP.NET PDF

VB C# ASP.NET

在C#和VB.NET專案中進行網路抓取

看看Ahmed如何在他的專案中使用IronWebScraper將內容從一個網站遷移到另一個網站。提供用於抓取電子商務和博客網站的範例專案和代碼。

艾哈邁德·阿布爾馬格德 .NET軟體工程師 查看艾哈邁德的WebScraping教程
我們的客戶使用IronWebScraper搭配...

會計和金融系統

  • # 收據
  • # 報告
  • # 發票列印
為 ASP.NET 會計和財務系統添加 PDF 支持

企業數位化

  • # 文件資料
  • # 訂購與標籤
  • # 紙張替代
C# 業務數位化用例

企業內容管理

  • # 內容製作
  • # 文件管理
  • # 內容分發
.NET CMS PDF 支援

數據和報告應用程式

  • # 效能追蹤
  • # 趨勢映射
  • # 報告
C# PDF 報告
立即加入他們
Iron Software 企業 .NET 組件開發者

成千上萬的企業、政府、中小企業和開發人員都信賴 Iron software 產品。

Iron 團隊在 .NET 軟體元件市場有超過 10 年的經驗。

Iron Software 客戶圖標
Iron Software 客戶圖標
Iron Software 客戶圖標
Iron Software 客戶圖標
Iron Software 客戶圖標
Iron Software 客戶圖標
Iron Software 客戶圖標
Iron Software 客戶圖標

世界級工程,
24小時支援

請諮詢專家

準備開始了嗎? 版本: 2024.10 剛剛發布

免費 NuGet 下載 總下載次數: 90,545 查看許可證 >