C#网页抓取库

跨平台支持

为在.NET 10, 9, 8, 7, 6, 5, Core, Standard, or Framework上运行的C#, F#, & VB.NET而设计

入门：C#代码示例

C# 网页抓取器

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
	Public Shared Sub Main(ByVal args() As String)
		Dim ScrapeJob = New BlogScraper()
		ScrapeJob.Start()
	End Sub
End Class

Public Class BlogScraper
	Inherits WebScraper

	Public Overrides Sub Init()
		LoggingLevel = LogLevel.All
		Request("https://www.zyte.com/blog/", AddressOf Parse)
	End Sub

	Public Overrides Sub Parse(ByVal response As Response)
		For Each title_link As HtmlNode In response.Css(".oxy-post-title")
			Dim strTitle As String = title_link.TextContentClean
			Scrape(New ScrapedData() From {
				{ "Title", strTitle }
			})
		Next title_link

		If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
			Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
			Request(next_page, AddressOf Parse)
		End If
	End Sub
End Class

Install-Package IronWebScraper

IronWebScraper 提供了一个强大的框架来使用 C# 代码从网站中提取数据和文件。

使用NuGet将 IronWebScraper 安装到您的项目中。
创建一个继承 WebScraper 的类。
创建一个 Init 方法，使用 Request 方法解析至少一个 URL。
创建一个 Parse 方法来处理请求，并确实 Request 更多页面。使用 response.Css 使用 jQuery 风格的 CSS 选择器来处理 HTML 元素。
在您的应用程序中，创建您的网站抓取类的实例并调用 Start(); 方法。
阅读我们的 C# 抓取教程，学习如何使用 IronWebScraper 创建高级网络爬虫。

了解如何使用 C# 抓取在线电影网站

直接来自我们开发团队的人工支持

无论是产品、集成还是授权问题，Iron 产品开发团队随时准备回答您所有问题。立即联系并与 Iron 开始对话，以便在您的项目中充分利用我们的库。

提问

Powerful Scraping Engine related to C#网页抓取库

强大的抓取引擎掌控在您手中

只需编写一个C#网页抓取器类即可将成千上万甚至百万网页抓取为C#类实例、JSON或下载文件。IronWebScraper允许您编写简洁、线性的工作流程，模拟人类浏览行为。IronWebScraper将作为一群虚拟网络浏览器并行运行您的代码，既有礼貌又具容错性。

从文档开始

Simple Flexible Logic related to C#网页抓取库

简单、灵活的逻辑

必须编程IronWebScraper以了解如何处理它遇到的每种类型的页面。这是通过使用CSS选择器或XPath表达式以非常简洁的方式实现的，并且可以在C#中完全自定义。这种自由让您可以决定在网站上抓取哪些页面，以及对抓取的数据进行什么操作。每种方法都可以在Visual Studio中干净地调试和观看。

跟随教程