跨平台支持

设计用于 C#, F#, & VB.NET 运行于 .NET 8、7、6、Core、Standard 或 Framework

开始：C#代码示例

C# 网页抓取器

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
	Public Shared Sub Main(ByVal args() As String)
		Dim ScrapeJob = New BlogScraper()
		ScrapeJob.Start()
	End Sub
End Class

Public Class BlogScraper
	Inherits WebScraper

	Public Overrides Sub Init()
		LoggingLevel = LogLevel.All
		Request("https://www.zyte.com/blog/", AddressOf Parse)
	End Sub

	Public Overrides Sub Parse(ByVal response As Response)
		For Each title_link As HtmlNode In response.Css(".oxy-post-title")
			Dim strTitle As String = title_link.TextContentClean
			Scrape(New ScrapedData() From {
				{ "Title", strTitle }
			})
		Next title_link

		If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
			Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
			Request(next_page, AddressOf Parse)
		End If
	End Sub
End Class

IronWebScraper 提供了一个强大的框架，使用 C# 代码从网站提取数据和文件。

将IronWebScraper安装到您的项目中使用NuGet
创建一个扩展 WebScraper 的类
创建一个Init方法，使用Request方法来解析至少一个URL。
创建一个 Parse 方法来处理请求，并确实 Request 更多页面。使用 response.Css 和 jQuery 风格的 CSS 选择器来操作 HTML 元素。
在您的应用程序中，请创建并实例化您的网页抓取类，并调用 Start();`方法
阅读我们的C# 网络抓取教程了解如何使用 IronWebScraper 创建高级网络爬虫

直接来自我们开发团队的人工支持

无论是产品、集成还是许可查询，Iron产品开发团队随时准备支持您的所有问题。请联系我们并与Iron开启对话，以便在您的项目中最大限度地利用我们的库。

提问

强大的抓取引擎，由您掌控

只需编写一个 C# 网络抓取类，即可将数千甚至数百万个网页抓取到 C# 类实例、JSON或下载文件中。IronWebScraper 允许您编写简洁的线性工作流，模拟人类的浏览行为。IronWebScraper 将以一群虚拟网络浏览器的形式运行您的代码，具有大规模并行处理功能，同时保持礼貌和容错能力。

开始使用文档

简单，灵活的逻辑

IronWebScraper 必须被编程以知道如何处理它遇到的每种“类型”的页面。这可以通过使用 CSS 选择器或 XPath 表达式以非常简洁的方式实现，并且可以在 C# 中完全自定义。这种自由允许您决定在网站内抓取哪些页面以及对提取的数据进行处理。每种方法都可以在 Visual Studio 中进行调试和观察。

遵循教程