C#网页抓取库

突破基础HTML解析的局限。借助.NET 10的多线程技术，实现自动化网页抓取，大规模提取并导出结构化数据。

Scrape 使用 CSS 选择器、XPath 和 JavaScript 渲染
具有数百个同时请求的多线程
支持节流、代理、用户代理和 robots.txt
免费试用 30 天，功能齐全，无需信用卡

C# 网页抓取器

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

查看最新消息：变更日志

Works with AI Coding Agents

Claude
Codex
GitHub Copilot
Cursor
Antigravity
Other coding agents

Runs Inside Your Infrastructure

No MCPs or external processing. IronWebScraper runs inside your application, keeping documents in your control.

AI-ready Documentation

Clear documentation, API references, and tutorials help coding agents use IronWebScraper effectively.

Built for Enterprise Workflows

Add enterprise-grade document capabilities where accuracy, consistency, and control matters.

跨平台支持

为在.NET 10, 9, 8, 7, 6, 5, Core, Standard, or Framework上运行的C#, F#, & VB.NET而设计

为什么选择 IronWebScraper

从单个 C# 类中抓取成千上万的页面。CSS 选择器、XPath、JavaScript 渲染、虚拟身份和礼貌控件在一个库中。

广泛的抓取能力

using CSS 选择器或 XPath 表达式进行解析；jQuery 风格的语法。
渲染 JavaScript 页面，不仅是静态 HTML。
输出到 C# 类实例、JSON 或下载文件。

结果： 一个库涵盖您的应用程序所需的每个抓取工作流。

5 分钟内启动

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ 5分钟快速入门。
简单API：Request(url, Parse), response.Css(".selector"), Scrape(data).
智能默认设置：由框架处理多线程、礼貌性和缓存。

结果： 本季度内发布抓取器，而不是下季度。

Enterprise绩效

.NET 10，Core，Standard，或 Framework
支持C#，VB.NET，F#。DigiCert签署的二进制文件。
部署于任何地方：Windows、Linux、macOS、Docker、Azure、AWS。

结果： 从一次博客抓取扩展到数百万页面，而无需重写您的线程模型。

礼貌、弹性和审核友好

内置的限流、代理支持、用户代理和 robots.txt 合规性。
虚拟用户身份：每次请求的用户代理、cookies、登录和 IP。
自动保存的作业在出现异常、崩溃或掉电后恢复。

View Code Examples

以开发者为先的支持和许可

永久许可：一次购买，永久使用。可选更新和续订。
24/5 工程师支持（Premium中24/7）。真人，聊天响应中位数<1分钟。
30天退款保证不合适？全额退款，无需解释。

Chat With an Engineer

为建筑者

您将真正使用的功能：
- CSS 选择器 & XPath
- multithreaded crawling
- 代理 & 用户代理轮换
- 虚拟用户身份
- auto-resume on crash
- JavaScript渲染
- 限流 & 礼貌性
- robots.txt 合规
- 动作重放（离线）
- JSON 或类输出
适用于任何地方：Windows、Linux、macOS、Docker、Azure、AWS。

(30 days, fully-functional product)

购买者

被Iron Suite的数百万工程师信赖。
为真实工作负载构建：系统迁移、竞争分析、搜索索引、数据挖掘。
采购友好：永久许可证，可选续订，可开发票，多种支付选项（包括本地：Amazon Pay，支付宝，Apple Pay，IDEAL，SEPA，ACH）。
30 天退款保证。

See Licensing

深受全球数百万工程师的信赖

入门：C#代码示例

C# 网页抓取器

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper 提供了一个强大的框架来使用 C# 代码从网站中提取数据和文件。

使用NuGet将 IronWebScraper 安装到您的项目中。
创建一个扩展WebScraper的类。
创建一个Request方法解析至少一个URL。
创建一个Request更多页面。使用response.Css来使用jQuery风格的CSS选择器处理HTML元素。
在您的应用程序中，创建一个您自己的网页抓取类的实例并调用Start();方法。
阅读我们的C#网络抓取教程以学习如何使用IronWebScraper创建高级网络抓取器。

了解如何使用 C# 抓取在线电影网站数据

直接来自我们开发团队的人工支持

无论是产品、集成还是授权问题，Iron 产品开发团队随时准备回答您所有问题。立即联系并与 Iron 开始对话，以便在您的项目中充分利用我们的库。

提问

强大的抓取引擎掌控在您手中

只需编写一个C#网页抓取器类即可将成千上万甚至百万网页抓取为C#类实例、JSON或下载文件。IronWebScraper允许您编写简洁、线性的工作流程，模拟人类浏览行为。IronWebScraper将作为一群虚拟网络浏览器并行运行您的代码，既有礼貌又具容错性。

从文档开始

简单、灵活的逻辑

必须编程IronWebScraper以了解如何处理它遇到的每种类型的页面。这是通过使用CSS选择器或XPath表达式以非常简洁的方式实现的，并且可以在C#中完全自定义。这种自由让您可以决定在网站上抓取哪些页面，以及对抓取的数据进行什么操作。每种方法都可以在Visual Studio中干净地调试和观看。

跟随教程