C#网页抓取库

突破基础HTML解析的局限。借助.NET 10的多线程技术，实现自动化网页抓取，大规模提取并导出结构化数据。

Scrape 使用 CSS 选择器、XPath 和 JavaScript 渲染
具有数百个同时请求的多线程
支持节流、代理、用户代理和 robots.txt
免费试用 30 天，功能齐全，无需信用卡

C# 网页抓取器

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

查看最新消息：变更日志

跨平台支持

为在.NET 10, 9, 8, 7, 6, 5, Core, Standard, or Framework上运行的C#, F#, & VB.NET而设计

为什么选择 IronWebScraper

从单个 C# 类中抓取成千上万的页面。CSS 选择器、XPath、JavaScript 渲染、虚拟身份和礼貌控件在一个库中。

广泛的抓取能力

using CSS 选择器或 XPath 表达式进行解析；jQuery 风格的语法。
渲染 JavaScript 页面，不仅是静态 HTML。
输出到 C# 类实例、JSON 或下载文件。

结果： 一个库涵盖您的应用程序所需的每个抓取工作流。

5 分钟内启动

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ 5分钟快速入门。
简单API：Request(url, Parse), response.Css(".selector"), Scrape(data).
智能默认设置：由框架处理多线程、礼貌性和缓存。

结果： 本季度内发布抓取器，而不是下季度。

Enterprise绩效

.NET 10，Core，Standard，或 Framework
支持C#，VB.NET，F#。DigiCert签署的二进制文件。
部署于任何地方：Windows、Linux、macOS、Docker、Azure、AWS。

结果： 从一次博客抓取扩展到数百万页面，而无需重写您的线程模型。

礼貌、弹性和审核友好

内置的限流、代理支持、用户代理和 robots.txt 合规性。
虚拟用户身份：每次请求的用户代理、cookies、登录和 IP。
自动保存的作业在出现异常、崩溃或掉电后恢复。

View Code Examples

以开发者为先的支持和许可

永久许可：一次购买，永久使用。可选更新和续订。
24/5 工程师支持（Premium中24/7）。真人，聊天响应中位数<1分钟。
30天退款保证不合适？全额退款，无需解释。

Chat With an Engineer

为建筑者

您将真正使用的功能：
- CSS 选择器 & XPath
- multithreaded crawling
- 代理 & 用户代理轮换
- 虚拟用户身份
- auto-resume on crash
- JavaScript渲染
- 限流 & 礼貌性
- robots.txt 合规
- 动作重放（离线）
- JSON 或类输出
适用于任何地方：Windows、Linux、macOS、Docker、Azure、AWS。

(30 days, fully-functional product)

购买者

被Iron Suite的数百万工程师信赖。
为真实工作负载构建：系统迁移、竞争分析、搜索索引、数据挖掘。
采购友好：永久许可证，可选续订，可开发票，多种支付选项（包括本地：Amazon Pay，支付宝，Apple Pay，IDEAL，SEPA，ACH）。
30 天退款保证。

See Licensing

深受全球数百万工程师的信赖

入门：C#代码示例

C# 网页抓取器

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper 提供了一个强大的框架来使用 C# 代码从网站中提取数据和文件。

使用NuGet将 IronWebScraper 安装到您的项目中。
创建一个扩展WebScraper的类。
创建一个Request方法解析至少一个URL。
创建一个Request更多页面。使用response.Css来使用jQuery风格的CSS选择器处理HTML元素。
在您的应用程序中，创建一个您自己的网页抓取类的实例并调用Start();方法。
阅读我们的C#网络抓取教程以学习如何使用IronWebScraper创建高级网络抓取器。

了解如何使用 C# 抓取在线电影网站数据

直接来自我们开发团队的人工支持

无论是产品、集成还是授权问题，Iron 产品开发团队随时准备回答您所有问题。立即联系并与 Iron 开始对话，以便在您的项目中充分利用我们的库。

提问

强大的抓取引擎掌控在您手中

只需编写一个C#网页抓取器类即可将成千上万甚至百万网页抓取为C#类实例、JSON或下载文件。IronWebScraper允许您编写简洁、线性的工作流程，模拟人类浏览行为。IronWebScraper将作为一群虚拟网络浏览器并行运行您的代码，既有礼貌又具容错性。

从文档开始

简单、灵活的逻辑

必须编程IronWebScraper以了解如何处理它遇到的每种类型的页面。这是通过使用CSS选择器或XPath表达式以非常简洁的方式实现的，并且可以在C#中完全自定义。这种自由让您可以决定在网站上抓取哪些页面，以及对抓取的数据进行什么操作。每种方法都可以在Visual Studio中干净地调试和观看。

跟随教程