La Biblioteca de Webscraping C#

Name: IronWebScraper
Brand: Iron Software
Availability: InStock
Rating: 4.72 (37 reviews)

Vaya más allá del análisis sintáctico básico de HTML. Obtenga raspado web automatizado para .NET 10 con multihilo que extrae y exporta datos estructurados a escala.

Prueba gratis Licencias

Scrape usando selectores CSS, XPath y renderizado JavaScript
Multithreading con cientos de peticiones simultáneas
Soporte throttling, proxies, agentes de usuario y robots.txt
Gratis 30 días de prueba, funciones completas, sin tarjeta de crédito

C# Web Scraper

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

Ver lo nuevo:Registro de Cambios

Compatibilidad multiplataforma

Diseñado para C#, F#, y VB.NET funcionando en .NET 10, 9, 8, 7, 6, 5, Core, Standard, o Framework

¿Por qué IronWebScraper?

Raspa miles de páginas desde una sola clase C#. Selectores CSS, XPath, renderizado de JavaScript, identidades virtuales y controles de cortesía en una sola biblioteca.

Amplias capacidades de raspado

Analiza con selectores CSS o expresiones XPath; sintaxis estilo jQuery.
Renderiza páginas de JavaScript, no solo HTML estático.
Salida a instancias de clase C#, JSON o archivos descargados.

Resultado: Una biblioteca cubre cada flujo de trabajo de raspado que tu aplicación necesitará.

En marcha en 5 minutos

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ Inicios rápidos de 5 minutos.
API simple: Request(url, Parse), response.Css(".selector"), Scrape(data).
Configuraciones inteligentes: multihilo, cortesía y caché manejados por el marco.

Resultado: Entrega un raspador este sprint, no el próximo trimestre.

Rendimiento empresarial

.NET 10, Core, Standard, or Framework
Soporte para C#, VB.NET, F#. Binarios firmados por DigiCert.
Se despliega en cualquier lugar: Windows, Linux, macOS, Docker, Azure, AWS.

Resultado: Escala desde un solo rastreo de blog a millones de páginas sin reescribir tu modelo de subprocesos.

Cortés, resiliente y amigable con auditorías

Limitación, soporte de proxy, agentes de usuario y cumplimiento de robots.txt incorporados.
Identidades de usuario virtuales: Agente de usuario por solicitud, cookies, inicios de sesión e IP.
Los trabajos guardados automáticamente se reanudan después de excepciones, bloqueos o cortes de energía.

View Code Examples

Soporte y licencias orientadas al desarrollador

Licencia perpetua: compra una vez, úsalo para siempre. Actualizaciones y renovaciones opcionales.
asistencia técnica 24/5 (24/7 en Premium). Humanes reales, respuesta de chat media <1 min.
Garantía de 30 días. ¿No es la opción adecuada? Reembolso completo, sin preguntas.

Chat With an Engineer

Para constructores

Características que realmente usará:
- selectores CSS y XPath
- multithreaded crawling
- rotación de proxy y agente de usuario
- identidades de usuario virtual
- auto-resume on crash
- renderizado de JavaScript
- limitación y cortesía
- cumplimiento de robots.txt
- repetición de acción (offline)
- salida JSON o clase
Funciona en todas partes: Windows, Linux, macOS, Docker, Azure, AWS.

(30 days, fully-functional product)

Para compradores

Confiado por millones de ingenieros en toda la Iron Suite.
Construido para cargas de trabajo reales: migraciones de sistema, análisis competitivo, indexación de búsqueda, minería de datos.
Amigable con el aprovisionamiento: licencia perpetua, renovaciones opcionales, factura disponible, múltiples opciones de pago (incluyendo locales: Amazon Pay, Alipay, Apple Pay, IDEAL, SEPA, ACH).
Garantía de devolución de dinero de 30 días.

See Licensing

En el que confían millones de ingenieros de todo el mundo

Comience: ejemplos de código en C#

C# Web Scraper

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper proporciona un potente framework para extraer datos y archivos de sitios web usando C#.

Instala IronWebScraper en tu proyecto usando NuGet.
Crea una clase que extienda WebScraper.
Crea un método Init que use el método Request para analizar al menos una URL.
Crea un método Parse para procesar las solicitudes, y de hecho Request más páginas. Usa response.Css para trabajar con elementos HTML usando selectores CSS estilo jQuery.
En tu aplicación, crea una instancia de tu clase de scraping web y llama al método Start();.
Lea nuestros tutoriales de scraping web en C# para aprender cómo crear rastreadores web avanzados usando IronWebScraper.

Descubra cómo extraer datos de sitios web de películas en línea con C#

Soporte Humano Directo Desde Nuestro Equipo de Desarrollo

Ya sean consultas sobre productos, integración o licencias, el equipo de desarrollo de productos Iron está disponible para apoyar todas tus preguntas. Ponerse en contacto y comenzar un diálogo con Iron para aprovechar al máximo nuestra biblioteca en tu proyecto.

Hacer una pregunta

Potente motor de raspado bajo tu control

Solo escribe una única clase de web scraper en C# para raspar miles o incluso millones de páginas web en instancias de clase C#, JSON o archivos descargados. IronWebScraper te permite codificar flujos de trabajo concisos y lineales que simulan el comportamiento de navegación humano. IronWebScraper ejecutará tu código como un enjambre de navegadores web virtuales, masivamente en paralelo, pero cortés y tolerante a fallas.

Comienza con la documentación

Lógica simple y flexible

IronWebScraper debe programarse para saber cómo manejar cada "tipo" de página que encuentra. Esto se logra de manera muy concisa utilizando selectores CSS o expresiones XPath y puede personalizarse completamente en C#. Esta libertad te permite decidir qué páginas raspar dentro de un sitio web y qué hacer con los datos extraídos. Cada método puede depurarse y observarse ordenadamente en Visual Studio.

Sigue un tutorial

Comportamiento rápido y cortés

IronWebScraper maneja el multihilo y las solicitudes web para permitir cientos de hilos concurrentes sin que el desarrollador necesite gestionarlos. Se puede establecer la cortesía para limitar las solicitudes, reduciendo así el riesgo de carga excesiva en los servidores web de destino.

Puesta en marcha con WebScraper

Crear identidades de usuario virtuales

IronWebScraper puede usar una o múltiples "identidades" - sesiones que simulan solicitudes humanas del mundo real. Cada solicitud puede asignar programáticamente o aleatoriamente su propia Identidad, Agente de Usuario, Cookies, Inicios de Sesión e incluso direcciones IP. Las solicitudes se configuran como autouni que con una combinación de URL, método de análisis y variables post.

See API Reference

Repetición de acciones

IronWebScraper utiliza almacenamiento en caché avanzado para permitir a los desarrolladores cambiar su código "sobre la marcha" y repetir cada solicitud anterior sin contactar con internet. Cada trabajo de raspado se guarda automáticamente y puede reanudarse en caso de una excepción o un corte de energía.

Instrucciones de configuración de WebScraper

Biblioteca de Visual Studio para la creación y edición de contenido PDF.

Instalación rápida con Microsoft Visual Studio

IronWebScraper pone las herramientas de Web Scraping en tus propias manos rápidamente con un instalador de Visual Studio. Ya sea instalando directamente desde NuGet dentro de Visual Studio o descargando el DLL, estarás configurado en poco tiempo. Solo un DLL y sin dependencias.

PM > Install-Package IronWebScraper Descargar DLL

Soporta:

Tutoriales comunitarios de Webscraping en .NET

Tutorial + Ejemplos de código Webscraping en .NET | VB.NET & ASP.NET PDF

VBC#ASP.NET

Web Scraping en proyectos de C# y VB.NET

Ve cómo Ahmed utiliza IronWebScraper en sus proyectos para migrar contenido de un sitio a otro. Proyectos de muestra y código proporcionados para raspar sitios de ecommerce y blogs