Soporte multiplataforma

Diseñado para C#, F# Y VB.NET funcionando en .NET 8, 7, 6, Core, Estándar o Framework

NET Logotipo
Logotipo de Visual Studio Logotipo de Visual Studio
Logotipo de NuGet Logotipo de NuGet
ReSharper
Logotipo de Windows
Logotipo de Linux
Logotipo Mac
Logotipo de Docker Logotipo de Docker
Logotipo Azure Logotipo Azure
Logotipo de AWS Logotipo de AWS

Póngase en marcha: Ejemplos de código C

C# Web Scraper
using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}
Imports IronWebScraper

Public Class Program
	Public Shared Sub Main(ByVal args() As String)
		Dim ScrapeJob = New BlogScraper()
		ScrapeJob.Start()
	End Sub
End Class

Public Class BlogScraper
	Inherits WebScraper

	Public Overrides Sub Init()
		LoggingLevel = LogLevel.All
		Request("https://www.zyte.com/blog/", AddressOf Parse)
	End Sub

	Public Overrides Sub Parse(ByVal response As Response)
		For Each title_link As HtmlNode In response.Css(".oxy-post-title")
			Dim strTitle As String = title_link.TextContentClean
			Scrape(New ScrapedData() From {
				{ "Title", strTitle }
			})
		Next title_link

		If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
			Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
			Request(next_page, AddressOf Parse)
		End If
	End Sub
End Class

IronWebScraper proporciona un potente marco para extraer datos y archivos de sitios web utilizando código C#.

  1. Instale IronWebScraper en su proyecto utilizando NuGet
  2. Crear una clase que extienda WebScraper.
  3. Crea un método Init que utilice el método Request para analizar al menos una URL.
  4. Crear un método Parse para procesar las peticiones, y de hecho Request más páginas. Utilizar response.Css para trabajar con elementos HTML utilizando selectores CSS de estilo jQuery.
  5. En su aplicación, cree una instancia de su clase web scraping y llame al comando `Start()Método
  6. Lea nuestro Tutoriales de webscraping en C para aprender a crear rastreadores web avanzados con IronWebScraper

Apoyo humano directo de nuestro equipo de desarrollo

Ya se trate de consultas sobre productos, integración o licencias, el equipo de desarrollo de productos de Iron está a su disposición para responder a todas sus preguntas. Póngase en contacto e inicie un diálogo con Iron para sacar el máximo partido de nuestra biblioteca en su proyecto.

Formule una pregunta

Potente motor de raspado bajo su control

Simplemente escriba una sola clase C# web-scraper para scrapear miles o incluso millones de páginas web en Instancias de Clase C#, JSON o Archivos Descargados. IronWebScraper le permite codificar flujos de trabajo concisos y lineales simulando el comportamiento de navegación humano. IronWebScraper ejecutará su código como un enjambre de navegadores web virtuales, masivamente paralelos, pero educados y tolerantes a fallos.

Empezar con la documentación

Lógica sencilla y flexible

IronWebScraper debe ser programado para saber cómo manejar cada "tipo" de página que encuentra. Esto se consigue de forma muy concisa utilizando selectores CSS o expresiones XPath y puede personalizarse completamente en C#. Esta libertad le permite decidir qué páginas raspar dentro de un sitio web y qué hacer con los datos extraídos. Cada método puede depurarse y observarse perfectamente en Visual Studio.

Seguir un tutorial

Comportamiento rápido y educado

IronWebScraper se ocupa del multithreading y de las peticiones web para permitir cientos de hilos concurrentes sin que el desarrollador tenga que gestionarlos. Politeness puede configurarse para acelerar las solicitudes, reduciendo así el riesgo de carga excesiva en los servidores web de destino.

En marcha con WebScraper

Crear identidades de usuario virtuales

IronWebScraper puede utilizar una o múltiples "identidades" - sesiones que simulan peticiones humanas del mundo real. Cada solicitud puede asignar de forma programática o aleatoria su propia identidad, agente de usuario, cookies, inicios de sesión e incluso direcciones IP. Las peticiones se configuran como auto-únicas con una combinación de URL, método de análisis y variables post.

See API Reference

Repetición de la acción

IronWebScraper utiliza el almacenamiento en caché avanzado para permitir a los desarrolladores cambiar su código "sobre la marcha" y reproducir cada solicitud anterior sin contactar con Internet. Cada trabajo de scrape se guarda automáticamente y se puede reanudar en caso de excepción o corte de energía.

Instrucciones de instalación de WebScraper
Biblioteca de Visual Studio para la creación de PDF y la edición de contenidos.

Instalación rápida con Microsoft Visual Studio

IronWebScraper pone las herramientas de Web Scraping en sus propias manos rápidamente con un instalador de Visual Studio. Ya sea instalando directamente desde NuGet dentro de visual studio o descargando la DLL, estarás configurado en poco tiempo. Sólo una DLL y sin dependencias.

PM > Install-Package IronWebScraper Descargar DLL
Soportes:
  • .NET Framework 4.0 y superior compatible con C#, VB, F#
  • Microsoft Visual Studio. Icono IDE de desarrollo .NET
  • Soporte del instalador NuGet para Visual Studio
  • Asistente de lenguaje JetBrains ReSharper C# compatible
  • Compatible con la plataforma de alojamiento Microsoft Azure C# .NET

Tutoriales de la comunidad .NET Webscraping

Tutorial + Ejemplos de código Webscraping en .NET | VB.NET & ASP.NET PDF

VB C# ASP.NET

Proyectos de Web Scraping en C# y VB.NET

Vea cómo Ahmed utiliza IronWebScraper en sus proyectos para migrar contenidos de un sitio a otro. Proyectos de ejemplo y código proporcionado para raspar sitios web de comercio electrónico y blogs.

Ahmed Aboelmagd Ingeniero de software .NET Ver el tutorial de WebScraping de Ahmed
Nuestros clientes utilizan IronWebScraper con...

Sistemas contables y financieros

  • # Recibos
  • # Informes
  • # Impresión de facturas
Añada compatibilidad con PDF a los sistemas de contabilidad y finanzas ASP.NET

Digitalización empresarial

  • # Documentación
  • # Pedidos & Etiquetado
  • # Sustitución del papel
Casos prácticos de digitalización empresarial en C#

Gestión de contenidos empresariales

  • # Producción de contenidos
  • # Gestión de documentos
  • # Distribución de contenidos
.NET CMS Soporte PDF

Aplicaciones de datos e informes

  • # Seguimiento del rendimiento
  • # Mapa de tendencias
  • # Informes
Informes PDF en C#
Únase a ellos hoy mismo
Desarrolladores de componentes .NET para empresas de Iron Software

Miles de empresas, gobiernos, PYME y desarrolladores confían en los productos de software de Iron.

El equipo de Iron cuenta con más de 10 años de experiencia en el mercado de componentes de software .NET.

Icono de cliente de Iron Software
Icono de cliente de Iron Software
Icono de cliente de Iron Software
Icono de cliente de Iron Software
Icono de cliente de Iron Software
Icono de cliente de Iron Software
Icono de cliente de Iron Software
Icono de cliente de Iron Software

Ingeniería de primera clase,
Asistencia 24 horas

Hablar con un experto

¿Listo para empezar? Versión: 2024.6 recién publicada

Descarga gratuita de NuGet Descargas totales: 83,908
Ver licencias >