C# Web Scraper

VBC#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

C# Web Scraper

IronWebScraper proporciona un potente framework para extraer datos y archivos de sitios web usando C#.

Instala IronWebScraper en tu proyecto usando NuGet.
Crea una clase que extienda WebScraper.
Crea un método Init que use el método Request para analizar al menos una URL.
Crea un método Parse para procesar las solicitudes, y de hecho Request más páginas. Usa response.Css para trabajar con elementos HTML usando selectores CSS estilo jQuery.
En tu aplicación, crea una instancia de tu clase de scraping web y llama al método Start();.
Lea nuestros tutoriales de scraping web en C# para aprender cómo crear rastreadores web avanzados usando IronWebScraper.