C# Web-Scraper

VBC#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

C# Web-Scraper

IronWebScraper bietet ein leistungsstarkes Framework zum Extrahieren von Daten und Dateien von Websites mithilfe von C#-Code.

Installieren Sie IronWebScraper in Ihrem Projekt über NuGet.
Erstellen Sie eine Klasse, die WebScraper erweitert.
Erstellen Sie eine Init-Methode, die die Request-Methode verwendet, um mindestens eine URL zu analysieren.
Erstellen Sie eine Parse-Methode, um die Anfragen zu verarbeiten, und tatsächlich Request weitere Seiten. Verwenden Sie response.Css, um mit HTML-Elementen unter Verwendung von jQuery-ähnlichen CSS-Selektoren zu arbeiten.
Erstellen Sie in Ihrer Anwendung eine Instanz Ihrer Web-Scraping-Klasse und rufen Sie die Start();-Methode auf.
Lesen Sie unsere C# Webscraping-Tutorials, um zu lernen, wie man erweiterte Webcrawler mit IronWebScraper erstellt.