C# Web Kazıyıcı

VBC#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

C# Web Kazıyıcı

IronWebScraper, C# kodunu kullanarak web sitelerinden veri ve dosyaları çıkarmak için güçlü bir çerçeve sunar.

NuGet kullanarak IronWebScraper'ı Projenize yükleyin.
WebScraper sınıfını genişleterek bir sınıf oluşturun.
En az bir URL'yi ayrıştırmak için Request yöntemini kullanan bir Init yöntemi oluşturun.
İstekleri işlemek için bir Parse yöntemi oluşturun ve gerçekten Request daha fazla sayfa. HTML elementleri ile jQuery tarzı CSS seçiciler kullanarak çalışmak için response.Css kullanın.
Uygulamanızda, web tarama sınıfınızın bir örneğini oluşturun ve Start(); yöntemini çağırın.
Gelişmiş web tarayıcıları oluşturmayı öğrenmek için C# web kazıma eğitimlerimizi okuyun.