C# 웹 스크래퍼

VBC#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

C# 웹 스크래퍼

IronWebScraper는 C# 코드를 사용하여 웹사이트에서 데이터와 파일을 추출하는 강력한 프레임워크를 제공합니다.

NuGet 사용하여 프로젝트에 IronWebScraper를 설치합니다.
WebScraper을(를) 확장하는 클래스를 생성합니다.
최소한 하나의 URL을 구문 분석하기 위해 Request 메서드를 사용하는 Init 메서드를 만드세요.
요청을 처리하기 위한 Parse 메서드를 생성하고, 확실히 Request 페이지를 더 만듭니다. response.Css을(를) 사용하여 jQuery 스타일의 CSS 선택자로 HTML 요소를 조작하세요.
응용 프로그램에서 웹 스크래핑 클래스의 인스턴스를 생성하고 Start(); 메서드를 호출합니다.
우리 C# 웹 스크래핑 튜토리얼을 읽고, IronWebScraper를 사용하여 고급 웹 크롤러를 만드는 방법을 배워보십시오.