Biblioteka web scrapingu dla C#

Wykraczaj poza podstawowe parsowanie HTML. Uzyskaj zautomatyzowany web scraping dla .NET 10 z wielowątkowością, która ekstranuje i eksportuje dane strukturalne na skalę.

Bezpłatna próba Licencjonowanie

Scrapuj używając selektorów CSS, XPath i renderowania JavaScript
Wielowątkowość z setkami jednoczesnych żądań
Wsparcie dla throttlingu, proxy, agentów użytkowników i robots.txt
Bezpłatna 30-dniowa wersja próbna, pełne funkcje, brak karty kredytowej

Drapacz sieciowy C#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

Zobacz, co nowego:Lista zmian

Wsparcie międzyplatformowe

Zaprojektowany dla C#, F#, & VB.NET działających na .NET 10, 9, 8, 7, 6, 5, Core, Standard lub Framework

Dlaczego IronWebScraper

Zeskrob tysiące stron z jednej klasy C#. Selektory CSS, XPath, renderowanie JavaScript, wirtualne tożsamości i kontrola uprzejmości w jednej bibliotece.

Szerokie możliwości skrobania

Parsuj za pomocą selektorów CSS lub wyrażeń XPath; składnia w stylu jQuery.
Renderuj strony JavaScript, a nie tylko statyczne HTML.
Wyjście do instancji klasy C#, JSON lub pobranych plików.

Wynik: Jedna biblioteka obejmuje każdy potrzebny przepływ skrobania Twojej aplikacji.

Uruchomione w 5 minut

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ 5-minutowe szybkie starty.
Proste API: Request(url, Parse), response.Css(".selector"), Scrape(data).
Domyślne ustawienia: wielowątkowość, uprzejmość i cache są obsługiwane przez framework.

Wynik: Dostarcz skrobak w tym sprincie, a nie w następnym kwartale.

Wydajność Enterprise

.NET 10, Core, Standard, or Framework
C#, VB.NET, F# obsługiwane. Binaria podpisane przez DigiCert.
Działa wszędzie: Windows, Linux, macOS, Docker, Azure, AWS.

Wynik: Skaluj od jednego przeczołgania bloga do milionów stron bez przepisywania modelu wątków.

Uprzejmy, odporny i przyjazny audytom

Wbudowane ograniczenie, obsługa proxy, agenci użytkowników i zgodność z robots.txt.
Wirtualne tożsamości użytkowników: per-request User Agent, cookies, loginy i IP.
Automatycznie zapisywane zadania wznawiają się po wyjątkach, awariach lub przerwach w zasilaniu.

View Code Examples

Wsparcie i licencjonowanie skierowane na programistów

Licencja wieczysta: kup raz, używaj na zawsze. Opcjonalne aktualizacje i odnowienia.
Wsparcie inżynierskie 24/5 (24/7 w Premium). Prawdziwi ludzie, średni czas odpowiedzi na czacie <1 min.
30-dniowa gwarancja zwrotuNie pasuje? Pełny zwrot, bez pytań.

Chat With an Engineer

Dla budowniczych

Funkcje, których naprawdę użyjesz:
- Selektory CSS i XPath
- multithreaded crawling
- rotacja proxy i agenta użytkownika
- wirtualne tożsamości użytkowników
- auto-resume on crash
- Renderowanie JavaScript
- kontrola przepustowości i grzeczność
- Zgodność z robots.txt
- nagranie akcji (offline)
- wyjście JSON lub klasy
Działa wszędzie: Windows, Linux, macOS, Docker, Azure, AWS.

(30 days, fully-functional product)

Dla kupujących

Zaufany przez miliony inżynierów w całym Iron Suite.
Zbudowany do rzeczywistych obciążeń: migracje systemów, analiza konkurencyjna, indeksowanie wyszukiwania, eksploracja danych.
Przyjazny dla działu zakupów: wieczysta licencja, opcjonalne odnowienia, dostępna faktura, wiele opcji płatności (w tym lokalne: Amazon Pay, Alipay, Apple Pay, IDEAL, SEPA, ACH).
30-dniowa gwarancja zwrotu pieniędzy.

See Licensing

Zaufany przez miliony inżynierów na całym świecie

Zacznij: Przykłady kodu w języku C#

Drapacz sieciowy C#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper zapewnia potężny framework do pobierania danych i plików ze stron internetowych za pomocą kodu C#.

Zainstaluj IronWebScraper do swojego projektu używając NuGet.
Utwórz klasę rozszerzającą WebScraper.
Utwórz metodę Init, która używa metody Request do parsowania co najmniej jednego URL.
Utwórz metodę Parse, aby przetworzyć żądania, a także Request więcej stron. Użyj response.Css do pracy z elementami HTML przy użyciu selektorów CSS w stylu jQuery.
W swojej aplikacji utwórz instancję swojej klasy do web scrapingu i wywołaj metodę Start();.
Przeczytaj nasz C# web scraping tutorials, aby nauczyć się tworzyć zaawansowane web crawlers używając IronWebScraper.

Odkryj, jak skrobać witryny online z filmami za pomocą C#.

Bezpośrednie wsparcie od naszego zespołu deweloperskiego

Czy to pytania dotyczące produktu, integracji czy licencjonowania, zespół deweloperski produktów Iron jest dostępny, aby wspierać wszystkie Twoje pytania. Skontaktuj się i nawiąż dialog z Iron, aby w pełni wykorzystać naszą bibliotekę w swoim projekcie.

Zadaj pytanie

Potężny silnik scrapingu pod Twoją kontrolą

Wystarczy napisać jedną klasę C# web scrapera, aby przekonwertować tysiące lub nawet miliony stron internetowych na Instancje Klasy C#, JSON lub Pliki do Pobrania. IronWebScraper pozwala programować zwięzłe, liniowe przepływy pracy symulujące ludzkie zachowanie przeglądania. IronWebScraper uruchomi Twój kod jako rój wirtualnych przeglądarek sieciowych, masywnie zrównoleglonych, ale grzecznych i odpornych na błędy.

Rozpocznij z dokumentacją

Prosta, elastyczna logika

IronWebScraper musi być zaprogramowany do obsługi każdego „typu” strony, na którą natrafi. Osiąga się to w bardzo zwięzły sposób przy użyciu selektorów CSS lub wyrażeń XPath i można je w pełni dostosować w C#. Ta swoboda pozwala zdecydować, które strony scrapować w obrębie witryny i co zrobić z wyekstrahowanymi danymi. Każdą metodę można debugować i oglądać dokładnie w Visual Studio.

Skorzystaj z poradnika

Szybkie i grzeczne zachowanie

IronWebScraper radzi sobie z wielowątkowością i żądaniami internetowymi, umożliwiając setki jednoczesnych wątków bez potrzeby zarządzania nimi przez dewelopera. Grzeczność można ustawić, aby ograniczyć żądania, zmniejszając ryzyko nadmiernego obciążenia docelowych serwerów internetowych.

Działa już z WebScraper

Twórz wirtualne tożsamości użytkowników

IronWebScraper może używać jednej lub wielu „tożsamości” - sesji symulujących rzeczywiste żądania użytkowników. Każde żądanie może programowo lub losowo przydzielać swoją tożsamość, agenta użytkownika, ciasteczka, loginy, a nawet adresy IP. Żądania są ustawione jako automatycznie unikalne przy użyciu kombinacji URL, metody parsowania i zmiennych POST.

See API Reference

Odtwarzanie akcji

IronWebScraper wykorzystuje zaawansowane buforowanie, aby umożliwić deweloperom zmianę kodu „na żywo” i ponowne odtworzenie każdego poprzedniego żądania bez kontaktu z internetem. Każdy zadanie scrapingu jest automatycznie zapisywane i można je wznowić w przypadku wyłączenia lub awarii zasilania.

Instrukcje konfiguracji WebScraper

Biblioteka dla Visual Studio do tworzenia plików PDF i edycji treści.

Szybka instalacja z Microsoft Visual Studio

IronWebScraper zapewnia szybki dostęp do narzędzi do web scrapingu za pomocą instalatora Visual Studio. Czy instalując bezpośrednio z NuGet w Visual Studio, czy pobierając DLL, skonfigurujesz się w mgnieniu oka. Tylko jeden DLL i brak zależności.

PM> Install-Package IronWebScraper Pobierz plik DLL

Obsługuje:

Poradniki społeczności do web scrapingu .NET

Poradnik + Przykłady Kodowania Webscrapingu w .NET | VB.NET i ASP.NET PDF

VBC#ASP.NET

Web Scraping w projektach C# i VB.NET

Zobacz, jak Ahmed wykorzystuje IronWebScraper w swoich projektach do migracji treści z jednej witryny na inną. Dostępne Szablony Projektów i Kod do scrapowania stron e-commerce i blogów