Die C# Webscraping-Bibliothek

Gehen Sie über das grundlegende HTML-Parsing hinaus. Holen Sie sich automatisiertes Web Scraping for .NET 10 mit Multithreading, das strukturierte Daten in großem Umfang extrahiert und exportiert.

Gratis testen Lizenzierung

Scrape mit CSS-Selektoren, XPath und JavaScript-Rendering
Multithreading mit Hunderten von gleichzeitigen Anfragen
Unterstützung von Drosselung, Proxies, Benutzeragenten und robots.txt
Kostenlos 30-Tage-Testversion, voller Funktionsumfang, keine Kreditkarte

C# Web-Scraper

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

Neuigkeiten:Changelog

Plattformübergreifende Unterstützung

Entworfen für C#, F# & VB.NET, die auf .NET 10, 9, 8, 7, 6, 5, Core, Standard oder Framework laufen

Warum IronWebScraper

Kratzen Sie Tausende von Seiten aus einer einzigen C#-Klasse. CSS-Selektoren, XPath, JavaScript-Rendering, virtuelle Identitäten und Höflichkeitskontrollen in einer Bibliothek.

Umfassende Scraping-Fähigkeiten

Parsen Sie mit CSS-Selektoren oder XPath-Ausdrücken; jQuery-ähnliche Syntax.
Rendern Sie JavaScript-Seiten, nicht nur statisches HTML.
Ausgabe in C#-Klasseninstanzen, JSON oder heruntergeladenen Dateien.

Ergebnis: Eine Bibliothek deckt jeden Scraping-Workflow ab, den Ihre App jemals benötigen wird.

In 5 Minuten einsatzbereit

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ 5-Minuten-Schnellstarts.
Einfache API: Request(url, Parse), response.Css(".selector"), Scrape(data).
Intelligente Standardwerte: Multithreading-, Höflichkeits- und Caching-Verwaltung durch das Framework.

Ergebnis: Liefern Sie einen Scraper in diesem Sprint, nicht im nächsten Quartal.

Enterprise

.NET 10, Core, Standard, or Framework
C#, VB.NET, F# unterstützt. DigiCert signierte Binärdateien.
Einsatz überall: Windows, Linux, macOS, Docker, Azure, AWS.

Ergebnis: Skalieren Sie von einem einzigen Blog-Crawl auf Millionen von Seiten, ohne Ihr Threading-Modell neu zu schreiben.

Höflich, belastbar und auditfreundlich

Drosselung, Proxy-Unterstützung, Benutzeragenten und Einhaltung von robots.txt eingebaut.
Virtuelle Nutzeridentitäten: Pro-Anfrage-Benutzeragent, Cookies, Logins und IP.
Auto-gespeicherte Jobs setzen nach Ausnahmen, Abstürzen oder Stromausfällen fort.

View Code Examples

Entwicklerorientierter Support & Lizenzierung

Unbefristete Lizenz: einmal kaufen, für immer nutzen. Optionale Updates und Verlängerungen.
24/5 Ingenieur-Unterstützung(24/7 im Premium). Echte Menschen, durchschnittliche Chat-Antwort <1 Minute.
30-tägige Geld-zurück-Garantie. Nicht die richtige Passform? Volle Rückerstattung, keine Fragen.

Chat With an Engineer

Für Erbauer

Funktionen, die Sie tatsächlich verwenden werden:
- CSS-Selektoren & XPath
- multithreaded crawling
- Proxy- & User-Agent-Rotation
- Virtuelle Benutzeridentitäten
- auto-resume on crash
- JavaScript-Wiedergabe
- Drosselung & Höflichkeit
- Einhaltung von robots.txt
- Aktionswiederholung (offline)
- JSON- oder Klassen-Ausgabe
Funktioniert überall: Windows, Linux, macOS, Docker, Azure, AWS.

(30 days, fully-functional product)

Für Käufer

Vertrauen von Millionen von Ingenieuren in der Iron Suite.
Entwickelt für echte Arbeitslasten: Systemmigrationen, Wettbewerbsanalyse, Suchindizierung, Data Mining.
Beschaffungsfreundlich: Unbefristete Lizenz, optionale Verlängerungen, Rechnung verfügbar, mehrere Zahlungsmöglichkeiten (inkl. lokal: Amazon Pay, Alipay, Apple Pay, IDEAL, SEPA, ACH).
30-tägige Geld-zurück-Garantie.

See Licensing

Das Vertrauen von Millionen von Ingenieuren weltweit

Erste Schritte: C#-Codebeispiele

C# Web-Scraper

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper bietet ein leistungsstarkes Framework zum Extrahieren von Daten und Dateien von Websites mithilfe von C#-Code.

Installieren Sie IronWebScraper in Ihrem Projekt über NuGet.
Erstellen Sie eine Klasse, die WebScraper erweitert.
Erstellen Sie eine Init-Methode, die die Request-Methode verwendet, um mindestens eine URL zu analysieren.
Erstellen Sie eine Parse-Methode, um die Anfragen zu verarbeiten, und tatsächlich Request weitere Seiten. Verwenden Sie response.Css, um mit HTML-Elementen unter Verwendung von jQuery-ähnlichen CSS-Selektoren zu arbeiten.
Erstellen Sie in Ihrer Anwendung eine Instanz Ihrer Web-Scraping-Klasse und rufen Sie die Start();-Methode auf.
Lesen Sie unsere C# Webscraping-Tutorials, um zu lernen, wie man erweiterte Webcrawler mit IronWebScraper erstellt.

Erfahren Sie, wie Sie mit C# Webseiten von Filmen auslesen können.

Menschliche Unterstützung direkt von unserem Entwicklungsteam

Egal, ob es sich um Produkt-, Integrations- oder Lizenzanfragen handelt, das Iron-Produktentwicklungsteam steht zur Verfügung, um all Ihre Fragen zu unterstützen. Nehmen Sie Kontakt auf und beginnen Sie einen Dialog mit Iron, um unsere Bibliothek in Ihrem Projekt optimal zu nutzen.

Frage stellen

Mächtige Scraping-Engine Unter Ihrer Kontrolle

Schreiben Sie einfach eine einzelne C# Web-Scraper-Klasse, um Tausende oder sogar Millionen von Webseiten in C# Klasseninstanzen, JSON oder heruntergeladene Dateien zu scrapen. IronWebScraper ermöglicht Ihnen, prägnante, lineare Workflows zu codieren, die menschliches Browsing-Verhalten simulieren. IronWebScraper führt Ihren Code als Schwarm virtueller Webbrowser aus, massiv parallel geschaltet, dennoch höflich und fehlertolerant.

Starten Sie mit der Dokumentation

Einfache, flexible Logik

IronWebScraper muss programmiert werden, um zu wissen, wie jede „Art“ von Seite behandelt werden soll, der sie begegnet. Dies erfolgt auf sehr prägnante Weise mit CSS-Selektoren oder XPath-Ausdrücken und kann in C# vollständig angepasst werden. Diese Freiheit ermöglicht es Ihnen zu entscheiden, welche Seiten innerhalb einer Website gescrapt werden sollen und was mit den extrahierten Daten gemacht werden soll. Jede Methode kann in Visual Studio sauber debuggt und beobachtet werden.

Einem Tutorial folgen

Schnelles und höfliches Verhalten

IronWebScraper befasst sich mit Multithreading und Webanfragen, um Hunderte von gleichzeitigen Threads zu ermöglichen, ohne dass der Entwickler sie verwalten muss. Die Höflichkeit kann eingestellt werden, um Anfragen zu drosseln, wodurch das Risiko einer übermäßigen Belastung der Zielwebserver verringert wird.

Mit WebScraper einsatzbereit

Virtuelle Benutzeridentitäten erstellen

IronWebScraper kann eine oder mehrere „Identitäten“ verwenden - Sitzungen, die reale menschliche Anforderungen simulieren. Jede Anfrage kann programmatisch oder zufällig ihre eigene Identität, Benutzeragent, Cookies, Logins und sogar IP-Adressen zuweisen. Anfragen werden mit einer Kombination aus URL, Parsemethode und Post-Variablen als automatisch eindeutig eingestellt.

See API Reference

Action Replay

IronWebScraper verwendet erweitertes Caching, um Entwicklern zu ermöglichen, ihren Code „im laufenden Betrieb“ zu ändern und jede vorherige Anfrage erneut abzuspielen, ohne das Internet zu kontaktieren. Jeder Scraping-Job wird automatisch gespeichert und kann im Falle einer Ausnahme oder eines Stromausfalls fortgesetzt werden.

WebScraper Setup-Anleitungen

Visual Studio-Bibliothek für PDF-Erstellung und Inhaltsbearbeitung.

Schnelle Installation mit Microsoft Visual Studio

IronWebScraper stellt Ihnen Web-Scraping-Tools schnell mit einem Visual Studio-Installationsprogramm zur Verfügung. Egal, ob Sie direkt über NuGet in Visual Studio installieren oder die DLL herunterladen, Sie sind im Handumdrehen eingerichtet. Nur eine DLL und keine Abhängigkeiten.

PM > Install-Package IronWebScraper DLL herunterladen

Unterstützt:

.NET Webscraping Community Tutorials

Tutorial + Code-Beispiele Webscraping in .NET | VB.NET & ASP.NET PDF

VBC#ASP.NET

Web Scraping in C# und VB.NET Projekten

Sehen Sie, wie Ahmed IronWebScraper in seinen Projekten verwendet, um Inhalte von einer Website auf eine andere zu migrieren. Beispielprojekte und Code werden für das Scraping von E-Commerce- und Blog-Websites bereitgestellt