La bibliothèque de scraping Web C#

Allez au-delà de l'analyse HTML de base. Obtenez un scraping web automatisé pour .NET 10 avec multithreading qui extrait et exporte des données structurées à grande échelle.

Essai gratuit Licence

Scrape utilisant les sélecteurs CSS, XPath et le rendu JavaScript
Multithreading avec des centaines de requêtes simultanées
Support throttling, proxies, user agents, & robots.txt
Essai gratuit de 30 jours, fonctionnalités complètes, pas de carte de crédit

Scraper Web C#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

Voir les nouveautés :Changelog

Support multiplateforme

Conçu pour C#, F# et VB.NET fonctionnant sur .NET 10, 9, 8, 7, 6, 5, Core, Standard, ou Framework

Pourquoi IronWebScraper

Explorer des milliers de pages à partir d'une seule classe C#. Sélecteurs CSS, XPath, rendu JavaScript, identités virtuelles et contrôles de courtoisie dans une seule bibliothèque.

Gamme étendue de capacités d'exploration

Analyser avec des sélecteurs CSS ou des expressions XPath ; syntaxe à la jQuery.
Rendu des pages JavaScript, pas seulement du HTML statique.
Sortie vers des instances de classes C#, JSON ou fichiers téléchargés.

Résultat : Une bibliothèque couvre chaque flux de travail d'exploration dont votre application aura besoin.

Prêt et opérationnel en 5 minutes

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ Débuts rapides de 5 minutes.
API simple : Request(url, Parse), response.Css(".selector"), Scrape(data).
Paramètres par défaut intelligents : multi-threading, courtoisie et mise en cache gérés par le cadre.

Résultat : Livrez un scraper ce sprint, pas le prochain trimestre.

Performance de niveau entreprise

.NET 10, Core, Standard, or Framework
C#, VB.NET, F# pris en charge. Binaires signés DigiCert.
Déploiement partout : Windows, Linux, macOS, Docker, Azure, AWS.

Résultat : Évoluez d'un simple crawl de blog à des millions de pages sans réécrire votre modèle de threading.

Courtois, résilient et convivial pour l'audit

Limitation, support des proxys, agents utilisateurs et conformité robots.txt intégrés.
Identités d'utilisateurs virtuelles : User Agent par requête, cookies, connexions, et IP.
Reprise des tâches auto-sauvées après exceptions, plantages ou coupures de courant.

View Code Examples

Support & licences prioritaire pour les développeurs

Licence perpétuelle: achetez une fois, utilisez pour toujours. Mises à jour et renouvellements optionnels.
assistance technique 24/5 (24/7 en Premium). De vrais humains, réponse moyenne au chat <1 min.
Garantie de remboursement de 30 jours. Pas le bon ajustement ? Remboursement complet, sans questions.

Chat With an Engineer

Pour les bâtisseurs

Caractéristiques que vous utiliserez réellement :
- Sélecteurs CSS et XPath
- multithreaded crawling
- rotation de proxy et d'agent utilisateur
- identités d'utilisateurs virtuelles
- auto-resume on crash
- rendu de JavaScript
- limitation et courtoisie
- conformité robots.txt
- relecture d'actions (hors ligne)
- Sortie JSON ou classe
Fonctionne partout : Windows, Linux, macOS, Docker, Azure, AWS.

(30 days, fully-functional product)

Pour les acheteurs

Approuvé par des millions d'ingénieurs à travers la Iron Suite.
Conçu pour de vraies charges de travail : migrations système, analyse concurrentielle, indexation de recherche, extraction de données.
Achat favorable : licence perpétuelle, renouvellements optionnels, facture disponible, options de paiement multiples (incl. local : Amazon Pay, Alipay, Apple Pay, IDEAL, SEPA, ACH).
Garantie de remboursement de 30 jours.

See Licensing

Des millions d'ingénieurs dans le monde entier lui font confiance

Commencer : exemples de code C#

Scraper Web C#

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper fournit un framework puissant pour extraire des données et des fichiers de sites web à l'aide de code C#.

Installez IronWebScraper dans votre projet à l'aide de NuGet .
Créez une classe qui étend WebScraper.
Créez une méthode Init qui utilise la méthode Request pour analyser au moins une URL.
Créez une méthode Parse pour traiter les requêtes, et effectivement Request plus de pages. Utilisez response.Css pour travailler avec des éléments HTML en utilisant des sélecteurs CSS de style jQuery.
Dans votre application, créez une instance de votre classe d'extraction de données Web et appelez la méthode Start();.
Lisez nos tutoriels de scraping web C# pour apprendre à créer des crawlers web avancés en utilisant IronWebScraper.

Découvrez comment extraire des données de sites web de films en ligne avec C#

Support humain directement de notre équipe de développement

Que ce soit pour des questions sur le produit, l'intégration ou les licences, l'équipe de développement de produits Iron est à disposition pour répondre à toutes vos questions. Prenez contact et démarrez un dialogue avec Iron pour tirer le meilleur parti de notre bibliothèque dans votre projet.

Poser une question

Moteur de scraping puissant sous votre contrôle

Il suffit d'écrire une seule classe de scraper Web C# pour extraire des milliers, voire des millions de pages Web en instances de classe C#, JSON ou fichiers téléchargés. IronWebScraper vous permet de coder des flux de travail concis et linéaires simulant le comportement de navigation humaine. IronWebScraper exécutera votre code comme un essaim de navigateurs Web virtuels, massivement parallélisés, mais poli et tolérant aux fautes.

Commencer avec la documentation

Logique simple et flexible

IronWebScraper doit être programmé pour savoir comment gérer chaque “type” de page qu'il rencontre. Ceci est réalisé de manière très concise en utilisant des sélecteurs CSS ou des expressions XPath et peut être entièrement personnalisé en C#. Cette liberté vous permet de décider quelles pages scraper dans un site Web, et quoi faire avec les données extraites. Chaque méthode peut être déboguée et suivie proprement dans Visual Studio.

Suivre un tutoriel

Comportement rapide et poli

IronWebScraper gère le multithreading et les requêtes Web pour permettre des centaines de threads concurrents sans que le développeur ait à les gérer. La politesse peut être réglée pour moduler les requêtes, réduisant ainsi le risque de charge excessive sur les serveurs Web cibles.

Prêt à l'emploi avec WebScraper

Créer des identités d'utilisateur virtuelles

IronWebScraper peut utiliser une ou plusieurs “identités” - sessions qui simulent des demandes humaines réelles. Chaque demande peut assigner son propre Identité, Agent utilisateur, Cookies, Connexions et même adresses IP de manière programmatique ou aléatoire. Les demandes sont définies comme auto-uniques avec une combinaison d'URL, de méthode d'analyse et de variables post.

See API Reference

Action Replay

IronWebScraper utilise la mise en cache avancée pour permettre aux développeurs de modifier leur code “à la volée” et de rejouer chaque demande précédente sans contacter Internet. Chaque travail de scraping est automatiquement sauvegardé et peut être repris en cas d'exception ou de panne de courant.

Instructions de configuration de WebScraper

Bibliothèque Visual Studio pour la création et l'édition de contenu PDF.

Installation rapide avec Microsoft Visual Studio

IronWebScraper met les outils de scraping Web entre vos mains rapidement avec un installateur Visual Studio. Que ce soit en installant directement à partir de NuGet dans Visual Studio ou en téléchargeant la DLL, vous serez configuré en un rien de temps. Juste une DLL et sans dépendances.

PM > Install-Package IronWebScraper Télécharger DLL

Prend en charge :

Tutoriels communautaires de scraping Web .NET

Tutoriel + Exemples de code de scraping Web en .NET | VB.NET & ASP.NET PDF

VBC#ASP.NET

Scraping Web dans des projets C# et VB.NET

Voyez comment Ahmed utilise IronWebScraper dans ses projets pour migrer du contenu d'un site à un autre. Des projets et du code échantillons sont fournis pour le scraping de sites de commerce électronique et de blogs