Support multiplateforme

Conçu pour C#, F#, & VB.NET en cours d'exécution .NET 8, 7, 6, Core, Standard ou Framework

NET Logo
Logo Visual Studio Logo Visual Studio
Logo NuGet Logo NuGet
ReSharper
Logo Windows
Logo Linux
Logo Mac
Logo Docker Logo Docker
Logo Azure Logo Azure
Logo AWS Logo AWS
Gratte-ciel en C#
using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}
Imports IronWebScraper

Public Class Program
	Public Shared Sub Main(ByVal args() As String)
		Dim ScrapeJob = New BlogScraper()
		ScrapeJob.Start()
	End Sub
End Class

Public Class BlogScraper
	Inherits WebScraper

	Public Overrides Sub Init()
		LoggingLevel = LogLevel.All
		Request("https://www.zyte.com/blog/", AddressOf Parse)
	End Sub

	Public Overrides Sub Parse(ByVal response As Response)
		For Each title_link As HtmlNode In response.Css(".oxy-post-title")
			Dim strTitle As String = title_link.TextContentClean
			Scrape(New ScrapedData() From {
				{ "Title", strTitle }
			})
		Next title_link

		If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
			Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
			Request(next_page, AddressOf Parse)
		End If
	End Sub
End Class

IronWebScraper fournit un cadre puissant pour extraire des données et des fichiers de sites web à l'aide du code C#.

  1. Installez IronWebscraper dans votre projet à l'aide de NuGet

  2. Créer une classe étendant WebScraper

  3. Créer une méthode Init qui utilise la méthode Request pour analyser au moins une URL.

  4. Créer une méthode Parse pour traiter les requêtes, et en effet Request plus de pages. Utiliser response.Css pour travailler avec des éléments HTML à l'aide de sélecteurs CSS de style jQuery

  5. Dans votre application, créez une instance de votre classe de web scraping et appelez la fonction Start(); méthode

  6. Lire notre Tutoriels C# sur le dépouillement des sites web pour apprendre à créer des robots d'indexation avancés à l'aide d'IronWebScraper

Soutien humain directement par notre équipe de développement

Qu'il s'agisse de questions sur les produits, l'intégration ou les licences, l'équipe de développement des produits Iron est à votre disposition pour répondre à toutes vos questions. Prenez contact et entamez un dialogue avec Iron pour tirer le meilleur parti de notre bibliothèque dans le cadre de votre projet.

Poser une question

Un puissant moteur de scraping sous votre contrôle

Il suffit d'écrire une seule classe C# de web-scraper pour récupérer des milliers, voire des millions de pages web dans des instances de classe C#, JSON ou des fichiers téléchargés. IronWebScraper vous permet de coder des flux de travail concis et linéaires simulant le comportement de navigation humain. IronWebScraper exécutera votre code sous la forme d'un essaim de navigateurs web virtuels, massivement mis en parallèle, tout en restant poli et tolérant aux pannes.

Commencer avec la documentation

Une logique simple et flexible

IronWebscraper doit être programmé pour savoir comment traiter chaque "type" de page qu'il rencontre. Cela se fait de manière très concise à l'aide de sélecteurs CSS ou d'expressions XPath et peut être entièrement personnalisé en C#. Cette liberté vous permet de décider quelles pages doivent être scrappées à l'intérieur d'un site web, et ce qu'il faut faire avec les données extraites. Chaque méthode peut être déboguée et observée proprement dans Visual Studio.

Suivre un tutoriel

Comportement rapide et poli

IronWebScraper gère le multithreading et les requêtes web pour permettre des centaines de threads simultanés sans que le développeur n'ait à les gérer. La politesse peut être définie pour limiter les demandes, réduisant ainsi le risque de charge excessive sur les serveurs web cibles.

Démarrer avec WebScraper

Créer des identités d'utilisateur virtuelles

IronWebscraper peut utiliser une ou plusieurs "identités" - des sessions qui simulent des demandes humaines réelles. Chaque demande peut se voir attribuer de manière programmatique ou aléatoire sa propre identité, son agent utilisateur, ses cookies, ses identifiants et même son adresse IP. Les requêtes sont définies comme auto-uniques par une combinaison d'URL, de méthodes d'analyse et de variables post.

See API Reference

Action Replay

IronWebscraper utilise une mise en cache avancée pour permettre aux développeurs de modifier leur code "à la volée" et de rejouer toutes les requêtes précédentes sans contacter l'internet. Chaque travail de scrape est sauvegardé automatiquement et peut être repris en cas d'exception ou de panne de courant.

Instructions d'installation de WebScraper
Bibliothèque Visual Studio pour la création de PDF et l'édition de contenu.

Installation rapide avec Microsoft Visual Studio

IronWebScraper met les outils de Web Scraping entre vos mains rapidement grâce à un installateur Visual Studio. Que vous installiez directement depuis NuGet dans Visual Studio ou que vous téléchargiez la DLL, vous serez prêt en un rien de temps. Une seule DLL et aucune dépendance.

PM > Installer le paquet IronWebscraper Télécharger la DLL
Soutient :
  • .NET Framework 4.0 et supérieur : C#, VB, F#
  • Icône Microsoft Visual Studio. icône de l'IDE de développement .NET
  • Support de l'installateur NuGet pour Visual Studio
  • Compatible avec l'assistant de langage C# de JetBrains ReSharper
  • Compatible avec la plateforme d'hébergement Microsoft Azure C# .NET

.NET Webscraping Community Tutoriels

Tutoriel + Exemples de code Webscraping in .NET | VB.NET & ; ASP.NET PDF

VB C# ASP.NET

Projets d'extraction de données du Web en C# et VB.NET

Découvrez comment Ahmed utilise IronWebScraper dans ses projets pour migrer le contenu d'un site vers un autre. Exemples de projets et de codes fournis pour le scraping de sites de commerce électronique et de blogs

Ahmed Aboelmagd Ingénieur logiciel .NET Voir le tutoriel d'Ahmed sur le WebScraping
Nos clients utilisent IronWebscraper avec...

Systèmes comptables et financiers

  • # Recettes
  • # Rapports
  • # Impression des factures
Ajouter la prise en charge du format PDF aux systèmes comptables et financiers ASP.NET

Numérisation des entreprises

  • # Documentation
  • # Commande et étiquetage
  • # Remplacement du papier
Cas d'utilisation de la numérisation des entreprises en C#

Gestion de contenu d'entreprise

  • # Production de contenu
  • # Gestion des documents
  • # Distribution du contenu
prise en charge des PDF par le CMS .NET

Applications de données et de rapports

  • # Suivi des performances
  • # Cartographie des tendances
  • # Rapports
Rapports PDF en C#
Rejoignez-les aujourd'hui
Iron Software Enterprise Développeurs de composants .NET

Des milliers d'entreprises, de gouvernements, de PME et de développeurs font confiance aux produits logiciels d'Iron.

L'équipe d'Iron a plus de 10 ans d'expérience sur le marché des composants logiciels .NET.

Icône client d'Iron Software
Icône client d'Iron Software
Icône client d'Iron Software
Icône client d'Iron Software
Icône client d'Iron Software
Icône client d'Iron Software
Icône client d'Iron Software
Icône client d'Iron Software

Une ingénierie de classe mondiale,
assistance 24 heures sur 24

Parler à un expert