Webscraping in C#
Qu'est-ce qu'IronWebScraper ?
IronWebScraper est une bibliothèque de classes et un framework pour C# et la plateforme de programmation .NET qui permet aux développeurs de lire des sites web par programmation et d'en extraire le contenu. C'est idéal pour la rétro-ingénierie de sites web ou d'intranets existants et leur reconversion en bases de données ou en données JSON. Il est également utile pour télécharger de gros volumes de documents depuis Internet.
À bien des égards, IronWebScraper est similaire à la bibliothèque Scrapy for Python, mais exploite les avantages de C#, en particulier sa capacité à parcourir le code pendant que le processus d'extraction de données se déroule et à déboguer.
Installation
Votre première étape sera d'installer IronWebScraper, ce que vous pouvez faire depuis NuGet ou en téléchargeant le DLL depuis notre site web.
Toutes les classes dont vous aurez besoin se trouvent dans l'espace de noms IronWebScraper.
Cas d'utilisation courants
Migration de sites web vers des bases de données
IronWebScraper fournit les outils et les méthodes permettant de réorganiser vos sites web en bases de données structurées. Cette technologie est utile lors de la migration de contenu depuis d'anciens sites web et intranets vers votre nouvelle application C#.
Migration de sites web
La possibilité d'extraire facilement le contenu d'un site web partiel ou complet en C# réduit les coûts et les délais liés à la migration ou à la mise à niveau des ressources de sites web et d'intranet. Cette méthode peut s'avérer nettement plus efficace que les transformations SQL directes, car elle aplatit les données pour qu'elles soient visibles sur chaque page web, sans nécessiter la compréhension des structures de données SQL précédentes ni la construction de requêtes SQL complexes.
Remplissage des index de recherche
IronWebScraper peut être dirigé vers votre propre site web ou intranet pour lire des données structurées, lire chaque page et extraire les données correctes afin qu'un moteur de recherche au sein de votre organisation puisse être correctement rempli.
IronWebScraper est un outil idéal pour extraire du contenu pour votre index de recherche. Une application de recherche telle qu'IronSearch peut lire le contenu structuré d'IronWebScraper pour construire un système de recherche d'entreprise puissant.
Utilisation du grattoir à toile en Iron
Pour apprendre à utiliser IronWebScraper, il est préférable de regarder des exemples. Cet exemple basique crée une classe permettant d'extraire les titres d'un blog de site web.
using IronWebScraper;
namespace WebScrapingProject
{
class MainClass
{
public static void Main(string [] args)
{
var scraper = new BlogScraper();
scraper.Start();
}
}
class BlogScraper : WebScraper
{
// Initialize scraper settings and make the first request
public override void Init()
{
// Set logging level to show all log messages
this.LoggingLevel = WebScraper.LogLevel.All;
// Request the initial page to start scraping
this.Request("https://ironpdf.com/blog/", Parse);
}
// Method to handle parsing of the page response
public override void Parse(Response response)
{
// Loop through each blog post title link found by CSS selector
foreach (var title_link in response.Css("h2.entry-title a"))
{
// Clean and extract the title text
string strTitle = title_link.TextContentClean;
// Store the extracted title for later use
Scrape(new ScrapedData() { { "Title", strTitle } });
}
// Check if there is a link to the previous post page and if exists, follow it
if (response.CssExists("div.prev-post > a[href]"))
{
// Get the URL for the next page
var next_page = response.Css("div.prev-post > a[href]")[0].Attributes["href"];
// Request the next page to continue scraping
this.Request(next_page, Parse);
}
}
}
}Imports IronWebScraper
Namespace WebScrapingProject
Class MainClass
Public Shared Sub Main(ByVal args As String())
Dim scraper As New BlogScraper()
scraper.Start()
End Sub
End Class
Class BlogScraper
Inherits WebScraper
' Initialize scraper settings and make the first request
Public Overrides Sub Init()
' Set logging level to show all log messages
Me.LoggingLevel = WebScraper.LogLevel.All
' Request the initial page to start scraping
Me.Request("https://ironpdf.com/blog/", AddressOf Parse)
End Sub
' Method to handle parsing of the page response
Public Overrides Sub Parse(ByVal response As Response)
' Loop through each blog post title link found by CSS selector
For Each title_link In response.Css("h2.entry-title a")
' Clean and extract the title text
Dim strTitle As String = title_link.TextContentClean
' Store the extracted title for later use
Scrape(New ScrapedData() From {{"Title", strTitle}})
Next
' Check if there is a link to the previous post page and if exists, follow it
If response.CssExists("div.prev-post > a[href]") Then
' Get the URL for the next page
Dim next_page = response.Css("div.prev-post > a[href]")(0).Attributes("href")
' Request the next page to continue scraping
Me.Request(next_page, AddressOf Parse)
End If
End Sub
End Class
End NamespacePour extraire des données d'un site web spécifique, nous devrons créer notre propre classe pour lire ce site. Cette classe étendra la classe Web Scraper. Nous ajouterons certaines méthodes à cette classe, y compris Init, où nous pourrons définir les paramètres initiaux et lancer la première requête, ce qui entraînera ensuite une réaction en chaîne où l'intégralité du site Web sera explorée.
Nous devons également ajouter au moins une méthode Parse. Les méthodes d'analyse lisent les pages Web téléchargées depuis Internet et utilisent des sélecteurs CSS de type jQuery pour sélectionner le contenu et extraire le texte et/ou les images pertinents pour utilisation.
Dans une méthode Parse, nous pouvons également spécifier quels hyperliens nous souhaitons que le robot continue de suivre et lesquels il ignorera.
Nous pouvons utiliser la méthode Scrape pour extraire des données et les enregistrer dans un format de fichier JSON pratique pour une utilisation ultérieure.
Aller de l'avant
Pour en savoir plus sur IronWebScraper, nous vous recommandons de lire la documentation de référence de l'API, puis de commencer à regarder les exemples dans la section des tutoriels de notre documentation.
L'exemple suivant que nous vous recommandons d'examiner est l' exemple de webscraping de " blog " en C# , où nous apprenons comment extraire le contenu textuel d'un blog, tel qu'un blog WordPress. Cela pourrait s'avérer très utile lors d'une migration de site.
À partir de là, vous pouvez consulter d'autres exemples de tutoriels avancés sur le web scraping, où nous aborderons des concepts tels que les sites web comportant de nombreux types de pages, les sites de commerce électronique, et également comment utiliser plusieurs proxys, identités et identifiants lors de l'extraction de données sur Internet.
Curtis Chau détient un baccalauréat en informatique (Université de Carleton) et se spécialise dans le développement front-end avec expertise en Node.js, TypeScript, JavaScript et React. Passionné par la création d'interfaces utilisateur intuitives et esthétiquement plaisantes, Curtis aime travailler avec des frameworks modernes et créer des manuels bien structurés et visuellement attrayants.
