Scraping d'un site web de films en ligne à l'aide de C# ; et IronWebscraper

À quoi ressemble la structure du site web cible?

Examinez la structure du site en vue d'un éventuel "scraping". La compréhension de la structure du site web est cruciale pour un web scraping efficace. Comme dans notre guide sur La récupération à partir d'un site Web de films en ligne, analysez d'abord la structure HTML :

Quels sont les éléments HTML qui contiennent des données sur les films ? Il s'agit d'une partie de la page d'accueil HTML que nous voyons sur le site web. L'examen de la structure HTML permet d'identifier les sélecteurs CSS à utiliser : ```html

CAM

King Arthur: Legend of the Sword

CAM

Snatched

``` Nous disposons d'un identifiant de film, d'un titre et d'un lien vers une page détaillée. Chaque film est contenu dans un élément `div` avec la classe `ml-item` et comprend un attribut `data-movie-id` unique pour l'identification. ## Comment implémenter le scraping de films de base? Commencez à récupérer cet ensemble de données. Avant d'exécuter un scraper, assurez-vous d'avoir correctement configuré votre clé de licence comme indiqué ci-dessous : ```csharp public class MovieScraper : WebScraper { public override void Init() { // Initialize scraper settings License.LicenseKey = "LicenseKey"; this.LoggingLevel = WebScraper.LogLevel.All; this.WorkingDirectory = AppSetting.GetAppRoot() + @"\MovieSample\Output\"; // Request homepage content for scraping this.Request("www.website.com", Parse); } public override void Parse(Response response) { // Iterate over each movie div within the featured movie section foreach (var div in response.Css("#movie-featured > div")) { if (div.Attributes["class"] != "clearfix") { var movieId = Convert.ToInt32(div.GetAttribute("data-movie-id")); var link = div.Css("a")[0]; var movieTitle = link.TextContentClean; // Scrape and store movie data as key-value pairs Scrape(new ScrapedData() { { "MovieId", movieId }, { "MovieTitle", movieTitle } }, "Movie.Jsonl"); } } } } ``` ### À quoi sert la propriété Working Directory? *Qu'y a-t-il de nouveau dans ce code?* La propriété Répertoire de travail définit le répertoire de travail principal pour toutes les données extraites et les fichiers connexes. Cela permet de s'assurer que tous les fichiers de sortie sont organisés dans un seul emplacement, ce qui facilite la gestion des projets de scraping à grande échelle. Le répertoire sera créé automatiquement s'il n'existe pas. ### Quand utiliser les sélecteurs CSS plutôt que les attributs? *Considérations supplémentaires:* Les sélecteurs CSS sont idéaux pour cibler les éléments en fonction de leur position structurelle ou de leur nom de classe, tandis que l'accès direct aux attributs est préférable pour extraire des valeurs spécifiques telles que les identifiants ou les attributs de données personnalisés. Dans notre exemple, nous utilisons des sélecteurs CSS (`#movie-featured > div`) pour naviguer dans la structure DOM et des attributs (`data-movie-id`) pour extraire des valeurs spécifiques. ## Comment créer des objets typés pour les données récupérées? Construire des objets typés pour contenir des données scrappées dans des objets formatés. L'utilisation d'objets fortement typés permet une meilleure organisation du code, une prise en charge IntelliSense et une vérification des types au moment de la compilation. Implémentez une classe `Movie` qui contiendra des données formatées : ```csharp public class Movie { public int Id { get; set; } public string Title { get; set; } public string URL { get; set; } } ```

Comment l'utilisation d'objets typés améliore-t-elle l'organisation des données ? Mettez à jour le code pour utiliser la classe typée `Movie` au lieu du dictionnaire générique `ScrapedData` : ```csharp public class MovieScraper : WebScraper { public override void Init() { // Initialize scraper settings License.LicenseKey = "LicenseKey"; this.LoggingLevel = WebScraper.LogLevel.All; this.WorkingDirectory = AppSetting.GetAppRoot() + @"\MovieSample\Output\"; // Request homepage content for scraping this.Request("https://website.com/", Parse); } public override void Parse(Response response) { // Iterate over each movie div within the featured movie section foreach (var div in response.Css("#movie-featured > div")) { if (div.Attributes["class"] != "clearfix") { var movie = new Movie { Id = Convert.ToInt32(div.GetAttribute("data-movie-id")) }; var link = div.Css("a")[0]; movie.Title = link.TextContentClean; movie.URL = link.Attributes["href"]; // Scrape and store movie object Scrape(movie, "Movie.Jsonl"); } } } } ```

Quel format la méthode Scrape utilise-t-elle pour les objets typés ? *Qu'est-ce qu'il y a de nouveau?* 1. Nous avons mis en œuvre une classe `Movie` pour contenir les données récupérées, ce qui permet d'assurer la sécurité des types et une meilleure organisation du code. 2. Nous transmettons des objets vidéo à la méthode `Scrape` qui comprend notre format et l'enregistre d'une manière définie, comme indiqué ci-dessous :

Le résultat est automatiquement sérialisé au format JSON, ce qui facilite son importation dans des bases de données ou d'autres applications. ## Comment récupérer les pages détaillées d'un film? Commencez à récupérer des pages plus détaillées. Le scraping de plusieurs pages est un besoin courant, et IronWebscraper le rend simple grâce à son mécanisme de chaînage des requêtes.

Quelles données supplémentaires puis-je extraire des pages détaillées ? La page des films se présente comme suit, contenant de nombreuses métadonnées sur chaque film :

```html

Guardians of the Galaxy Vol. 2

Set to the backdrop of Awesome Mixtape #2, Marvel's Guardians of the Galaxy Vol. 2 continues the team's adventures as they travel throughout the cosmos to help Peter Quill learn more about his true parentage.

Genre: Action, Adventure, Sci-Fi

Actor: Chris Pratt, Zoe Saldana, Dave Bautista

Director: James Gunn

Country: United States

Duration: 136 min

Quality: CAM

Release: 2017

IMDb: 8.3

``` ### Comment étendre ma classe de film pour obtenir des propriétés supplémentaires? Étendre la classe `Movie` avec de nouvelles propriétés (`Description`, `Genre`, `Acteur`, `Réalisateur`, `Pays`, `Durée`, `IMDb Score`) mais n'utilisez que `Description`, `Genre`, et `Acteur` pour cet échantillon. L'utilisation de `List` pour les genres et les acteurs permet de traiter les valeurs multiples de manière élégante : ```csharp using System.Collections.Generic; public class Movie { public int Id { get; set; } public string Title { get; set; } public string URL { get; set; } public string Description { get; set; } public List Genre { get; set; } public List Actor { get; set; } } ``` ## Comment naviguer entre les pages lors du scraping? Naviguez jusqu'à la page détaillée pour l'extraire. IronWebScraper gère [thread safety](https://ironsoftware.com/csharp/webscraper/troubleshooting/thread-safety/) automatiquement, ce qui permet de traiter plusieurs pages simultanément.

Pourquoi utiliser plusieurs fonctions d'analyse pour différents types de pages ? IronWebScraper permet d'ajouter plusieurs fonctions de scrape pour gérer différents formats de pages. Cette séparation des préoccupations rend votre code plus facile à maintenir et permet une gestion appropriée des différentes structures de page. Chaque fonction d'analyse peut se concentrer sur l'extraction de données à partir d'un type de page spécifique.

Comment les méta-données aident-elles à passer des objets entre les fonctions d'analyse ? La fonction MetaData est cruciale pour le maintien de l'état entre les requêtes. Pour plus de [fonctionnalités avancées de webscraping](https://ironsoftware.com/csharp/webscraper/tutorials/webscraping-in-c-sharp-advanced/), consultez notre guide détaillé : ```csharp public class MovieScraper : WebScraper { public override void Init() { // Initialize scraper settings License.LicenseKey = "LicenseKey"; this.LoggingLevel = WebScraper.LogLevel.All; this.WorkingDirectory = AppSetting.GetAppRoot() + @"\MovieSample\Output\"; // Request homepage content for scraping this.Request("https://domain/", Parse); } public override void Parse(Response response) { // Iterate over each movie div within the featured movie section foreach (var div in response.Css("#movie-featured > div")) { if (div.Attributes["class"] != "clearfix") { var movie = new Movie { Id = Convert.ToInt32(div.GetAttribute("data-movie-id")) }; var link = div.Css("a")[0]; movie.Title = link.TextContentClean; movie.URL = link.Attributes["href"]; // Request detailed page this.Request(movie.URL, ParseDetails, new MetaData() { { "movie", movie } }); } } } public void ParseDetails(Response response) { // Retrieve movie object from metadata var movie = response.MetaData.Get("movie"); var div = response.Css("div.mvic-desc")[0]; // Extract description movie.Description = div.Css("div.desc")[0].TextContentClean; // Extract genres movie.Genre = new List(); // Initialize genre list foreach(var genre in div.Css("div > p > a")) { movie.Genre.Add(genre.TextContentClean); } // Extract actors movie.Actor = new List(); // Initialize actor list foreach (var actor in div.Css("div > p:nth-child(2) > a")) { movie.Actor.Add(actor.TextContentClean); } // Scrape and store detailed movie data Scrape(movie, "Movie.Jsonl"); } } ``` ### Quelles sont les principales caractéristiques de cette approche de scraping multi-pages ? *Qu'est-ce qu'il y a de nouveau?* 1. Ajouter des fonctions de balayage (par exemple, `ParseDetails`) pour balayer des pages détaillées, semblables aux techniques utilisées pour [balayer à partir d'un site web d'achat](https://ironsoftware.com/csharp/webscraper/how-to/scraping-from-a-shopping-website/). 2. Déplacer la fonction `Scrape` qui génère des fichiers vers la nouvelle fonction, en veillant à ce que les données ne soient sauvegardées qu'une fois tous les détails collectés. 3. Utilisez la fonctionnalité IronWebScraper (`MetaData`) pour transmettre des objets de film à de nouvelles fonctions de scrape, en conservant l'état de l'objet à travers les requêtes. 4. Scraper les pages et enregistrer les données des objets vidéo dans des fichiers contenant des informations complètes.

Pour plus d'informations sur les méthodes et propriétés disponibles, consultez la [Référence API](https://ironsoftware.com/csharp/webscraper/object-reference/api/). IronWebScraper fournit un cadre robuste pour l'extraction de données structurées à partir de sites web, ce qui en fait un outil essentiel pour les projets de collecte et d'analyse de données.