Fonctionnalités avancées d'extraction web en C#

Curtis Chau
Curtis Chau
Mis à jour : 9 mai 2026

Fonctionnalité HttpIdentity

Certains systèmes de sites web exigent que l'utilisateur soit connecté pour consulter le contenu ; dans ce cas, nous pouvons utiliser un HttpIdentity. Voici comment vous pouvez le configurer :

// Create a new instance of HttpIdentity
HttpIdentity id = new HttpIdentity();

// Set the network username and password for authentication
id.NetworkUsername = "username";
id.NetworkPassword = "pwd";

// Add the identity to the collection of identities
Identities.Add(id);

L'une des fonctionnalités les plus impressionnantes et puissantes d'IronWebScraper est la possibilité d'utiliser des milliers d'identifiants d'utilisateurs uniques et/ou de moteurs de navigateur pour usurper ou extraire des données de sites Web à l'aide de plusieurs sessions de connexion.

public override void Init()
{
    // Set the license key for IronWebScraper
    License.LicenseKey = "LicenseKey";

    // Set the logging level to capture all logs
    this.LoggingLevel = WebScraper.LogLevel.All;

    // Assign the working directory for the output files
    this.WorkingDirectory = AppSetting.GetAppRoot() + @"\ShoppingSiteSample\Output\";

    // Define an array of proxies
    var proxies = "IP-Proxy1:8080,IP-Proxy2:8081".Split(',');

    // Iterate over common Chrome desktop user agents
    foreach (var UA in IronWebScraper.CommonUserAgents.ChromeDesktopUserAgents)
    {
        // Iterate over the proxies
        foreach (var proxy in proxies)
        {
            // Add a new HTTP identity with specific user agent and proxy
            Identities.Add(new HttpIdentity()
            {
                UserAgent = UA,
                UseCookies = true,
                Proxy = proxy
            });
        }
    }
    
    // Make an initial request to the website with a parse method
    this.Request("http://www.Website.com", Parse);
}

Vous avez plusieurs propriétés pour vous offrir différents comportements, empêchant les sites web de vous bloquer.

Certaines de ces propriétés comprennent :

  • NetworkDomain : Le domaine réseau à utiliser pour l'authentification utilisateur. Compatible avec les réseaux Windows, NTLM, Kerberos, Linux, BSD et Mac OS X. Doit être utilisé avec NetworkUsername et NetworkPassword.
  • NetworkUsername : Le nom d'utilisateur réseau/http à utiliser pour l'authentification utilisateur. Prend en charge HTTP, les réseaux Windows, NTLM, Kerberos, les réseaux Linux, les réseaux BSD et Mac OS.
  • NetworkPassword : Le mot de passe réseau/http à utiliser pour l'authentification utilisateur. Prend en charge HTTP, les réseaux Windows, NTLM, Kerberos, les réseaux Linux, les réseaux BSD et Mac OS.
  • Proxy : Pour configurer les paramètres du proxy.
  • UserAgent : Pour régler un moteur de navigateur (par exemple, Chrome desktop, Chrome mobile, Chrome tablette, IE, et Firefox, etc.).
  • HttpRequestHeaders : Pour les valeurs d'en-tête personnalisées qui seront utilisées avec cette identité, il accepte un objet dictionnaire Dictionary<string, string>.
  • UseCookies : Activer/désactiver l'utilisation des cookies.

IronWebScraper exécute le scraper en utilisant des identités aléatoires. Si nous devons spécifier l'utilisation d'une identité particulière pour analyser une page, nous pouvons le faire :

public override void Init()
{
    // Set the license key for IronWebScraper
    License.LicenseKey = "LicenseKey";

    // Set the logging level to capture all logs
    this.LoggingLevel = WebScraper.LogLevel.All;

    // Assign the working directory for the output files
    this.WorkingDirectory = AppSetting.GetAppRoot() + @"\ShoppingSiteSample\Output\";

    // Create a new instance of HttpIdentity
    HttpIdentity identity = new HttpIdentity();
    
    // Set the network username and password for authentication
    identity.NetworkUsername = "username";
    identity.NetworkPassword = "pwd";
    
    // Add the identity to the collection of identities
    Identities.Add(identity);
    
    // Make a request to the website with the specified identity
    this.Request("http://www.Website.com", Parse, identity);
}

Activer la fonction de cache Web

Cette fonctionnalité permet de mettre en cache les pages demandées. Il est souvent utilisé lors des phases de développement et de test, permettant aux développeurs de mettre en cache les pages nécessaires pour les réutiliser après la mise à jour du code. Cela vous permet d'exécuter votre code sur des pages mises en cache après avoir redémarré votre robot d'extraction Web sans avoir besoin de vous connecter au site Web en direct à chaque fois (relecture d'action).

Vous pouvez l'utiliser dans la méthode Init() :

// Enable web cache without an expiration time
EnableWebCache();

// OR enable web cache with a specified expiration time
EnableWebCache(new TimeSpan(1, 30, 30));

Il enregistrera vos données mises en cache dans le dossier WebCache sous le dossier de répertoire de travail.

public override void Init()
{
    // Set the license key for IronWebScraper
    License.LicenseKey = "LicenseKey";

    // Set the logging level to capture all logs
    this.LoggingLevel = WebScraper.LogLevel.All;

    // Assign the working directory for the output files
    this.WorkingDirectory = AppSetting.GetAppRoot() + @"\ShoppingSiteSample\Output\";

    // Enable web cache with a specific expiration time of 1 hour, 30 minutes, and 30 seconds
    EnableWebCache(new TimeSpan(1, 30, 30));
    
    // Make an initial request to the website with a parse method
    this.Request("http://www.Website.com", Parse);
}

IronWebScraper a également des fonctionnalités pour permettre à votre moteur de continuer le scraping après le redémarrage du code en définissant le nom du processus de démarrage du moteur en utilisant Start(CrawlID).

static void Main(string[] args)
{
    // Create an object from the Scraper class
    EngineScraper scrape = new EngineScraper();
    
    // Start the scraping process with the specified crawl ID
    scrape.Start("enginestate");
}

La requête d'exécution et la réponse seront enregistrées dans le dossier SavedState à l'intérieur du répertoire de travail.

Étranglement

Nous pouvons contrôler le nombre minimal et maximal de connexions ainsi que la vitesse de connexion par domaine.

public override void Init()
{
    // Set the license key for IronWebScraper
    License.LicenseKey = "LicenseKey";

    // Set the logging level to capture all logs
    this.LoggingLevel = WebScraper.LogLevel.All;

    // Assign the working directory for the output files
    this.WorkingDirectory = AppSetting.GetAppRoot() + @"\ShoppingSiteSample\Output\";

    // Set the total number of allowed open HTTP requests (threads)
    this.MaxHttpConnectionLimit = 80;
    
    // Set minimum polite delay (pause) between requests to a given domain or IP address
    this.RateLimitPerHost = TimeSpan.FromMilliseconds(50);
    
    // Set the allowed number of concurrent HTTP requests (threads) per hostname or IP address
    this.OpenConnectionLimitPerHost = 25;
    
    // Do not obey the robots.txt files
    this.ObeyRobotsDotTxt = false;
    
    // Makes the WebScraper intelligently throttle requests not only by hostname, but also by host servers' IP addresses
    this.ThrottleMode = Throttle.ByDomainHostName;
    
    // Make an initial request to the website with a parse method
    this.Request("https://www.Website.com", Parse);
}

Propriétés d'étranglement

  • MaxHttpConnectionLimit Nombre total de requêtes HTTP ouvertes autorisées (threads)
  • RateLimitPerHost Délai ou pause minimale polie (en millisecondes) entre les requêtes adressées à un domaine ou une adresse IP donnée
  • OpenConnectionLimitPerHost Nombre de requêtes HTTP simultanées autorisées (threads) par nom d'hôte
  • ThrottleMode Permet au WebScraper de limiter intelligemment les requêtes non seulement par nom d'hôte, mais aussi par adresse IP des serveurs hôtes. Cette pratique est courtoise dans le cas où plusieurs domaines extraits seraient hébergés sur la même machine.

Commencez avec IronWebScraper

Commencez à utiliser IronWebScraper dans votre projet dès aujourd'hui avec un essai gratuit.

Première étape :
arrow pointer

Questions fréquemment posées

Quel est le but d'utiliser la fonctionnalité HttpIdentity dans IronWebScraper ?

La fonctionnalité HttpIdentity dans IronWebScraper permet aux utilisateurs d'usurper différentes informations d'identification et moteurs de navigateur pour le scraping web, aidant à contourner les restrictions sur l'accès au contenu en simulant plusieurs sessions de connexion.

Comment pouvez-vous activer la mise en cache web dans IronWebScraper ?

La mise en cache web peut être activée dans IronWebScraper en utilisant la méthode 'EnableWebCache()'. Cela permet aux développeurs de mettre en cache les pages demandées, pouvant être réutilisées, notamment pendant les phases de développement et de test, sans avoir besoin de se connecter à plusieurs reprises au site web.

Quel est l'avantage d'activer la régulation dans IronWebScraper ?

Activer la régulation dans IronWebScraper aide à gérer le nombre et la vitesse des connexions aux domaines, réduisant la probabilité d'être bloqué pour avoir fait trop de requêtes en peu de temps. Cela garantit un processus de scraping courtois et efficace en répartissant les requêtes dans le temps.

IronWebScraper peut-il continuer le scraping si le processus est redémarré ?

Oui, IronWebScraper peut continuer les processus de scraping après leur redémarrage en sauvegardant l'état actuel à l'aide de la commande 'Start(CrawlID)', ce qui permet de reprendre là où il s'est arrêté.

À quoi sert le réglage de la propriété 'UseCookies' dans HttpIdentity ?

La propriété 'UseCookies' dans HttpIdentity permet à IronWebScraper de gérer les cookies pendant les sessions de scraping web, lui permettant de maintenir l'état entre les requêtes et de potentiellement contourner certaines restrictions imposées par les sites web sur la base des données de session.

Quelles fonctionnalités les nouveaux objets HttpIdentity offrent-ils dans le scraping web ?

Les objets HttpIdentity dans IronWebScraper vous permettent de contrôler les agents utilisateurs, les proxies et les informations d'authentification, offrant des options sophistiquées pour imiter le comportement des utilisateurs et accéder au contenu web adapté à différents scénarios.

Comment la propriété 'RateLimitPerHost' aide-t-elle dans le scraping web ?

La propriété 'RateLimitPerHost' garantit un délai minimum entre les requêtes sortantes vers le même domaine, ce qui aide à éviter que le scraper ne surcharge le serveur, réduisant ainsi le risque d'interdiction d'IP.

Quels sont les avantages d'utiliser plusieurs instances HttpIdentity dans une seule tâche de scraping ?

Utiliser plusieurs instances HttpIdentity permet à IronWebScraper de circuler entre différentes identités pour les requêtes, répartissant la charge entre divers informations d'identification et moteurs de navigateur, ce qui peut aider à éviter la détection et améliorer le taux de succès des tâches de scraping.

Pourquoi est-il important de définir le 'WorkingDirectory' dans IronWebScraper ?

Définir le 'WorkingDirectory' dans IronWebScraper précise où seront stockés les fichiers de sortie, les données mises en cache et les informations d'état. C'est crucial pour organiser les données et assurer que le scraper accède et enregistre les ressources correctement tout au long de ses opérations.

IronWebScraper peut-il fonctionner sans se connecter constamment à un site web en direct ?

Oui, IronWebScraper peut fonctionner en utilisant sa fonctionnalité de cache web, lui permettant d'exécuter des actions sur des pages mises en cache sans se connecter à plusieurs reprises au site web en direct, facilitant ainsi des cycles de test et de développement plus rapides.

Curtis Chau détient un baccalauréat en informatique (Université de Carleton) et se spécialise dans le développement front-end avec expertise en Node.js, TypeScript, JavaScript et React. Passionné par la création d'interfaces utilisateur intuitives et esthétiquement plaisantes, Curtis aime travailler avec des frameworks modernes et créer des manuels bien structurés et visuellement attrayants.

Lire la suite

Prêt à commencer ?

Téléchargements NuGet 150,061Version :2026.11tout juste publié