Comment effectuer la reconnaissance de sous-titres en C# (Tutoriel)

IronOCR

IronOCR est une bibliothèque développée et maintenue par Iron Software qui aide les ingénieurs en logiciels C# à réaliser l'OCR, le balayage de code-barres et l'extraction de texte dans des projets .NET.

Les fonctionnalités d'IronOCR incluent :

• Lecture de texte à partir de nombreux formats tels que les images (JPEG, PNG, BMP), GIF, TIF/TIFF, Streams, et PDF Correction de scans et photos de basse qualité avec une pléthore de filtres tels que Deskew, Denoise, Binarisation, Amélioration de la résolution, Dilatation, et bien d'autres Lecture de codes-barres de plus de 20 formats différents, avec en plus le Support des QR Codes Utilisation de la dernière version de Tesseract OCR, avec ses performances améliorées au-delà des autres bibliothèques de son genre Export de PDF consultables, export hOCR / HTML et texte de contenu d'image.

Développons une application de démonstration pour lire les numéros de plaques d'immatriculation.

Créer un projet Visual Studio

La première étape consiste à créer un nouveau projet.

Ouvrir Visual Studio. Cliquez sur Créer un nouveau projet, et sélectionnez le modèle de projet d'application console.

Cliquez sur le bouton Suivant, et nommez le projet (je l'ai nommé "OCR Subtitles", vous pouvez le nommer selon votre choix).

Cliquez sur le bouton Suivant, et sélectionnez votre Framework cible. Enfin, cliquez sur le bouton Créer pour créer le projet.

Le projet sera créé comme indiqué ci-dessous.

Création d'un nouveau projet dans Visual Studio

Maintenant, nous devons installer la bibliothèque IronOCR pour l'utiliser dans notre projet. La façon la plus simple est de l'installer via le Gestionnaire de Packages NuGet pour Solution.

Installer le Package NuGet IronOCR

Cliquez sur Outils dans la barre de menu du haut, et sélectionnez Gestionnaire de Packages NuGet > Gérer les Packages NuGet pour Solution, comme illustré ci-dessous.

Installation d'IronOCR dans Visual Studio

La fenêtre suivante apparaîtra.

Interface du gestionnaire de packages NuGet de Visual Studio

Cliquez sur rechercher, et cherchez IronOCR. Sélectionnez le package IronOCR et cliquez sur le bouton Installer, comme montré ci-dessous.

Recherche de IronOCR dans l'interface du gestionnaire de packages NuGet

La bibliothèque IronOCR sera installée et prête à l'emploi.

Extraire des sous-titres intégrés

Écrivons un programme pour extraire des sous-titres intégrés.

Nous allons utiliser la capture d'écran suivante pour extraire les sous-titres.

Capture d'écran vidéo d'exemple à partir de laquelle le texte sera extrait

Ajoutez l'espace de noms suivant :

using IronOcr;

using IronOcr;

Imports IronOcr

Écrivez le code suivant sous la déclaration de namespace.

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input using the specified image path
using (var input = new OcrInput(@"D:\License Plate\plate3.jpg"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input using the specified image path
using (var input = new OcrInput(@"D:\License Plate\plate3.jpg"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

' Initialize IronTesseract object
Dim ocr = New IronTesseract()
' Create an OCR Input using the specified image path
Using input = New OcrInput("D:\License Plate\plate3.jpg")
	' Perform OCR on the input image to extract text
	Dim result = ocr.Read(input)
	' Output the extracted text to the console
	Console.WriteLine(result.Text)
End Using

Le code ci-dessus fonctionne comme suit :

1. Initialisez l'objet IronTesseract. Il créera une instance par défaut de IronTesseract.
2. Créez un nouvel objet OcrInput peuplé avec un fichier image d'entrée ou un document PDF. OcrInput est le type d'entrée privilégié car il permet l'OCR de documents multi-pages et permet d'améliorer les images avant l'OCR pour obtenir des résultats plus rapides et plus précis.
3. Lisez un texte à partir d'un objet d'entrée OCR et renvoyez un objet de résultat OCR. ocr.Read extraira les sous-titres de la capture d'écran d'entrée donnée.
4. result.Text renverra tout le contenu extrait de l'entrée donnée.

Le programme exemple produit la sortie console ci-dessous :

Sortie console générée à partir de l'extraction de texte sur l'image d'exemple en utilisant IronOCR

Supposons que vous ayez une image vidéo contenant à la fois le titre de la vidéo et les sous-titres :

Une seule image d'une vidéo plus longue contenant des régions de texte pour le titre de la vidéo et les sous-titres de la vidéo

Notre objectif est d'extraire les sous-titres intégrés de la région inférieure de l'image. Dans ce cas, nous devons spécifier la région texte dans laquelle le sous-titre est affiché.

Spécifier l'emplacement des sous-titres dans le cadre

Nous pouvons utiliser un System.Drawing.Rectangle pour spécifier une région dans laquelle nous lirons un sous-titre de l'image vidéo. L'unité de mesure est toujours pixels.

Nous utiliserons le code exemple suivant pour spécifier la région texte.

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input and specify the region of interest
using (var input = new OcrInput())
{
    // Define the area within the image where subtitles are located for a 41% improvement on speed
    var contentArea = new CropRectangle(x: 189, y: 272, height: 252, width: 77);
    // Add the specific region of the image to the OCR input
    input.AddImage(@"D:\subtitle\image.png", contentArea);
    // Perform OCR on the specified region
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input and specify the region of interest
using (var input = new OcrInput())
{
    // Define the area within the image where subtitles are located for a 41% improvement on speed
    var contentArea = new CropRectangle(x: 189, y: 272, height: 252, width: 77);
    // Add the specific region of the image to the OCR input
    input.AddImage(@"D:\subtitle\image.png", contentArea);
    // Perform OCR on the specified region
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

' Initialize IronTesseract object
Dim ocr = New IronTesseract()
' Create an OCR Input and specify the region of interest
Using input = New OcrInput()
	' Define the area within the image where subtitles are located for a 41% improvement on speed
	Dim contentArea = New CropRectangle(x:= 189, y:= 272, height:= 252, width:= 77)
	' Add the specific region of the image to the OCR input
	input.AddImage("D:\subtitle\image.png", contentArea)
	' Perform OCR on the specified region
	Dim result = ocr.Read(input)
	' Output the extracted text to the console
	Console.WriteLine(result.Text)
End Using

Cela entraîne une augmentation de 41% de la vitesse - et nous permet d'être précis. Dans contentArea, nous avons spécifié le point de départ en x et y, puis la hauteur et la largeur de la région de sous-titres requise.

Enregistrer le sous-titre dans un fichier texte de sous-titres

Enregistrons les sous-titres extraits dans un fichier texte.

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input with the specified image path
using (var input = new OcrInput(@"D:\subtitle\subtitle1.png"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Save the extracted text to a specified file path
    result.SaveAsTextFile(@"D:\subtitle\subtitlefile.txt");
}

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input with the specified image path
using (var input = new OcrInput(@"D:\subtitle\subtitle1.png"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Save the extracted text to a specified file path
    result.SaveAsTextFile(@"D:\subtitle\subtitlefile.txt");
}

' Initialize IronTesseract object
Dim ocr = New IronTesseract()
' Create an OCR Input with the specified image path
Using input = New OcrInput("D:\subtitle\subtitle1.png")
	' Perform OCR on the input image to extract text
	Dim result = ocr.Read(input)
	' Save the extracted text to a specified file path
	result.SaveAsTextFile("D:\subtitle\subtitlefile.txt")
End Using

result.SaveAsTextFile prendra le chemin de sortie en argument, et enregistrera le fichier dans le chemin donné.

Une seule image d'une vidéo plus longue contenant des régions de texte pour le titre de la vidéo et les sous-titres de la vidéo