C#での字幕のOCR方法（チュートリアル）

IronOCRの概要

IronOCRは、C#ソフトウェアエンジニアが.NETプロジェクトでOCR、バーコードスキャン、テキスト抽出を行うのを支援するために、Iron Softwareによって開発および維持されているライブラリです。

IronOCRの機能には以下が含まれます：

• 画像（JPEG、PNG、BMP）、GIF、TIF/TIFF、ストリーム、PDFなど多くの形式からのテキスト読み取り
• デスキュー、ノイズ除去、2値化、解像度の向上、拡張などの多数のフィルターによる低品質のスキャンや写真の補正
• 20以上の異なる形式からのバーコードの読み取り、QRコードサポート付き
• そのパフォーマンスが他の同種ライブラリを大幅に上回る最新のTesseract OCRビルドを使用
• 検索可能なPDF、hOCR / HTMLエクスポート、画像のコンテンツテキストをエクスポート

ナンバープレートを読み取るデモアプリケーションを開発しましょう。

Visual Studioプロジェクトを作成

最初のステップは、新しいプロジェクトを作成することです。

Visual Studioを開きます。 新しいプロジェクトを作成をクリックし、コンソールアプリケーションのプロジェクトテンプレートを選択します。

次へボタンをクリックし、プロジェクトに名前を付けます（私は"OCR字幕"と名付けましたが、好みの名前に変更できます）。

次へボタンをクリックし、ターゲットフレームワークを選択します。 最後に、作成ボタンをクリックしてプロジェクトを作成します。

プロジェクトは以下のように作成されます。

Visual Studioで新しいプロジェクトを作成する

今、プロジェクトで使用するためにIronOCRライブラリをインストールする必要があります。 最も簡単な方法は、NuGetパッケージマネージャーを使用してソリューションにインストールすることです。

ハードコードされた字幕を抽出する

ハードコードされた字幕を抽出するプログラムを書きましょう。

以下のスクリーンショットを使用して字幕を抽出します。

抽出されるテキストのサンプルビデオスクリーンショット

以下の名前空間を追加します。

using IronOcr;

using IronOcr;

Imports IronOcr

namespace宣言の下に以下のコードを書きます。

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input using the specified image path
using (var input = new OcrInput(@"D:\License Plate\plate3.jpg"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input using the specified image path
using (var input = new OcrInput(@"D:\License Plate\plate3.jpg"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

' Initialize IronTesseract object
Dim ocr = New IronTesseract()
' Create an OCR Input using the specified image path
Using input = New OcrInput("D:\License Plate\plate3.jpg")
	' Perform OCR on the input image to extract text
	Dim result = ocr.Read(input)
	' Output the extracted text to the console
	Console.WriteLine(result.Text)
End Using

上記のコードは次のように動作します：

1. IronTesseractオブジェクトを初期化します。 それにより、IronTesseractのデフォルトインスタンスが作成されます。
2. OcrInputオブジェクトを作成し、入力画像ファイルまたはPDFドキュメントで埋めます。 OcrInputはマルチページドキュメントのOCRを可能にし、OCRの前に画像を強化することでより速く、より正確な結果を得ることができるため、推奨入力タイプです。
3. OCR入力オブジェクトからテキストを読み取り、OCR結果オブジェクトを返します。 ocr.Readは、与えられた入力スクリーンショットから字幕を抽出します。
4. result.Textは、与えられた入力から抽出された全内容を返します。

サンプルプログラムは以下のコンソール出力を生成します：

IronOCRを使用してサンプル画像のテキスト抽出を実行した際に生成されるコンソール出力

ビデオタイトルと字幕の両方を含むビデオフレームがあると仮定しましょう：

ビデオタイトルと字幕のテキスト領域を含む長いビデオの1コマ

私たちの目標は、画像の下部領域からハードコードされた字幕を抽出することです。 この場合、字幕が表示されるテキスト領域を指定する必要があります。

フレームでの字幕の位置を指定する

System.Drawing.Rectangleを使用することで、ビデオフレームから字幕を読み取る領域を指定できます。 計測単位は常にピクセルです。

テキスト領域を指定するために以下のサンプルコードを使用します。

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input and specify the region of interest
using (var input = new OcrInput())
{
    // Define the area within the image where subtitles are located for a 41% improvement on speed
    var contentArea = new CropRectangle(x: 189, y: 272, height: 252, width: 77);
    // Add the specific region of the image to the OCR input
    input.AddImage(@"D:\subtitle\image.png", contentArea);
    // Perform OCR on the specified region
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input and specify the region of interest
using (var input = new OcrInput())
{
    // Define the area within the image where subtitles are located for a 41% improvement on speed
    var contentArea = new CropRectangle(x: 189, y: 272, height: 252, width: 77);
    // Add the specific region of the image to the OCR input
    input.AddImage(@"D:\subtitle\image.png", contentArea);
    // Perform OCR on the specified region
    var result = ocr.Read(input);
    // Output the extracted text to the console
    Console.WriteLine(result.Text);
}

' Initialize IronTesseract object
Dim ocr = New IronTesseract()
' Create an OCR Input and specify the region of interest
Using input = New OcrInput()
	' Define the area within the image where subtitles are located for a 41% improvement on speed
	Dim contentArea = New CropRectangle(x:= 189, y:= 272, height:= 252, width:= 77)
	' Add the specific region of the image to the OCR input
	input.AddImage("D:\subtitle\image.png", contentArea)
	' Perform OCR on the specified region
	Dim result = ocr.Read(input)
	' Output the extracted text to the console
	Console.WriteLine(result.Text)
End Using

これにより、41％の速度向上が実現し、特定性を高めることができます。 contentAreaでは、字幕領域のスタートポイントをxとyで指定し、その後に高さと幅を設定しています。

字幕を字幕テキストファイルに保存する

抽出された字幕をテキストファイルに保存しましょう。

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input with the specified image path
using (var input = new OcrInput(@"D:\subtitle\subtitle1.png"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Save the extracted text to a specified file path
    result.SaveAsTextFile(@"D:\subtitle\subtitlefile.txt");
}

// Initialize IronTesseract object
var ocr = new IronTesseract();
// Create an OCR Input with the specified image path
using (var input = new OcrInput(@"D:\subtitle\subtitle1.png"))
{
    // Perform OCR on the input image to extract text
    var result = ocr.Read(input);
    // Save the extracted text to a specified file path
    result.SaveAsTextFile(@"D:\subtitle\subtitlefile.txt");
}

' Initialize IronTesseract object
Dim ocr = New IronTesseract()
' Create an OCR Input with the specified image path
Using input = New OcrInput("D:\subtitle\subtitle1.png")
	' Perform OCR on the input image to extract text
	Dim result = ocr.Read(input)
	' Save the extracted text to a specified file path
	result.SaveAsTextFile("D:\subtitle\subtitlefile.txt")
End Using

result.SaveAsTextFileは、出力パスを引数として取り、指定されたパスにファイルを保存します。

ビデオタイトルと字幕のテキスト領域を含む長いビデオの1コマ