C#でCSVファイルからデータを読み取ってデータベースに保存する方法

CSV ファイルとは何ですか？

CSV（コンマ区切り値）ファイルは、コンマで区切られたデータを含むプレーンテキストファイルです。 そのシンプルさと、Excelなどのさまざまなアプリケーションとの互換性のため、データ転送の一般的なフォーマットです。

SQL Serverとデータベースの役割

SQL ServerはMicrosoftによるデータベース管理システムです。 それはデータを構造化方式で保存および管理するために使用されます。 ここでは、CSVデータをSQL Serverテーブルに保存します。

前提条件

1. Visual Studio: Visual Studioがインストールされていることを確認してください。
2. SQL Server: SQL Serverがインストールされてアクセス可能であることを確認してください。
3. IronXLインストール: 次のNuGetコマンドを実行してIronXLをインストールします：

dotnet add package IronXL

IronXLをインストールしたいプロジェクトディレクトリ内でこれらのコマンドを実行することを確認してください。

データをインポートする前に、SQL Serverデータベースに宛先テーブルを作成してください。

データをインポートする前に、SQL Serverデータベースに宛先テーブルを作成します。 このテーブルがCSVデータを保存します。

CREATE TABLE YourTableName (
    Column1 DataType,
    Column2 DataType,
    ...
);

YourTableName、Column1、Column2、およびDataTypeを特定の詳細で置き換えてください。

ステップ1: CSVファイルを読み取る

CSVファイルからデータをインポートするタスクを開始する際には、最初に重要なステップはそのデータを正確に読み取ることです。 通常、CSVファイル内の各行はデータレコードを表し、各レコードはコンマで区切られた1つ以上のフィールドで構成されます。

その後、CSVファイルを処理するためにIronXLライブラリを使用します。IronXLを使用してCSVファイルを読み取るには、WorkBookとWorkSheetクラスを使用します。 WorkBookクラスはスプレッドシート全体を表し、これはExcelファイルや、ここではCSVファイルである可能性があります。CSVファイルパスをWorkBookオブジェクトにロードすると、IronXLはCSVファイルをスプレッドシート/データテーブルとして処理します。

using IronXL;
using System.Data;

public class CSVReader
{
    // Reads a CSV file and converts it to a DataTable
    public DataTable ReadCSV(string filePath)
    {
        WorkBook workbook = WorkBook.Load(filePath);
        WorkSheet sheet = workbook.DefaultWorkSheet;
        // Convert to DataTable for easier processing
        DataTable dataTable = sheet.ToDataTable(true); // Set to 'true' if your CSV has a header row
        return dataTable;
    }
}

using IronXL;
using System.Data;

public class CSVReader
{
    // Reads a CSV file and converts it to a DataTable
    public DataTable ReadCSV(string filePath)
    {
        WorkBook workbook = WorkBook.Load(filePath);
        WorkSheet sheet = workbook.DefaultWorkSheet;
        // Convert to DataTable for easier processing
        DataTable dataTable = sheet.ToDataTable(true); // Set to 'true' if your CSV has a header row
        return dataTable;
    }
}

Imports IronXL
Imports System.Data

Public Class CSVReader
	' Reads a CSV file and converts it to a DataTable
	Public Function ReadCSV(ByVal filePath As String) As DataTable
		Dim workbook As WorkBook = WorkBook.Load(filePath)
		Dim sheet As WorkSheet = workbook.DefaultWorkSheet
		' Convert to DataTable for easier processing
		Dim dataTable As DataTable = sheet.ToDataTable(True) ' Set to 'true' if your CSV has a header row
		Return dataTable
	End Function
End Class

ステップ2: データベース接続の確立

SQL Serverデータベースへの接続を確立することは、CSVデータを保存するプロセスの基本的なステップです。 このステップでは、アプリケーションとデータベースサーバー間の通信リンクを設定します。 成功した接続は重要です、なぜなら、それがなければデータベースへのデータ転送が不可能になるからです。

このステップは、C#で接続文字列を使用して接続を作成して開くことに焦点を当てています。 接続文字列は接続を確立するために必要な情報を含む重要なコンポーネントです。 それはデータベースへのドアを開けるキーのようなものです。

using System.Data.SqlClient;

public class DatabaseConnector
{
    // Connection string to connect to the database
    private string connectionString = "your_connection_string_here";

    public SqlConnection ConnectToDatabase()
    {
        SqlConnection connection = new SqlConnection(connectionString);
        connection.Open();
        return connection;
    }
}

using System.Data.SqlClient;

public class DatabaseConnector
{
    // Connection string to connect to the database
    private string connectionString = "your_connection_string_here";

    public SqlConnection ConnectToDatabase()
    {
        SqlConnection connection = new SqlConnection(connectionString);
        connection.Open();
        return connection;
    }
}

Imports System.Data.SqlClient

Public Class DatabaseConnector
	' Connection string to connect to the database
	Private connectionString As String = "your_connection_string_here"

	Public Function ConnectToDatabase() As SqlConnection
		Dim connection As New SqlConnection(connectionString)
		connection.Open()
		Return connection
	End Function
End Class

connectionString変数にはSQL Serverに接続するために必要なすべての詳細が含まれています。 通常、サーバー名、データベース名、ユーザーID、およびパスワードが含まれています。 例としての接続文字列は次のようになります：Server=myServerAddress;Database=myDataBase;User Id=myUsername;Password=myPassword;。 これらのプレースホルダーを実際のサーバーの詳細で置き換えることが重要です。

ステップ3: データをデータベースに保存する

SQL Serverデータベースへの接続を確立した後、次に重要なステップはCSVデータをデータベースに保存することです。 このステップでは、読み取られて処理されたデータをSQL Serverテーブルに転送します。 これはデータ処理プロセスの重要な部分であり、ローカルファイルからデータベースサーバーへの実際のデータ移行が関与します。

このステップでは、DataTableに現在収納されているCSVデータをSQL Serverデータベースに転送する方法に焦点を当てます。 これを効率的に達成するために、C#とSQL Serverの機能を組み合わせて使用します。

using System;
using System.Data;
using System.Data.SqlClient;

public class DataImporter
{
    public void ImportData(DataTable dataTable)
    {
        using (SqlConnection connection = new DatabaseConnector().ConnectToDatabase())
        {
            // Check if the table exists and create it if it does not.
            string tableName = "CSVData"; // Use a valid SQL table name format
            string checkTable = $"IF NOT EXISTS (SELECT * FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_NAME = '{tableName}') BEGIN ";
            string createTable = "CREATE TABLE " + tableName + " (";
            for (int i = 0; i < dataTable.Columns.Count; i++)
            {
                createTable += $"[{dataTable.Columns[i].ColumnName}] NVARCHAR(MAX)";
                if (i < dataTable.Columns.Count - 1)
                    createTable += ", ";
            }
            createTable += ") END";
            SqlCommand createTableCommand = new SqlCommand(checkTable + createTable, connection);
            createTableCommand.ExecuteNonQuery();

            // Now we use SqlBulkCopy to import the data
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = tableName;
                try
                {
                    bulkCopy.WriteToServer(dataTable);
                    Console.WriteLine("Data imported successfully!");
                }
                catch (Exception ex)
                {
                    Console.WriteLine(ex.Message);
                }
            }
        }
    }
}

using System;
using System.Data;
using System.Data.SqlClient;

public class DataImporter
{
    public void ImportData(DataTable dataTable)
    {
        using (SqlConnection connection = new DatabaseConnector().ConnectToDatabase())
        {
            // Check if the table exists and create it if it does not.
            string tableName = "CSVData"; // Use a valid SQL table name format
            string checkTable = $"IF NOT EXISTS (SELECT * FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_NAME = '{tableName}') BEGIN ";
            string createTable = "CREATE TABLE " + tableName + " (";
            for (int i = 0; i < dataTable.Columns.Count; i++)
            {
                createTable += $"[{dataTable.Columns[i].ColumnName}] NVARCHAR(MAX)";
                if (i < dataTable.Columns.Count - 1)
                    createTable += ", ";
            }
            createTable += ") END";
            SqlCommand createTableCommand = new SqlCommand(checkTable + createTable, connection);
            createTableCommand.ExecuteNonQuery();

            // Now we use SqlBulkCopy to import the data
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = tableName;
                try
                {
                    bulkCopy.WriteToServer(dataTable);
                    Console.WriteLine("Data imported successfully!");
                }
                catch (Exception ex)
                {
                    Console.WriteLine(ex.Message);
                }
            }
        }
    }
}

Imports System
Imports System.Data
Imports System.Data.SqlClient

Public Class DataImporter
	Public Sub ImportData(ByVal dataTable As DataTable)
		Using connection As SqlConnection = (New DatabaseConnector()).ConnectToDatabase()
			' Check if the table exists and create it if it does not.
			Dim tableName As String = "CSVData" ' Use a valid SQL table name format
			Dim checkTable As String = $"IF NOT EXISTS (SELECT * FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_NAME = '{tableName}') BEGIN "
			Dim createTable As String = "CREATE TABLE " & tableName & " ("
			For i As Integer = 0 To dataTable.Columns.Count - 1
				createTable &= $"[{dataTable.Columns(i).ColumnName}] NVARCHAR(MAX)"
				If i < dataTable.Columns.Count - 1 Then
					createTable &= ", "
				End If
			Next i
			createTable &= ") END"
			Dim createTableCommand As New SqlCommand(checkTable & createTable, connection)
			createTableCommand.ExecuteNonQuery()

			' Now we use SqlBulkCopy to import the data
			Using bulkCopy As New SqlBulkCopy(connection)
				bulkCopy.DestinationTableName = tableName
				Try
					bulkCopy.WriteToServer(dataTable)
					Console.WriteLine("Data imported successfully!")
				Catch ex As Exception
					Console.WriteLine(ex.Message)
				End Try
			End Using
		End Using
	End Sub
End Class

これは、データトランザクションのための経路を確保するためにDatabaseConnectorクラスを使用してSQL Serverデータベースへの接続を開くことから始まります。 このメソッドは、データベース内に "CSVData" という名前のテーブルが存在するかどうかを確認します。

テーブルが見つからない場合、それを作成します。 テーブルのスキーマはメソッドに渡されたDataTableスキーマに基づいて構築され、すべての列がNVARCHAR(MAX)に設定されて任意のテキストデータを収容することができます。 これは一般的なアプローチであり、特定のデータ型にもう少し緊密に匹敵するために精緻化が必要かもしれません。

その後、テーブルの存在を確認するか、それを作成するSQLコマンドが作成され実行されます。 これにより、その後の一括コピー操作がデータ挿入用の宛先テーブルを持つことが保証されます。 テーブルが準備できたら、SqlBulkCopyクラスを使用してDataTableから直接SQL Serverテーブルにデータを転送します。 この操作は、大量のデータを効率的に扱うための大規模なデータ転送に対応できるように設計されています。

ステップ4: すべてをまとめる

CSVデータを読み取り、データベース接続を確立し、データを転送する準備を整えるという以前のステップを丹念に行った後、最後で重要な段階である、これらの個別のコンポーネントを統合して、一貫性のあるプロセスとしてまとめます。

この統合は、C#アプリケーションのMainメソッドで行われ、すべてが合体し、CSVファイルからSQL Serverデータベースへの実際のデータインポートを実行可能にします。

class Program
{
    static void Main(string[] args)
    {
        string filePath = "path_to_your_csv_file.csv";
        CSVReader reader = new CSVReader();
        DataTable dataTable = reader.ReadCSV(filePath);
        DataImporter importer = new DataImporter();
        importer.ImportData(dataTable);
        Console.WriteLine("Data imported successfully!");
    }
}

class Program
{
    static void Main(string[] args)
    {
        string filePath = "path_to_your_csv_file.csv";
        CSVReader reader = new CSVReader();
        DataTable dataTable = reader.ReadCSV(filePath);
        DataImporter importer = new DataImporter();
        importer.ImportData(dataTable);
        Console.WriteLine("Data imported successfully!");
    }
}

Friend Class Program
	Shared Sub Main(ByVal args() As String)
		Dim filePath As String = "path_to_your_csv_file.csv"
		Dim reader As New CSVReader()
		Dim dataTable As DataTable = reader.ReadCSV(filePath)
		Dim importer As New DataImporter()
		importer.ImportData(dataTable)
		Console.WriteLine("Data imported successfully!")
	End Sub
End Class

path_to_your_csv_file.csvをCSVファイルへのパスで置き換えてください。

プロジェクトを実行する

プロジェクトを実行すると、次の出力が表示されます。 成功のメッセージは、すべての操作が正常に実行され、データがデータベースにコピーされたことを表します。

Data imported successfully!

SQL Server Management Studio (SSMS)を開いて、データベースの下のテーブルを確認できます。 テーブルには次のデータが表示されます。