Pandasの空白(スペース)行を簡単に削除する方法[Python] ｜自作で機械学習モデル・AIの使い方を学ぶ

はじめに

データの前処理は、データ分析や機械学習の重要なステップです。データセットには、しばしば空白行（スペース行）が含まれていることがあります。これらの空白行は、正しい結果を得るために不要なノイズとなることがあります。本記事では、Pythonのデータ処理ライブラリであるPandasを使用して、データフレームから空白行を簡単に削除する方法について解説します。

基本的な空白行の検出方法：isnullやisna関数の使用方法

まずは、データフレーム内の空白行を検出する方法を紹介します。Pandasでは、isnull関数またはisna関数を使用して、データフレーム内の欠損値（空白セル）を検出できます。

import pandas as pd
# データフレームの作成（例）
data = {'A': [1, 2, None, 4],
        'B': [5, None, 7, 8],
        'C': [None, None, None, None]}
df = pd.DataFrame(data)
# 欠損値（空白セル）の検出
null_values = df.isnull()
print(null_values)

上記のコードでは、3つの列（A、B、C）を持つデータフレームを作成し、isnull関数を使用して欠損値（空白セル）を検出しています。実行結果は以下のようになります。

       A      B     C
0  False  False  True
1  False   True  True
2   True  False  True
3  False  False  True

結果では、各セルの値が欠損値かどうかが真偽値で表示されています。Trueは欠損値を示し、Falseは欠損値ではないことを示します。

空白行の削除：dropna関数の使用方法

次に、データフレームから空白行を削除する方法を紹介します。Pandasのdropna関数を使用することで、欠損値（空白セル）が含まれる行を簡単に削除できます。

# 空白行の削除
cleaned_df = df.dropna()
print(cleaned_df)

上記のコードでは、dropna関数を使用して欠損値が含まれる行を削除しています。実行結果は以下のようになります。

Empty DataFrame
Columns: [A, B, C]
Index: []

結果では、空白行が削除されたデータフレームが表示されています。

空白セルが含まれる行の削除方法

空白行の削除だけでなく、特定の列に空白セルが含まれる行を削除する方法もあります。dropna関数にaxisパラメータとsubsetパラメータを指定することで、特定の列に空白セルが含まれる行を削除できます。

# 特定の列に空白セルが含まれる行の削除
cleaned_df = df.dropna(subset=['B'])
print(cleaned_df)

上記のコードでは、subsetパラメータに’B’を指定しています。これにより、列’B’に空白セルが含まれる行が削除されます。実行結果は以下のようになります。

     A    B    C
0  1.0  5.0  NaN
2  NaN  7.0  NaN
3  4.0  8.0  NaN

結果では、列’B’に空白セルが含まれる行が削除されたデータフレームが表示されています。

特定の列に基づいて空白行を削除する方法

さらに、特定の列に基づいて空白行を削除する方法もあります。dropna関数にsubsetパラメータに特定の列を指定することで、その列の値が欠損値（空白セル）の行を削除できます。

# 特定の列に基づいて空白行を削除
cleaned_df = df.dropna(subset=['A', 'B'])
print(cleaned_df)

上記のコードでは、subsetパラメータに[‘A’, ‘B’]を指定しています。これにより、列’A’または列’B’の値が欠損値（空白セル）の行が削除されます。実行結果は以下のようになります。

     A    B    C
0  1.0  5.0 None
3  4.0  8.0 None 

結果では、列'A'または列'B'の値が欠損値（空白セル）の行が削除されたデータフレームが表示されています。

元のデータフレームを変更せずに空白行を削除する方法

データフレーム自体を変更せずに、空白行を削除したい場合は、新しいデータフレームに削除後の結果を代入する方法があります。

# 元のデータフレームを変更せずに空白行を削除
cleaned_df = df.dropna().reset_index(drop=True)
print(cleaned_df)

上記のコードでは、dropna関数を使用して欠損値が含まれる行を削除し、reset_index関数を使用してインデックスをリセットしています。dropパラメータにTrueを指定することで、元のインデックスを破棄し、新しいインデックスを割り当てます。実行結果は以下のようになります。

Empty DataFrame
Columns: [A, B, C]
Index: []

結果では、空白行が削除されたデータフレームが表示されていますが、元のデータフレームは変更されていません。

まとめ

本記事では、PythonのPandasを使用してデータフレームから空白行を簡単に削除する方法について解説しました。まず、isnullやisna関数を使用して空白行を検出する方法を紹介しました。次に、dropna関数を使用して空白行を削除する方法や、特定の列に基づいて空白行を削除する方法を説明しました。さらに、元のデータフレームを変更せずに空白行を削除する方法も紹介しました。

空白行の削除はデータの前処理において重要なステップです。正しい結果を得るために、データセットから不要なノイズを除去することは必須です。Pandasの便利な関数を活用して、効率的に空白行を削除しましょう。