numpyを使ったデータの正規化と標準化の違いと使い分け

はじめに

データ分析や機械学習を行う際、データの前処理が非常に重要です。その中でも、特徴量のスケーリングはデータを扱いやすくするために欠かせません。この記事では、データのスケーリング方法としてよく使われる「正規化」と「標準化」について、Pythonのライブラリnumpyを使って説明します。

データの正規化と標準化の重要性

データのスケーリングは、異なる尺度のデータを同じ尺度に揃えることで、分析やモデル構築が容易になります。特に、機械学習アルゴリズムはスケーリングされたデータのほうが効果的に働くことが多いです。正規化と標準化は、データのスケーリングを行う代表的な手法です。

numpyを使った正規化と標準化の方法

本記事では、numpyを使ってデータを正規化・標準化する方法を紹介します。また、それぞれの手法が適切なシーンや使い分けのポイントについても解説します。

本記事の内容

正規化と標準化の基本概念
numpyを使った正規化の方法
numpyを使った標準化の方法
正規化と標準化の使い分け

こんな人におすすめ

この記事は、以下のような方におすすめです。

numpyを使って正規化、標準化処理を実装したい方
正規化と標準化の違いや使い分けについて理解したい方
numpyを使ってデータの前処理を行いたい方

使用する主なライブラリ

本記事では、Pythonのライブラリnumpyを使用して、データの正規化と標準化を行います。

正規化と標準化の基本概念

正規化とは何か

正規化は、データを一定の範囲内に収めることです。一般的には、データを0～1の範囲に変換します。これにより、異なる尺度のデータを同じ尺度に揃えることができます。

標準化とは何か

標準化は、データの平均が0、標準偏差が1になるように変換することです。これにより、データの分布が正規分布に近づくことが期待されます。機械学習アルゴリズムの多くは、正規分布に従うデータを前提としているため、標準化が有効な場合があります。

それぞれの目的と違い

正規化は、データの範囲を揃えることが目的です。一方、標準化は、データの分布を正規分布に近づけることが目的です。どちらもデータのスケーリングを行う手法ですが、適用する目的が異なります。

numpyを使った正規化の方法

MinMaxスケーリングによる正規化

MinMaxスケーリングは、データの最小値と最大値を使って、0～1の範囲に変換する手法です。以下の式で表されます。

正規化された値 = (データ – 最小値) / (最大値 – 最小値)

コード例と解説

import numpy as np
def minmax_scaling(data):
    min_value = np.min(data)
    max_value = np.max(data)
    normalized_data = (data - min_value) / (max_value - min_value)
    return normalized_data

data = np.array([10, 20, 30, 40, 50])
normalized_data = minmax_scaling(data)
print(normalized_data)

上記のコードでは、numpyを使ってデータの正規化を行っています。関数minmax_scaling()は、引数としてデータを受け取り、MinMaxスケーリングを適用して正規化したデータを返します。

応用例

データセットに複数の特徴量がある場合でも、numpyを使って簡単に正規化を適用できます。以下のコードでは、2次元のデータセットを正規化しています。

import numpy as np
def minmax_scaling_2d(data):
    min_values = np.min(data, axis=0)
    max_values = np.max(data, axis=0)
    normalized_data = (data - min_values) / (max_values - min_values)
    return normalized_data

data = np.array([[1, 50],
[2, 100],
[3, 150],
[4, 200],
[5, 250]])
normalized_data = minmax_scaling_2d(data)
print(normalized_data)

上記のコードでは、2次元のデータセットを引数として受け取り、各特徴量に対して正規化を適用しています。axis=0を指定することで、列ごとの最小値と最大値を計算できます。

numpyを使った標準化の方法

Zスコアによる標準化

Zスコアは、データの平均と標準偏差を使って標準化を行う手法です。以下の式で表されます。

標準化された値 = (データ – 平均) / 標準偏差

コード例と解説

import numpy as np
def z_score_scaling(data):
    mean = np.mean(data)
    std = np.std(data)
    standardized_data = (data - mean) / std
    return standardized_data

data = np.array([10, 20, 30, 40, 50])
standardized_data = z_score_scaling(data)
print(standardized_data)

上記のコードでは、numpyを使ってデータの標準化を行っています。関数z_score_scaling()は、引数としてデータを受け取り、Zスコアを適用して標準化したデータを返します。

応用例

複数の特徴量があるデータセットに対しても、numpyを使って簡単に標準化を適用できます。以下のコードでは、2次元のデータセットを標準化しています。

import numpy as np
def z_score_scaling_2d(data):
    mean = np.mean(data, axis=0)
    std = np.std(data, axis=0)
    standardized_data = (data - mean) / std
    return standardized_data

data = np.array([[1, 50],
[2, 100],
[3, 150],
[4, 200],
[5, 250]])
standardized_data = z_score_scaling_2d(data)
print(standardized_data)

上記のコードでは、2次元のデータセットを引数として受け取り、各特徴量に対して標準化を適用しています。axis=0を指定することで、列ごとの平均と標準偏差を計算できます。