Pandasで要約統計量を簡単に取得する方法

Pandasで要約統計量を簡単に取得する方法

データ分析において、データの要約統計量は非常に重要な役割を担います。データを一覧表示するだけではなく、平均値、中央値、最大値、最小値、標準偏差などを取得することで、データの傾向やばらつきを把握し、データの特徴を理解することができます。PandasはPythonでデータ分析を行う際に欠かせないライブラリであり、要約統計量を簡単に取得することができます。

要約統計量の重要性と用途

データの要約統計量を取得することで、データの特徴を把握することができます。例えば、平均値が高い場合はデータ全体が高い傾向にあります。また、標準偏差が大きい場合はデータがばらついていることを示しています。これらの要約統計量を把握することで、データの傾向やばらつきを把握し、データを理解することができます。また、データの前処理やモデルの構築においても、要約統計量は非常に重要な役割を担います。

Pandasを使った要約統計量の簡単な取得方法の紹介

Pandasを使うことで、要約統計量を簡単に取得することができます。以下では、Pandasで要約統計量を取得する方法を紹介します。

こんな人におすすめ

  • データ分析を行う人
  • Pythonを使ってデータ分析を行う人
  • Pandasを使ったデータ分析を行う人

使用する主なライブラリ

  • Pandas

Pandasで要約統計量を取得する方法

describe()メソッドの使い方

Pandasでは、データフレームに対してdescribe()メソッドを呼び出すことで、要約統計量を一度に取得することができます。以下は、サンプルデータを用いたdescribe()メソッドの例です。

import pandas as pd

# サンプルデータの作成
data = {'A': [1, 2, 3, 4, 5],
        'B': [2.0, 4.0, 6.0, 8.0, 10.0],
        'C': ['apple', 'banana', 'apple', 'banana', 'apple']}

df = pd.DataFrame(data)

# describe()メソッドの呼び出し
print(df.describe())

上記のコードを実行すると、以下のような要約統計量が表示されます。

             A         B
count  5.000000   5.00000
mean   3.000000   6.00000
std    1.581139   3.16228
min    1.000000   2.00000
25%    2.000000   4.00000
50%    3.000000   6.00000
75%    4.000000   8.00000
max    5.000000  10.00000

describe()メソッドによって、数値型の列に対しては、count（件数）、mean（平均値）、std（標準偏差）、min（最小値）、25%、50%、75%、max（最大値）が表示されます。カテゴリカルデータに対しては、count（件数）、unique（ユニークな値の数）、top（最頻値）、freq（最頻値の出現回数）が表示されます。

各種要約統計量を個別に取得する方法（平均、中央値、標準偏差など）

Pandasでは、describe()メソッド以外にも、平均値、中央値、標準偏差などの各種要約統計量を個別に取得することができます。以下は、サンプルデータを用いた個別の要約統計量を取得する方法の例です。

import pandas as pd

# サンプルデータの作成
data = {'A': [1, 2, 3, 4, 5],
        'B': [2.0, 4.0, 6.0, 8.0, 10.0],
        'C': ['apple', 'banana', 'apple', 'banana', 'apple']}

df = pd.DataFrame(data)

# 平均値の取得
print(df.mean())

# 中央値の取得
print(df.median())

# 標準偏差の取得
print(df.std())

上記のコードを実行すると、以下のような値が表示されます。

A    3.000000
B    6.000000
dtype: float64

A    3.0
B    6.0
dtype: float64

A    1.581139
B    3.162278
dtype: float64

mean()メソッドによって平均値、median()メソッドによって中央値、std()メソッドによって標準偏差を取得することができます。

カテゴリカルデータの要約統計量の取得

カテゴリカルデータに対しては、count（件数）、unique（ユニークな値の数）、top（最頻値）、freq（最頻値の出現回数）が表示されます。以下は、サンプルデータを用いたカテゴリカルデータの要約統計量の取得方法の例です。

import pandas as pd

# サンプルデータの作成
data = {'A': [1, 2, 3, 4, 5],
        'B': [2.0, 4.0, 6.0, 8.0, 10.0],
        'C': ['apple', 'banana', 'apple', 'banana', 'apple']}

df = pd.DataFrame(data)

# カテゴリカルデータの要約統計量の取得
print(df['C'].describe())

上記のコードを実行すると、以下のような値が表示されます。

count        5
unique       2
top       apple
freq         3
Name: C, dtype: object

describe()メソッドによって、カテゴリカルデータに対してはcount（件数）、unique（ユニークな値の数）、top（最頻値）、freq（最頻値の出現回数）が表示されます。

欠損値を含むデータの要約統計量の取得

欠損値を含むデータに対しても、要約統計量を取得することができます。欠損値が含まれる場合、countの値が欠損値を含まないデータの件数となります。以下は、サンプルデータに欠損値を含む場合の要約統計量の取得方法の例です。

import pandas as pd
import numpy as np

# サンプルデータの作成
data = {'A': [1, 2, np.nan, np.nan, 5],
'B': [2.0, np.nan, 6.0, 8.0, 10.0],
'C': ['apple', 'banana', 'apple', 'banana', 'apple']}

df = pd.DataFrame(data)

# 欠損値を含むデータの要約統計量の取得
print(df.describe())

上記のコードを実行すると、以下のような要約統計量が表示されます。

              A          B
count  3.000000   4.00000
mean   2.666667   6.50000
std    2.081666   3.41565
min    1.000000   2.00000
25%    1.500000   5.00000
50%    2.000000   7.00000
75%    3.500000   8.50000
max    5.000000  10.00000

上記の例では、欠損値が含まれる列については、countの値が4となっています。これは欠損値を含まないデータの件数となっています。

Pandasの活用例

Pandasを用いることで、CSVファイルの読み込みや、データフレームの作成が容易に行えます。以下は、CSVファイルの読み込みと要約統計量の取得方法の例です。

import pandas as pd

# CSVファイルの読み込み
df = pd.read_csv('sample.csv')

# 要約統計量の取得と表示
print(df.describe())

上記のコードを実行することで、CSVファイルからデータを読み込み、要約統計量を取得して表示することができます。

また、グループごとの要約統計量を取得することもできます。以下は、サンプルデータを用いたグループごとの要約統計量の取得方法の例です。

import pandas as pd

# サンプルデータの作成
data = {'A': [1, 2, 3, 4, 5],
        'B': [2.0, 4.0, 6.0, 8.0, 10.0],
        'C': ['apple', 'banana', 'apple', 'banana', 'apple']}

df = pd.DataFrame(data)

# グループごとの要約統計量の取得
print(df.groupby('C').describe())

上記のコードを実行すると、以下のような要約統計量が表示されます。

           A                                ...         B                          
       count mean       std  min  25%  50%  ...       std  min  25%  50%  75%   max
C                                           ...                                    
apple    3.0  3.0  2.000000  1.0  2.0  3.0  ...  4.000000  2.0  4.0  6.0  8.0  10.0
banana   2.0  3.0  1.414214  2.0  2.5  3.0  ...  2.828427  4.0  5.0  6.0  7.0   8.0

[2 rows x 16 columns]

上記の例では、C列をキーにグループ化した上で、各グループに対して要約統計量を取得しています。このように、Pandasを用いることで、グループごとに要約統計量を取得することができます。

また、時系列データに対しても要約統計量を取得することができます。以下は、サンプルデータを用いた時系列データの要約統計量の取得方法の例です。

import pandas as pd
import numpy as np

# サンプルデータの作成
date_range = pd.date_range('20210101', periods=5)
data = {'A': [1, 2, 3, 4, 5],
        'B': [2.0, 4.0, 6.0, 8.0, 10.0]}

df = pd.DataFrame(data, index=date_range)

# 時系列データの要約統計量の取得
print(df.resample('M').mean())

上記のコードを実行すると、以下のような要約統計量が表示されます。

              A    B
2021-01-31  3.0  6.0

上記の例では、resample()メソッドによって、月単位の平均値を取得しています。このように、時系列データに対しても要約統計量を取得することができます。

まとめ

Pandasを用いることで、要約統計量を簡単に取得することができます。describe()メソッドによって、一度に複数の要約統計量を取得することができます。また、個別に平均値、中央値、標準偏差などの各種要約統計量を取得することもできます。さらに、カテゴリカルデータや欠損値を含むデータに対しても要約統計量を取得することができます。Pandasを活用することで、CSVファイルの読み込みや、グループごとの要約統計量の取得、時系列データの要約統計量の取得など、様々なデータ処理が容易に行えます。

要約統計量は、データの特性を簡単に把握することができるため、データ分析において重要な役割を担います。Pandasを使って要約統計量を取得することで、データ分析の効率化や品質向上につながります。