Pandasで時系列分析の基本!時系列毎の集計[Python] ｜自作で機械学習モデル・AIの使い方を学ぶ

はじめに

時系列データは、時間的な順序に従って収集されたデータのことを指します。例えば、株価や気温、売上データなどが時系列データの一例です。PandasはPythonのデータ解析ライブラリであり、時系列データの取り扱いにも優れています。

Pandasでの時系列データの作成方法

Pandasでは、時系列データを扱うための専用のデータ構造として「DatetimeIndex」を使用します。DatetimeIndexは、日時をインデックスとして持つデータフレームを作成するためのインデックスの一種です。

例えば、以下のコードを使用して、日時がインデックスとなったデータフレームを作成できます。

import pandas as pd
# 日時の範囲を指定してDatetimeIndexを作成
date_range = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
# データフレームの作成
df = pd.DataFrame(index=date_range)
print(df.head())

上記のコードでは、2023年1月1日から2023年12月31日までの日付範囲を1日ごとに生成し、それをインデックスとして持つデータフレームを作成しています。

時系列データの基本的な集計方法

Pandasを使用すると、時系列データの基本的な集計を簡単に行うことができます。以下にいくつかの基本的な集計方法を示します。

平均値の計算

時系列データの平均値を計算するには、resampleメソッドを使用します。例えば、以下のコードでは、月ごとの平均値を計算しています。

# 月ごとの平均値を計算
monthly_mean = df.resample('M').mean()
print(monthly_mean.head())

上記のコードでは、resample('M')によって月ごとのグループに分け、mean()メソッドによって各グループの平均値を計算しています。

合計値の計算

# ータの合計値を計算するには、resampleメソッドとsum()メソッドを組み合わせて使用します。以下のコードは、年ごとの合計値を計算する例です。

# 年ごとの合計値を計算
yearly_sum = df.resample('Y').sum()
print(yearly_sum.head())

上記のコードでは、resample('Y')によって年ごとのグループに分け、sum()メソッドによって各グループの合計値を計算しています。

時系列による集計の応用例（月ごと、年ごとなど）

時系列データの集計は、月ごとや年ごとの統計情報を把握する上で重要です。Pandasでは、resampleメソッドの引数に異なる頻度（’M’、’Y’など）を指定することで、様々な集計が可能です。

例えば、以下のコードは、日次のデータから月ごとの平均値、最大値、最小値を計算する例です。

# 統計量を算出する値を作成
df['num'] = list(range(len(df)))

# 月ごとの平均値、最大値、最小値を計算
monthly_stats = df.resample('M').agg(['mean', 'max', 'min'])
print(monthly_stats.head())

上記のコードでは、agg()メソッドを使用して、’mean’（平均値）、’max’（最大値）、’min’（最小値）を指定しています。

時系列分析で出る可能性のある問題とその解決策

時系列分析を行う際には、いくつかの問題が生じる可能性があります。以下に代表的な問題とその解決策をいくつか紹介します。

欠損値の処理

時系列データには欠損値が含まれる場合があります。欠損値を適切に処理しないと、分析結果に影響を与える可能性があります。Pandasでは、fillna()メソッドやinterpolate()メソッドなどを使用して、欠損値を補完することができます。

外れ値の検出と除外

時系列データには、外れ値（異常値）が含まれることがあります。外れ値は、分析結果に歪みを与える可能性があります。Pandasを使用して外れ値を検出し、必要に応じて除外することができます。一般的な外れ値検出手法としては、統計的な手法（例：3σ法やTukeyの外れ値検出）や機械学習ベースの手法（例：ロバスト回帰、異常検知アルゴリズム）を使用することがあります。