【Python】pandasを使って上から順にデータを操作するコツ｜自作で機械学習モデル・AIの使い方を学ぶ

はじめに

pandasは、Pythonでデータ解析や加工を行うためのライブラリの1つであり、大量のデータを扱う場合でも高速かつ効率的な処理が可能です。この記事では、pandasを使ってデータを上から順に操作する方法について説明します。

pandasを使って上から順にデータを操作する利点

pandasを使ってデータを上から順に操作することには、以下のような利点があります。

データセットの大きさに関係なく、データを正確かつ迅速に操作できる。
データセットを先頭から確認しながら操作できるため、時系列データの傾向やパターンを把握できる。

データフレームを上から順に操作する方法

Pandasのデータフレームを上から処理する際にはrolling()を使用します。

rollingは時系列データの分析などでよく使用されるメソッドで、データ数を指定して縦方向のデータを取得し、処理することが出来ます。
たとえば、上から3つのデータの最小値を取得する処理は以下のようになります。

import numpy as np
import pandas as pd

df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9,10],
                   'b':[10,9,8,7,6,5,4,3,2,1]})

df['c'] = df['a'].rolling(3).min()

print(df)

c列を確認すると3行分の最小値が設定されていることがわかります。

a   b    c
0   1  10  NaN
1   2   9  NaN
2   3   8  1.0
3   4   7  2.0
4   5   6  3.0
5   6   5  4.0
6   7   4  5.0
7   8   3  6.0
8   9   2  7.0
9  10   1  8.0

前から順に平均値を求める

rollingを使用して上から順に最小値を求めます。最小値を求める範囲は3行分とするため、rollingの引数に3を指定しています。

df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9,10],
                   'b':[10,9,8,7,6,5,4,3,2,1]})

df['c'] = df['a'].rolling(3).mean()
print(df)

処理を実行するとcにa列の3行分のデータの最小値が取得されていることがわかります。

    a   b    c
0   1  10  NaN
1   2   9  NaN
2   3   8  2.0
3   4   7  3.0
4   5   6  4.0
5   6   5  5.0
6   7   4  6.0
7   8   3  7.0
8   9   2  8.0
9  10   1  9.0

前から順に自作関数を適用する

rollingにはapplyと組み合わせることで自作関数を適用することもできます。
ここでは最大値を返すmaxfuncという関数を作成し、applyを使って適用しています。

def maxfunc(x):
    return np.max(x)

df['d'] = df['a'].rolling(3).apply(maxfunc)


print(df)

処理を実行するとdにa列の3行分のデータの最大値が取得されていることがわかります。

    a   b    c     d
0   1  10  NaN   NaN
1   2   9  NaN   NaN
2   3   8  2.0   3.0
3   4   7  3.0   4.0
4   5   6  4.0   5.0
5   6   5  5.0   6.0
6   7   4  6.0   7.0
7   8   3  7.0   8.0
8   9   2  8.0   9.0
9  10   1  9.0  10.0