【Python】Pandasで不等号を使ってデータフレームをフィルタリングする方法

はじめに

PandasはPythonでデータ分析を行う際に欠かせないライブラリの一つです。Pandasを使えば、Excelのようなテーブル形式のデータを簡単に扱うことができます。Pandasには、データフレームというオブジェクトがあり、これを使えばデータフレーム内のデータを簡単にフィルタリングできます。

データフレームのフィルタリングの重要性

データ分析では、多くの場合、全てのデータを分析するのではなく、特定の条件を満たすデータだけを取り出して分析を行うことがあります。このような場合、データフレームのフィルタリングが必要となります。Pandasを使えば、フィルタリングは簡単に行えます。

不等号を使った基本的なフィルタリング方法

不等号を使って、ある列の値が特定の値よりも大きいデータや、特定の値よりも小さいデータを抽出することができます。

以下の例では、irisデータセットを読み込み、”petal_width”が1.5より大きいデータを抽出しています。

import pandas as pd
# irisデータセットを読み込む
iris = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',
                   names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])
# "petal_width"が1.5より大きいデータを抽出する
df = iris[iris['petal_width'] > 1.5]
print(df)

上記のコードを実行すると、以下のように”petal_width”が1.5より大きいデータが抽出されます。

     sepal_length  sepal_width  petal_length  petal_width            class
56            6.3          3.3           4.7          1.6  Iris-versicolor
70            5.9          3.2           4.8          1.8  Iris-versicolor
77            6.7          3.0           5.0          1.7  Iris-versicolor
83            6.0          2.7           5.1          1.6  Iris-versicolor
85            6.0          3.4           4.5          1.6  Iris-versicolor
100           6.3          3.3           6.0          2.5   Iris-virginica
101           5.8          2.7           5.1          1.9   Iris-virginica
102           7.1          3.0           5.9          2.1   Iris-virginica
103           6.3          2.9           5.6          1.8   Iris-virginica
104           6.5          3.0           5.8          2.2   Iris-virginica
105           7.6          3.0           6.6          2.1   Iris-virginica
106           4.9          2.5           4.5          1.7   Iris-virginica
107           7.3          2.9           6.3          1.8   Iris-virginica
108           6.7          2.5           5.8          1.8   Iris-virginica
109           7.2          3.6           6.1          2.5   Iris-virginica
110           6.5          3.2           5.1          2.0   Iris-virginica
111           6.4          2.7           5.3          1.9   Iris-virginica
112           6.8          3.0           5.5          2.1   Iris-virginica
113           5.7          2.5           5.0          2.0   Iris-virginica
114           5.8          2.8           5.1          2.4   Iris-virginica
115           6.4          3.2           5.3          2.3   Iris-virginica
116           6.5          3.0           5.5          1.8   Iris-virginica
117           7.7          3.8           6.7          2.2   Iris-virginica
118           7.7          2.6           6.9          2.3   Iris-virginica
120           6.9          3.2           5.7          2.3   Iris-virginica
121           5.6          2.8           4.9          2.0   Iris-virginica
122           7.7          2.8           6.7          2.0   Iris-virginica
123           6.3          2.7           4.9          1.8   Iris-virginica
124           6.7          3.3           5.7          2.1   Iris-virginica
125           7.2          3.2           6.0          1.8   Iris-virginica
126           6.2          2.8           4.8          1.8   Iris-virginica
127           6.1          3.0           4.9          1.8   Iris-virginica
128           6.4          2.8           5.6          2.1   Iris-virginica
129           7.2          3.0           5.8          1.6   Iris-virginica
130           7.4          2.8           6.1          1.9   Iris-virginica
131           7.9          3.8           6.4          2.0   Iris-virginica
132           6.4          2.8           5.6          2.2   Iris-virginica
135           7.7          3.0           6.1          2.3   Iris-virginica
136           6.3          3.4           5.6          2.4   Iris-virginica
137           6.4          3.1           5.5          1.8   Iris-virginica
138           6.0          3.0           4.8          1.8   Iris-virginica
139           6.9          3.1           5.4          2.1   Iris-virginica
140           6.7          3.1           5.6          2.4   Iris-virginica
141           6.9          3.1           5.1          2.3   Iris-virginica
142           5.8          2.7           5.1          1.9   Iris-virginica
143           6.8          3.2           5.9          2.3   Iris-virginica
144           6.7          3.3           5.7          2.5   Iris-virginica
145           6.7          3.0           5.2          2.3   Iris-virginica
146           6.3          2.5           5.0          1.9   Iris-virginica
147           6.5          3.0           5.2          2.0   Iris-virginica
148           6.2          3.4           5.4          2.3   Iris-virginica
149           5.9          3.0           5.1          1.8   Iris-virginica

不等号を使って、ある列の値が特定の値以下、または特定の値以上のデータを抽出することもできます。

以下の例では、irisデータセットを読み込み、”sepal_width”が3以下のデータを抽出しています。

import pandas as pd
# irisデータセットを読み込む
iris = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',
                   names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])
# "sepal_width"が3以下のデータを抽出する
df = iris[iris['sepal_width'] <= 3]
print(df)

上記のコードを実行すると、以下のように”sepal_width”が3以下のデータが抽出されます。

     sepal_length  sepal_width  petal_length  petal_width           class
0             5.1          3.5           1.4          0.2     Iris-setosa
1             4.9          3.0           1.4          0.2     Iris-setosa
2             4.7          3.2           1.3          0.2     Iris-setosa
3             4.6          3.1           1.5          0.2     Iris-setosa
4             5.0          3.6           1.4          0.2     Iris-setosa
..            ...          ...           ...          ...             ...
144           6.7          3.3           5.7          2.5  Iris-virginica
145           6.7          3.0           5.2          2.3  Iris-virginica
147           6.5          3.0           5.2          2.0  Iris-virginica
148           6.2          3.4           5.4          2.3  Iris-virginica
149           5.9          3.0           5.1          1.8  Iris-virginica

不等号を使ったフィルタリングは非常に簡単で、データ分析の基本的な操作です。

複数の条件を組み合わせたフィルタリング

複数の条件を組み合わせて、より詳細なフィルタリングを行うこともできます。複数の条件を組み合わせる場合は、&（かつ）や|（または）を使って条件を結合します。

以下の例では、irisデータセットを読み込み、”petal_width”が1.5より大きく、かつ”class”が”Iris-versicolor”であるデータを抽出しています。

import pandas as pd
# irisデータセットを読み込む
iris = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',
names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])
# "petal_width"が1.5より大きく、かつ"class"が"Iris-versicolor"であるデータを抽出する
df = iris[(iris['petal_width'] > 1.5) & (iris['class'] == 'Iris-versicolor')]
print(df)

上記のコードを実行すると、以下のように”petal_width”が1.5より大きく、かつ”class”が”Iris-versicolor”であるデータが抽出されます。

    sepal_length  sepal_width  petal_length  petal_width            class
56           6.3          3.3           4.7          1.6  Iris-versicolor
70           5.9          3.2           4.8          1.8  Iris-versicolor
77           6.7          3.0           5.0          1.7  Iris-versicolor
83           6.0          2.7           5.1          1.6  Iris-versicolor
85           6.0          3.4           4.5          1.6  Iris-versicolor

複数の条件を組み合わせてフィルタリングを行うことで、より詳細なデータの抽出が可能となります。

大きい順や小さい順にフィルタリングする方法

データフレームのデータを大きい順や小さい順にフィルタリングすることもできます。Pandasでは、sort_values()関数を使って、データを並べ替えることができます。

以下の例では、irisデータセットを読み込み、”sepal_width”が小さい順に並べ替えています。

import pandas as pd
# irisデータセットを読み込む
iris = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',
                   names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])
# "sepal_width"が小さい順に並べ替える
df = iris.sort_values('sepal_width')
print(df)

上記のコードを実行すると、以下のように”sepal_width”が小さい順にデータが並べ替えられます。

     sepal_length  sepal_width  petal_length  petal_width            class
60            5.0          2.0           3.5          1.0  Iris-versicolor
62            6.0          2.2           4.0          1.0  Iris-versicolor
119           6.0          2.2           5.0          1.5   Iris-virginica
68            6.2          2.2           4.5          1.5  Iris-versicolor
41            4.5          2.3           1.3          0.3      Iris-setosa
..            ...          ...           ...          ...              ...
16            5.4          3.9           1.3          0.4      Iris-setosa
14            5.8          4.0           1.2          0.2      Iris-setosa
32            5.2          4.1           1.5          0.1      Iris-setosa
33            5.5          4.2           1.4          0.2      Iris-setosa
15            5.7          4.4           1.5          0.4      Iris-setosa

sort_values()関数は、デフォルトでは昇順に並べ替えます。降順に並べ替える場合は、引数に”ascending=False”を指定します。

以下の例では、irisデータセットを読み込み、”petal_length”が大きい順に並べ替えています。

import pandas as pd
# irisデータセットを読み込む
iris = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',
                   names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])
# "petal_length"が大きい順に並べ替える
df = iris.sort_values('petal_length', ascending=False)
print(df)

上記のコードを実行すると、以下のように”petal_length”が大きい順にデータが並べ替えられます。

     sepal_length  sepal_width  petal_length  petal_width           class
118           7.7          2.6           6.9          2.3  Iris-virginica
122           7.7          2.8           6.7          2.0  Iris-virginica
117           7.7          3.8           6.7          2.2  Iris-virginica
105           7.6          3.0           6.6          2.1  Iris-virginica
131           7.9          3.8           6.4          2.0  Iris-virginica
..            ...          ...           ...          ...             ...
36            5.5          3.5           1.3          0.2     Iris-setosa
35            5.0          3.2           1.2          0.2     Iris-setosa
14            5.8          4.0           1.2          0.2     Iris-setosa
13            4.3          3.0           1.1          0.1     Iris-setosa
22            4.6          3.6           1.0          0.2     Iris-setosa

sort_values()関数を使えば、データを昇順または降順に並べ替えることができます。

フィルタリング結果のデータフレーム操作

データフレームをフィルタリングした結果は、新しいデータフレームとして取り出すことができます。フィルタリングした結果に対して、別の操作を行うこともできます。

以下の例では、irisデータセットを読み込み、”petal_length”が1.5より大きいデータを抽出しています。その後、抽出したデータの”petal_width”の平均値を求めています。

import pandas as pd
# irisデータセットを読み込む
iris = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',
                   names=['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'class'])
# "petal_length"が
# 1.5より大きいデータを抽出する
df = iris[iris['petal_length'] > 1.5]
# 抽出したデータの"petal_width"の平均値を求める
mean_petal_width = df['petal_width'].mean()
print(mean_petal_width)

上記のコードを実行すると、以下のように抽出したデータの”petal_width”の平均値が求められます。

1.5185840707964604

フィルタリングしたデータに対して、別の操作を行うことで、より高度な分析を行うことができます。

まとめ

本記事では、Pandasを使ってデータフレームをフィルタリングする方法を解説しました。

データフレームのフィルタリングは、データ分析において非常に基本的な操作であり、Pandasを使えば簡単に行うことができます。不等号を使った基本的なフィルタリング、複数の条件を組み合わせたフィルタリング、大きい順や小さい順にフィルタリングする方法、フィルタリング結果のデータフレーム操作など、Pandasを使ったデータフレームのフィルタリングについて、詳しく解説しました。

データフレームのフィルタリングは、データ分析において非常に重要な操作です。本記事で紹介した方法を使って、データ分析を効率的に行うことができるようになりましょう。