Python RequestsライブラリでWebスクレイピングを始めよう！｜自作で機械学習モデル・AIの使い方を学ぶ

Python Requestsライブラリの概要とその利点

Python Requestsは、PythonでHTTP通信を行うためのライブラリです。HTTPリクエストを送信し、レスポンスを受け取ることができます。Python標準ライブラリのurllibよりもシンプルで使いやすく、APIも豊富なため、Webスクレイピングにおいてもよく使われるライブラリの一つです。

Python Requestsライブラリの利点は以下の通りです。

シンプルで使いやすい
HTTPリクエストを送信するためのAPIが豊富
HTTPリクエストの送信とレスポンスの受信が自動で行われるため、手軽にHTTP通信ができる

Python Requestsライブラリのインストール方法

Python Requestsライブラリをインストールするには、pipコマンドを使用します。コマンドプロンプトまたはターミナルで以下のコマンドを実行してください。

pip install requests

インストールが完了したら、Pythonスクリプト内でimport文を使用してライブラリをインポートしてください。

import requests

Python Requestsライブラリの基本的な使い方

Python Requestsライブラリを使用するには、requestsモジュールのget()メソッドを使用します。get()メソッドは、指定したURLにHTTP GETリクエストを送信し、レスポンスを受け取ります。

以下は、GETリクエストを送信し、レスポンスを取得するPythonスクリプトの例です。

import requests
url = "https://www.example.com/"
response = requests.get(url)
print(response.text)

上記のスクリプトを実行すると、HTMLコードが出力されます。

Python RequestsライブラリでのWebスクレイピングの具体的な手順

Python Requestsライブラリを使用したWebスクレイピングの手順は以下の通りです。

requestsモジュールをインポートする
GETまたはPOSTリクエストを送信するためのURLを指定する
GETまたはPOSTリクエストを送信する
レスポンスを解析して必要な情報を取得する

以下は、オークションサイトの商品検索結果から商品名と価格を取得するPythonスクリプトの例です。

import requests
from bs4 import BeautifulSoup
search_word = "MacBook Air"
url = f"スクレイピングするサイトのURL"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
items = soup.select(".itemsList .Product")
for item in items:
    name = item.select_one(".Product__titleLink").text
    price = item.select_one(".Product__priceValue").text
    print(name, price)

上記のスクリプトを実行すると、オークションサイトの商品検索結果から商品名と価格が出力されます。