Python urllibの使い方 Webスクレイピングの基本｜自作で機械学習モデル・AIの使い方を学ぶ

Python urllibとは何か

Python urllibはPython標準ライブラリの一つで、HTTPやFTPを含むURLを扱うためのライブラリです。WebスクレイピングやAPIの呼び出しなど、Web上の様々な情報を取得するために使用されます。

Python urllibのインストール方法

Python urllibはPython標準ライブラリに含まれているため、インストールの必要はありません。

Python urllibを用いたWebページの取得方法

Python urllibを使用することで、Webページの取得が簡単に行えます。以下のようにコードを書くことで、URLからWebページを取得することができます。

import urllib.request
url = "https://www.example.com/"
response = urllib.request.urlopen(url)
html = response.read().decode("utf-8")
print(html)

このコードでは、urllib.request.urlopen()メソッドを使用して指定したURLからWebページを取得し、response変数に格納します。次に、response.read()メソッドでWebページの内容をバイト列で取得し、decode()メソッドで文字列に変換します。最後に、取得したWebページの内容を表示します。

Python urllibを用いた情報の抽出方法

Python urllibを使用することで、Webページから特定の情報を抽出することができます。以下のようにコードを書くことで、Webページからタイトルを取得することができます。

import urllib.request
import re
url = "https://www.example.com/"
response = urllib.request.urlopen(url)
html = response.read().decode("utf-8")
title_regex = re.compile("")
title = title_regex.search(html).group(1)
print(title)

このコードでは、reモジュールを使用して正規表現を定義し、Webページからタイトルを取得します。正規表現を使用することで、Webページから任意の情報を取得することができます。

Python urllibを用いたエラーハンドリングの方法

Python urllibを使用することで、Webページの取得中に発生するエラーに対処することができます。以下のようにコードを書くことで、エラーが発生した場合にはエラーメッセージを表示することができます。

import urllib.request
import urllib.error
url = "https://www.example.com/"
try:
    response = urllib.request.urlopen(url)
    html = response.read().decode("utf-8")
except urllib.error.HTTPError as e:
    print("HTTPError: ", e.code)
except urllib.error.URLError as e:
    print("URLError: ", e.reason)
else:
    print(html)

このコードでは、try-except文を使用してエラーハンドリングを行います。Webページの取得中にHTTPErrorやURLErrorが発生した場合には、それぞれのエラーコードやエラー原因を表示します。

Python urllibの応用例

Python urllibはWebスクレイピングの基本として使用されますが、その他にも様々な応用例があります。例えば、APIを呼び出すことで、Web上の様々な情報を取得することができます。

以下のように、、指定した都市の天気情報を取得することができます。

import urllib.request
import json
api_key = "API_KEY"
city = "Tokyo"
url = f"スクレイピングする再度のURL" + f"/weather?q={city}&appid={api_key}"
response = urllib.request.urlopen(url)
json_data = response.read().decode("utf-8")
data = json.loads(json_data)
print("City:", data["name"])
print("Weather:", data["weather"][0]["main"])

このコードでは、指定した都市の天気情報を取得します。取得したJSONデータをPythonの辞書型に変換し、必要な情報を取り出して表示します。