BeautifulSoupでクラス名からのリンク取得と、取得できない時の対応｜自作で機械学習モデル・AIの使い方を学ぶ

はじめに

Webスクレイピングにおいて、リンクの取得は非常に重要な要素です。特に、クラス名からリンクを取得する場合は、BeautifulSoupを使うことで簡単に実現できます。しかし、取得できない場合もあるため、その際の対処法も合わせて紹介します。

BeautifulSoupを利用したクラス名からのリンク取得方法

BeautifulSoupは、HTMLやXMLの解析において、非常に便利なライブラリです。クラス名からリンクを取得する場合は、以下のようなコードを記述します。

import requests
from bs4 import BeautifulSoup
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
for link in soup.find_all("a", class_="example-class"):
    print(link.get("href"))

このコードでは、requestsを使ってWebページのHTMLを取得し、BeautifulSoupで解析した後、class=”example-class”という属性を持つaタグを探しています。そして、リンク先のURLを取得しています。

BeautifulSoupでリンクを取得できない時の原因とその対処法

しかし、すべてのWebページでリンクの取得ができるわけではありません。以下に、リンク取得がうまくいかない場合の原因とその対処法を紹介します。

1. Webページが存在しない場合

Webページが存在しない場合、リンクの取得もできません。この場合は、エラー処理を行う必要があります。

import requests
from bs4 import BeautifulSoup
url = "http://example.com/not-found"
response = requests.get(url)
if response.status_code == 404:
    print("ページが見つかりませんでした")
else:
    soup = BeautifulSoup(response.content, "html.parser")
    for link in soup.find_all("a", class_="example-class"):
        print(link.get("href"))

このコードでは、リクエストが404エラーを返した場合に「ページが見つかりませんでした」と表示しています。

2. リンクがない場合

Webページにリンクが存在しない場合、当然ながらリンクを取得することはできません。この場合は、リンクが存在するかどうかを確認する必要があります。

import requests
from bs4 import BeautifulSoup
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
links = soup.find_all("a", class_="example-class")
if len(links) == 0:
    print("リンクが見つかりませんでした")
else:
    for link in links:
        print(link.get("href"))

このコードでは、aタグの中でclass=”example-class”を持つものが1つも見つからなかった場合に「リンクが見つかりませんでした」と表示しています。

3. リンクが動的に生成される場合

Webページによっては、リンクが動的に生成される場合があります。この場合は、JavaScriptを使ってリンクを生成することが多いため、BeautifulSoupのみを使ってリンクを取得することはできません。

この場合は、Seleniumなどのツールを使って、ブラウザを操作してリンクを取得する必要があります。

BeautifulSoupによるクラス名を指定した要素の取得方法

BeautifulSoupを使って、クラス名を指定して要素を取得することもできます。クラス名を取得するには、以下のようなコードを記述します。

import requests
from bs4 import BeautifulSoup
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
for tag in soup.find_all(class_="example-class"):
    print(tag)

このコードでは、class=”example-class”という属性を持つ要素をすべて取得しています。

クラス名を指定してリンクを取得する具体的なコード例

クラス名を指定してリンクを取得する具体的なコード例を示します。

import requests
from bs4 import BeautifulSoup
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
for link in soup.find_all("a", class_="example-class"):
    print(link.get("href"))

このコードでは、class=”example-class”という属性を持つaタグを探して、リンク先のURLを取得しています。