BeautifulSoupで特定のタグを抽出し、特定のタグを除外する方法｜自作で機械学習モデル・AIの使い方を学ぶ

Webスクレイピングにおいて、HTMLから特定のタグを抽出することは非常に重要です。しかし、時には不要なタグを取り除きたい場合もあります。

BeautifulSoupとは

BeautifulSoupは、Pythonのライブラリであり、HTMLやXMLファイルから情報を取り出すために使用されます。HTMLやXMLファイルを解析して、タグや属性、テキストなどを取得することができます。

BeautifulSoupで特定のタグを抽出する方法

BeautifulSoupで特定のタグを抽出するには、find_all()メソッドを使用します。このメソッドは、指定したタグを全て取得し、リストとして返します。

import requests
from bs4 import BeautifulSoup
# HTMLを取得する
url = "http://example.com"
res = requests.get(url)
html = res.content
# BeautifulSoupオブジェクトを生成する
soup = BeautifulSoup(html, "html.parser")
# aタグを取得する
a_tags = soup.find_all("a")
# aタグのテキストを表示する
for a in a_tags:
    print(a.text)

上記のコードでは、requestsライブラリを使用して、指定したURLのHTMLを取得し、BeautifulSoupオブジェクトを生成しています。その後、find_all()メソッドを使用して、aタグを全て取得しています。

BeautifulSoupで特定のタグを除外する方法

BeautifulSoupで特定のタグを除外するには、extract()メソッドを使用します。このメソッドは、指定したタグを削除します。

import requests
from bs4 import BeautifulSoup
# HTMLを取得する
url = "http://example.com"
res = requests.get(url)
html = res.content
# BeautifulSoupオブジェクトを生成する
soup = BeautifulSoup(html, "html.parser")
# scriptタグを削除する
for script in soup.find_all("script"):
    script.extract()
# HTMLを表示する
print(soup.prettify())

上記のコードでは、requestsライブラリを使用して、指定したURLのHTMLを取得し、BeautifulSoupオブジェクトを生成しています。その後、find_all()メソッドを使用して、scriptタグを全て取得し、extract()メソッドを使用して削除しています。最後に、prettify()メソッドを使用して、整形されたHTMLを表示しています。

BeautifulSoupでのタグ抽出・除外の活用例

BeautifulSoupでのタグ抽出・除外は、Webスクレイピングにおいて非常に重要なテクニックです。以下に、その活用例をいくつか紹介します。

ニュース記事のタイトルと本文を取得する

ニュースサイトのHTMLから、タイトルと本文を取得するには、以下のようにコードを記述します。

import requests
from bs4 import BeautifulSoup
# HTMLを取得する
url = "http://example.com/news/123"
res = requests.get(url)
html = res.content
# BeautifulSoupオブジェクトを生成する
soup = BeautifulSoup(html, "html.parser")
# タイトルを取得する
title = soup.find("h1", class_="title").text
# 本文を取得する
body = soup.find("div", class_="body").text

上記のコードでは、requestsライブラリを使用して、指定したURLのHTMLを取得し、BeautifulSoupオブジェクトを生成しています。その後、find()メソッドを使用して、タイトルと本文を取得しています。

商品ページの価格を取得する

ECサイトの商品ページのHTMLから、価格を取得するには、以下のようにコードを記述します。

import requests
from bs4 import BeautifulSoup
# HTMLを取得する
url = "http://example.com/product/123"
res = requests.get(url)
html = res.content
# BeautifulSoupオブジェクトを生成する
soup = BeautifulSoup(html, "html.parser")
# 価格を取得する
price = soup.find("span", class_="price").text

上記のコードでは、requestsライブラリを使用して、指定したURLのHTMLを取得し、BeautifulSoupオブジェクトを生成しています。その後、find()メソッドを使用して、価格を取得しています。

BeautifulSoupでのタグ抽出・除外の注意点

BeautifulSoupでのタグ抽出・除外において、以下の注意点があります。

HTMLの構造に依存するため、HTMLの変更に弱い
タグや属性の指定が誤っていると、エラーが発生する
タグの抽出・除外は、正確に指定する必要がある

BeautifulSoupの応用

BeautifulSoupは、Webスクレイピングにおいて非常に重要なライブラリです。以下に、BeautifulSoupの応用例をいくつか紹介します。

Webページの自動保存

指定したURLのWebページを自動保存するには、以下のようにコードを記述します。

import requests
from bs4 import BeautifulSoup
# HTMLを取得する
url = "http://example.com"
res = requests.get(url)
html = res.content
# BeautifulSoupオブジェクトを生成する
soup = BeautifulSoup(html, "html.parser")
# ファイルに保存する
with open("example.html", "w") as f:
    f.write(soup.prettify())

上記のコードでは、requestsライブラリを使用して、指定したURLのHTMLを取得し、BeautifulSoupオブジェクトを生成しています。その後、prettify()メソッドを使用して、整形されたHTMLをファイルに保存しています。

Webページのスクリーンショットを取得する

指定したURLのWebページのスクリーンショットを取得するには、以下のようにコードを記述します。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
# URLを指定する
url = "http://example.com"
# ブラウザを起動する
driver = webdriver.Chrome()
# Webページを開く
driver.get(url)
# スクリーンショットを取得する
driver.save_screenshot("example.png")
# ブラウザを終了する
driver.quit()

上記のコードでは、requestsライブラリを使用して、指定したURLのHTMLを取得し、BeautifulSoupオブジェクトを生成しています。その後、Seleniumライブラリを使用して、ブラウザを起動し、指定したURLのWebページを開いています。最後に、save_screenshot()メソッドを使用して、スクリーンショットを取得しています。

まとめ

本記事では、BeautifulSoupを使用して、特定のタグを抽出する方法と、特定のタグを除外する方法を紹介しました。また、それらのテクニックを使用した活用例をいくつか紹介し、注意点や応用例についても紹介しました。

Webスクレイピングにおいて、BeautifulSoupは非常に重要なライブラリです。ぜひ、本記事で紹介したテクニックを活用して、効率的なWebスクレイピングを実現してください。