BeautifulSoupとRegexを活用 href, title, valueの抽出方法｜自作で機械学習モデル・AIの使い方を学ぶ

BeautifulSoupとRegexは、PythonでHTMLの解析をするための強力なツールです。この記事では、BeautifulSoupとRegexを使って、HTML内のhref属性、title属性、value属性を抽出する方法について説明します。

BeautifulSoupとRegexの基本的な説明

BeautifulSoupは、PythonでHTMLを解析するためのライブラリです。HTMLの構文解析を自動化し、HTML内の要素を取得することができます。Regexは、正規表現を扱うためのライブラリです。HTML内の特定のパターンを検索する際に使用します。

BeautifulSoupとRegexを使用したHTMLの解析方法

BeautifulSoupとRegexを組み合わせることで、HTML内の特定の要素を抽出することができます。以下は、BeautifulSoupとRegexを使用して、HTML内のaタグを全て取得するサンプルコードです。

import re
from bs4 import BeautifulSoup
html = '<html><body><a href="http://example.com">example</a></body></html>'
soup = BeautifulSoup(html, 'html.parser')
a_tags = soup.find_all('a', href=re.compile('^http://'))
print(a_tags)

上記のコードでは、HTML内のaタグのhref属性が”http://”で始まるものを全て取得しています。

BeautifulSoupによるhref属性の抽出方法

BeautifulSoupを使用して、HTML内のhref属性を抽出する方法は以下の通りです。

from bs4 import BeautifulSoup
html = '<html><body><a href="http://example.com">example</a></body></html>'
soup = BeautifulSoup(html, 'html.parser')
a_tags = soup.find_all('a')
for a in a_tags:
    print(a['href'])

上記のコードでは、HTML内のaタグのhref属性を全て取得しています。

BeautifulSoupを用いてhref内のtitleを取得する方法

BeautifulSoupを使用して、HTML内のhref属性内のtitle属性を抽出する方法は以下の通りです。

from bs4 import BeautifulSoup
html = '<html><body><a href="http://example.com" title="example">example</a></body></html>'
soup = BeautifulSoup(html, 'html.parser')
a_tags = soup.find_all('a')
for a in a_tags:
    print(a.get('title'))

上記のコードでは、HTML内のaタグのhref属性内のtitle属性を全て取得しています。

BeautifulSoupとRegexを組み合わせてhrefから特定のパターンを抽出する方法

BeautifulSoupとRegexを使用して、HTML内のhref属性から特定のパターンを抽出する方法は以下の通りです。

import re
from bs4 import BeautifulSoup
html = '<html><body><a href="http://example.com/1">example1</a><a href="http://example.com/2">example2</a></body></html>'
soup = BeautifulSoup(html, 'html.parser')
a_tags = soup.find_all('a', href=re.compile('/1

上記のコードでは、HTML内のaタグのhref属性から、末尾が「/1」であるものを全て取得しています。

BeautifulSoupによるhrefのvalue値の抽出方法

BeautifulSoupを使用して、HTML内のhref属性のvalue値を抽出する方法は以下の通りです。

from bs4 import BeautifulSoup
html = '<html><body><a href="http://example.com">example</a></body></html>'
soup = BeautifulSoup(html, 'html.parser')
a_tags = soup.find_all('a')
for a in a_tags:
    print(a.get('href'))

上記のコードでは、HTML内のaタグのhref属性のvalue値を全て取得しています。