BeautifulSoupでContentを取得 !Meta NameとKeywordsの抽出方法｜自作で機械学習モデル・AIの使い方を学ぶ

Webページのメタデータは、検索エンジンにとって非常に重要な情報です。そのため、メタデータの設定はSEO対策において欠かせません。本記事では、PythonのライブラリであるBeautifulSoupを使ってHTMLのmetaタグからname, content, keywordsを取得する方法を解説します。

BeautifulSoupとは何か、なぜそれが必要か

BeautifulSoupは、HTMLやXMLなどのマークアップ言語からデータを抽出するためのPythonライブラリです。Webスクレイピングやデータマイニングなどによく使われます。

HTMLのmetaタグは、Webページのメタデータを記述するために使われます。metaタグには、name属性、content属性、keywords属性などがあり、これらの情報を取得することで、SEO対策やWebページの改善に役立てることができます。

しかし、HTMLのmetaタグはWebページのソースコードの中に埋め込まれているため、手作業で取得することは非常に困難です。そこで、BeautifulSoupを使って自動的に取得することができます。

BeautifulSoupを使ってmeta nameを取得する方法

metaタグのname属性には、Webページのタイトルや説明など、重要な情報が含まれています。BeautifulSoupを使って、以下のように取得することができます。

from bs4 import BeautifulSoup
import requests
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
meta_tags = soup.find_all('meta')
for tag in meta_tags:
    if tag.get('name') == 'description':
        description = tag.get('content')
        print(description)
    elif tag.get('name') == 'keywords':
        keywords = tag.get('content')
        print(keywords)

上記のコードでは、requestsモジュールを使ってWebページのHTMLを取得し、BeautifulSoupでパースしています。そして、find_allメソッドでmetaタグを取得し、name属性がdescriptionやkeywordsのものを抽出しています。

上記のコードを実行すると、以下のようにWebページのdescriptionとkeywordsが表示されます。

Webページの説明文
BeautifulSoup, meta, name, content, keywords, HTML, SEO

BeautifulSoupを使ってmeta contentを取得する方法

metaタグのcontent属性には、Webページの説明文やキーワードなど、詳細な情報が含まれています。以下のようにBeautifulSoupを使って、meta contentを取得することができます。

from bs4 import BeautifulSoup
import requests
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
meta_tags = soup.find_all('meta')
for tag in meta_tags:
    if tag.get('content'):
        content = tag.get('content')
        print(content)

上記のコードでは、metaタグのcontent属性が存在する場合に、その値を取得しています。上記のコードを実行すると、以下のようにWebページのmeta contentが表示されます。

Webページの説明文
BeautifulSoup, meta, name, content, keywords, HTML, SEO

BeautifulSoupを使ってmeta keywordsを取得する方法

metaタグのkeywords属性には、Webページのキーワードが含まれています。以下のようにBeautifulSoupを使って、meta keywordsを取得することができます。

from bs4 import BeautifulSoup
import requests
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
meta_tags = soup.find_all('meta')
for tag in meta_tags:
    if tag.get('name') == 'keywords':
        keywords = tag.get('content')
        print(keywords)

上記のコードでは、name属性がkeywordsのmetaタグを抽出して、そのcontent属性を取得しています。上記のコードを実行すると、以下のようにWebページのmeta keywordsが表示されます。

BeautifulSoup, meta, name, content, keywords, HTML, SEO

BeautifulSoupで取得したmeta nameやmeta content, meta keywordsをどのように活用するか

取得したmeta nameやmeta content, meta keywordsは、WebページのSEO対策に役立てることができます。たとえば、以下のようなことが考えられます。

meta descriptionを適切に設定することで、検索エンジンの検索結果に表示されるテキストを制御することができます。
meta keywordsを設定することで、Webページのキーワードを明示的に指定することができます。ただし、検索エンジンは現在、meta keywordsをほとんど無視しているため、あまり意味がありません。