Pythonを使ってURLを取得 !スクレイピングで情報取得の基本｜自作で機械学習モデル・AIの使い方を学ぶ

Pythonとスクレイピングの基本的な知識

Pythonは、プログラミング言語の1つで、Webスクレイピングにも利用されます。スクレイピングとは、Webページから必要な情報を自動的に収集することです。Pythonを使えば、簡単にWebページから情報を取得することができます。

スクレイピングでURLを取得するための準備

スクレイピングを行うには、まず必要なライブラリをインストールする必要があります。Pythonには、スクレイピングに必要なライブラリが豊富に用意されていますが、今回は「BeautifulSoup」と「requests」を使用します。

pip install beautifulsoup4
pip install requests

上記コマンドで、ライブラリをインストールしてください。

Pythonを使用したURLの取得方法

URLを取得するためには、まずWebページのHTMLソースを取得する必要があります。次に、取得したHTMLソースからURLを抽出します。

import requests
from bs4 import BeautifulSoup
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
for link in soup.find_all('a'):
    print(link.get('href'))

上記コードを実行すると、指定したURLのWebページからすべてのリンクのURLを取得することができます。

取得したURLから情報を抽出する方法

取得したURLから、必要な情報を抽出することもできます。例えば、Webページのタイトルを取得する場合は、以下のようにします。

import requests
from bs4 import BeautifulSoup
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
print(soup.title.string)

上記コードを実行すると、指定したURLのWebページのタイトルを取得することができます。

Pythonスクレイピングの注意点と対策

Pythonスクレイピングを行う際には、以下の点に注意してください。

スクレイピングするWebページの利用規約を確認すること。
Webページに負荷をかけすぎないようにすること。
正しい方法でスクレイピングを行うこと。

これらの注意点に従い、適切なスクレイピングを行うことが重要です。

実際にPythonを使ってスクレイピングを行う例

以下のコードは、Pythonを使ってニュースサイトからタイトルとURLを取得する例です。

import requests
from bs4 import BeautifulSoup
url = "https://www.yahoo.co.jp/"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
for news in soup.find_all(class_="newsFeed_item_title"):
    title = news.a.string
    link = news.a.get('href')
    print(title)
    print(link)

上記コードを実行すると、Yahoo!ニュースのタイトルとURLを取得することができます。