検索サイトの画像検索をPythonでスクレイピング! ｜自作で機械学習モデル・AIの使い方を学ぶ

Pythonによるスクレイピングの基本概念

スクレイピングとは、Webページから情報を自動的に収集することです。Pythonを使ったスクレイピングは、WebページのHTMLコードを解析し、必要な情報を抽出することで実現されます。

必要なツールとライブラリの紹介

Pythonでのスクレイピングには、以下のツールとライブラリが必要です。

Python
Requests
Beautiful Soup
Selenium

Pythonでの画像検索スクレイピングのコード例と解説

以下のコードは、Pythonを使って画像検索から画像を取得する例です。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
# 検索サイトの画像検索のURLを生成する関数
def get_image_url(search_word):
    url = "検索サイトのURL/search?q=" + search_word + "&source=lnms&tbm=isch"
    return url
# Seleniumを使ってWebページを読み込む関数
def get_html_by_selenium(url):
    driver = webdriver.Chrome()
    driver.get(url)
    html = driver.page_source
    driver.quit()
    return html
# Requestsを使ってWebページを読み込む関数
def get_html_by_requests(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
    html = requests.get(url, headers=headers).text
    return html
# BeautifulSoupを使ってHTMLを解析する関数
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    img_tags = soup.find_all('img')
    return img_tags
# 画像を取得する関数
def download_image(url, file_path):
    img = requests.get(url)
    with open(file_path, 'wb') as f:
        f.write(img.content)
# スクレイピングの実行
search_word = "Python スクレイピング"
url = get_image_url(search_word)
html = get_html_by_selenium(url)
img_tags = parse_html(html)
# 画像のダウンロード
for i, img_tag in enumerate(img_tags):
    if i >= 10:
        break
    img_url = img_tag['src']
    file_path = f'./{i}.jpg'
    download_image(img_url, file_path)

このコードでは、検索サイトの画像検索のURLを生成する関数、Seleniumを使ってWebページを読み込む関数、Requestsを使ってWebページを読み込む関数、Beautiful Soupを使ってHTMLを解析する関数、画像を取得する関数を定義しています。そして、これらの関数を組み合わせて、検索サイトの画像検索から画像を取得しています。