第1章: マルチモーダルAIの基礎

1.1 マルチモーダルAIとは

マルチモーダルAI（Multimodal AI）とは、複数の種類のデータ（モダリティ）を同時に処理、理解、生成できる人工知能システムを指します。単一のデータタイプに特化した従来のユニモーダルモデルとは異なり、マルチモーダルモデルはクロスモーダルな理解と推論を実現します。

ユニモーダル vs. マルチモーダルモデル

なぜマルチモーダルAIが重要なのか

人間の知覚は本質的にマルチモーダルです。私たちは視覚、聴覚、テキスト情報を統合して世界を理解しています。マルチモーダルAIはこの能力の再現を目指します。

• 自然なインタラクション: ユーザーは画像、音声、テキストを使ってAIとコミュニケーションできる
• より豊かな理解: モダリティを組み合わせることで、より完全な文脈を提供
• 新しいアプリケーション: ユニモーダルモデルでは不可能なタスクを実現（視覚的推論、動画理解）
• アクセシビリティ: 視覚障害者向けの画像説明、聴覚障害者向けの音声認識

1.2 モダリティの種類

モダリティとは、情報を伝達するデータの種類です。現代のマルチモーダルAIシステムは様々なモダリティを扱います。

主要モダリティ

拡張モダリティ

• 深度/3D: 点群、ボリュームデータ（ロボティクス、AR/VRで使用）
• センサーデータ: LiDAR、レーダー、IMU読み取り（自動運転車）
• 時系列: 連続的な数値データ（金融、医療モニタリング）
• 触覚: タッチセンサー、圧力センサー（ロボットマニピュレーション）

1.3 マルチモーダル融合戦略

マルチモーダルモデルの重要な設計上の決定は、異なるモダリティからの情報をどこで、どのように組み合わせるかです。これを融合戦略と呼びます。

早期融合（入力レベル）

早期融合は、処理前の入力レベルで異なるモダリティの生の特徴を結合します。

• 利点: モデルが最初から統合表現を学習
• 欠点: 高次元性、ノイズ増幅の可能性
• 使用例: 明確な特徴関係を持つシンプルなタスク

# 早期融合の例
import torch
import torch.nn as nn

class EarlyFusionModel(nn.Module):
    def __init__(self, image_dim, text_dim, hidden_dim, output_dim):
        super().__init__()
        # 入力時に結合
        self.fusion_layer = nn.Linear(image_dim + text_dim, hidden_dim)
        self.classifier = nn.Linear(hidden_dim, output_dim)

    def forward(self, image_features, text_features):
        # 早期に特徴を結合
        combined = torch.cat([image_features, text_features], dim=-1)
        hidden = torch.relu(self.fusion_layer(combined))
        return self.classifier(hidden)

後期融合（決定レベル）

後期融合は、各モダリティを独立して処理し、出力時に予測を統合します。

• 利点: モダリティ固有の最適化、ノイズ伝播の低減
• 欠点: 早期段階でのクロスモーダルインタラクションを逃す
• 使用例: モダリティの性質が根本的に異なる場合

# 後期融合の例
class LateFusionModel(nn.Module):
    def __init__(self, image_dim, text_dim, hidden_dim, output_dim):
        super().__init__()
        # 別々のエンコーダー
        self.image_encoder = nn.Sequential(
            nn.Linear(image_dim, hidden_dim),
            nn.ReLU()
        )
        self.text_encoder = nn.Sequential(
            nn.Linear(text_dim, hidden_dim),
            nn.ReLU()
        )
        # 後期融合
        self.classifier = nn.Linear(hidden_dim * 2, output_dim)

    def forward(self, image_features, text_features):
        image_hidden = self.image_encoder(image_features)
        text_hidden = self.text_encoder(text_features)
        # 別々の処理後に結合
        combined = torch.cat([image_hidden, text_hidden], dim=-1)
        return self.classifier(combined)

ハイブリッド融合（マルチレベル）

ハイブリッド融合は、ネットワーク全体の複数のポイントでモダリティを結合します。

• 利点: 複数の抽象化レベルでインタラクションを捕捉
• 欠点: より複雑なアーキテクチャ設計
• 現在の標準: 最先端モデル（2024-2026年）のほとんどで使用

融合戦略の比較

1.4 マルチモーダルAIの歴史と進化

マルチモーダルAIは、特にTransformerアーキテクチャの導入以降、急速に進化してきました。

主要なマイルストーン

1.5 現在の状況（2025-2026年）

主要なマルチモーダルモデル

モデルタイプ別の主要機能

1.6 ハンズオン: 初めてのマルチモーダル推論

BLIPモデルを使用した画像キャプション生成のシンプルなマルチモーダル推論を実行してみましょう。

# 必要なパッケージのインストール
# pip install transformers torch pillow requests

from transformers import BlipProcessor, BlipForConditionalGeneration
from PIL import Image
import requests

# BLIPモデルとプロセッサーの読み込み
processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")

# URLから画像を読み込み
url = "https://images.unsplash.com/photo-1574158622682-e40e69881006?w=400"
image = Image.open(requests.get(url, stream=True).raw)

# キャプション生成
inputs = processor(image, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=50)
caption = processor.decode(output[0], skip_special_tokens=True)

print(f"生成されたキャプション: {caption}")
# 出力: "a cat sitting on a table looking at the camera"

BLIPを使った視覚的質問応答

# 視覚的質問応答
from transformers import BlipProcessor, BlipForQuestionAnswering

# VQAモデルの読み込み
vqa_processor = BlipProcessor.from_pretrained("Salesforce/blip-vqa-base")
vqa_model = BlipForQuestionAnswering.from_pretrained("Salesforce/blip-vqa-base")

# 画像について質問する
question = "What animal is in the image?"
inputs = vqa_processor(image, question, return_tensors="pt")
output = vqa_model.generate(**inputs)
answer = vqa_processor.decode(output[0], skip_special_tokens=True)

print(f"質問: {question}")
print(f"回答: {answer}")
# 出力: "cat"

OpenAIのGPT-4V APIを使用

# マルチモーダル推論にGPT-4Vを使用
import openai
import base64

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

# APIキーを設定
client = openai.OpenAI(api_key="your-api-key")

# GPT-4Vで画像を分析
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "この画像には何がありますか？詳しく説明してください。"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://images.unsplash.com/photo-1574158622682-e40e69881006?w=400"
                    }
                }
            ]
        }
    ],
    max_tokens=300
)

print(response.choices[0].message.content)

1.7 マルチモーダルAIの主要な課題

1. マルチモーダルハルシネーション

モデルが視覚コンテンツと矛盾するテキストを生成し、画像に存在しないオブジェクトや属性を記述する場合があります。

2. クロスモーダルアライメント

異なるモダリティ間の正確なアライメント（例：特定の単語を画像領域にマッチング）を達成することは依然として困難です。

3. 計算コスト

マルチモーダルモデルは、訓練（数十億の画像-テキストペア）と推論（複数モダリティの処理）の両方で大きな計算リソースを必要とします。

4. 評価

単一の指標でマルチモーダル品質を捉えることはできません。タスクごとに専門的なベンチマークが必要です（VQA精度、キャプションBLEU、生成FID）。

1.8 まとめ

演習

演習1: 融合戦略の分析

SNS投稿（テキスト + 画像）の皮肉検出タスクが与えられた場合、どの融合戦略を選択しますか？その理由は？皮肉はテキストと画像内容の不一致に依存することが多いことを考慮してください。

演習2: モデル選択

ECサイトの画像検索システムを構築する必要があります。ユーザーは商品説明をタイプして一致する画像を見つけます。どのマルチモーダルモデルアーキテクチャが最適でしょうか？（ヒント: CLIPの設計を考えてみてください）

演習3: ハンズオン実装

BLIPコード例を修正して、複数の画像をバッチ処理できるようにしてください。画像を1つずつ処理する場合とバッチ処理する場合の推論時間の違いを測定してください。