From 34fe9ead73abfa5ce50fd2351cca8a844099df36 Mon Sep 17 00:00:00 2001
From: tanaka takashi <isazaka@gmail.com>
Date: Sat, 12 Sep 2026 18:52:14 +0900
Subject: feat: CUDA 13.2でgenerate_imageの実GPU生成に対応
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

CPU版PyTorchが選択されていた依存設定を修正し、RTX 5050上でStable Diffusion 1.5のMCP generate_imageを実行できる構成へ更新。併せてVAEとLoRAの仕様・実装・テストを明確化した。

CUDA / 依存管理:
- torch 2.14.0+cu132とtorchvision 0.29.0+cu132をruntime依存へ固定
- PyTorch CUDA 13.2のexplicit indexとtool.uv.sourcesをuv設定へ追加
- uv.lockをCUDA wheelに更新し、uv sync後もCPU版へ戻らないよう修正
- RTX 5050の認識、CUDA 13.2 runtime、GPU FP16演算を確認

モデル・オフライン実行:
- model.root配下のhuggingface cacheをDiffusersへ明示的に渡すよう変更
- checkpoint、外部VAE、ControlNetのsingle-file loadをlocal_files_onlyで統一
- SD 1.5 checkpointと公式pipeline構成・tokenizerによるオフラインloadを確認
- data/config.generate-image.tomlにText-to-Image用最小設定を追加
- data/MODELS.mdにモデル出典、容量、SHA-256、cache構成、検証結果を記録
- 4.27GBのcheckpoint、cache、生成画像はGit管理対象外を維持

VAE / LoRA:
- Stable Diffusion pipelineではVAE componentが必須であることを仕様・設計・設定文書に明記
- model.vaeはVAEの有無ではなく外部VAE差し替えの任意設定であることを明確化
- checkpoint内蔵VAEも外部VAEもない場合はpipeline初期化を失敗させる検証を追加
- 複数LoRAを起動時にロードし各weightでset_adaptersする既存動作を文書化
- generate_imageを含む全生成ツールへ設定済みLoRAが共通適用されることを明記
- 外部VAE差し替え、VAE欠落、複数LoRA適用のunit testを追加

動作確認:
- 実backendとin-process MCP Clientを使うsmoke_generate_image.pyを追加
- RTX 5050でSD 1.5、512x512、20 stepsのgenerate_imageを実行
- PNG ImageContent返却とseed、size、mode、timestamp、処理時間metadataを確認
- GPU生成時間18.313秒
- pytest: 32 passed
- Ruff lint/format: passed
- Pyright: 0 errors, 0 warnings
- uv lock check: passed
---
 data/MODELS.md                  | 66 +++++++++++++++++++++++++++++++++++++++++
 data/config.generate-image.toml | 13 ++++++++
 2 files changed, 79 insertions(+)
 create mode 100644 data/MODELS.md
 create mode 100644 data/config.generate-image.toml

(limited to 'data')

diff --git a/data/MODELS.md b/data/MODELS.md
new file mode 100644
index 0000000..443737b
--- /dev/null
+++ b/data/MODELS.md
@@ -0,0 +1,66 @@
+# generate_image test assets
+
+## Root
+
+```text
+C:\Users\isaza\src\python\ollama-web\data\mcp\sd15-mcp\data
+```
+
+## Model
+
+| Item | Value |
+|---|---|
+| Repository | `stable-diffusion-v1-5/stable-diffusion-v1-5` |
+| File | `checkpoints/v1-5-pruned-emaonly.safetensors` |
+| Size | 4,265,146,304 bytes |
+| SHA-256 | `6ce0161689b3853acaa03779ec93eafe75a02f4ced659bee03f50797806fa2fa` |
+| License | CreativeML OpenRAIL-M |
+| Source | <https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5> |
+
+`generate_image`の動作確認に必要なbase checkpointだけを配置している。VAEはcheckpoint内蔵の
+ものを使用し、LoRAとControlNetは使用しない。
+
+## Supporting files
+
+`huggingface/`には、単一checkpointをDiffusersでオフラインロードするために必要な公式の
+pipeline構成、scheduler構成、component構成、CLIP tokenizerがcacheされている。
+
+サーバは`model.root/huggingface`を明示的なcache directoryとして使用し、
+`local_files_only=true`でモデルをロードする。
+
+## Configuration
+
+動作確認用設定は`config.generate-image.toml`である。
+
+```powershell
+uv run mcp-sd15 --config data\config.generate-image.toml
+```
+
+生成PNGは`outputs/`へ保存される。
+
+## Verification
+
+- configの読込とcheckpointパス検証: 成功
+- Safetensors header/tensor index読込: 成功、1,145 tensors
+- SHA-256照合: Hugging Face掲載値と一致
+- ネットワーク遮断状態でのDiffusers pipeline構築: 成功
+- CPU smoke inference: 成功
+  - prompt: `a small red cube on a white table`
+  - seed: `42`
+  - size: `64 x 64`
+  - steps: `1`
+  - output: `outputs/model-smoke-64.png`
+
+- CUDA runtime: PyTorch `2.14.0+cu132` / CUDA `13.2`
+- GPU: NVIDIA GeForce RTX 5050、8,151 MiB
+- MCP `generate_image` 512px GPU inference: 成功
+  - size: `512 x 512`
+  - steps: `20`
+  - output: `outputs/generate-image-mcp-512.png`
+  - generation elapsed: 約19秒
+
+## Safety note
+
+Diffusersのsingle-file pipelineではsafety checkerが自動ロードされず、現在のサーバ出力は
+フィルタされない。公開サービスとして提供する場合は、ライセンス条件を確認したうえで
+safety checkerまたは同等の出力制御を別途実装すること。
diff --git a/data/config.generate-image.toml b/data/config.generate-image.toml
new file mode 100644
index 0000000..f9de573
--- /dev/null
+++ b/data/config.generate-image.toml
@@ -0,0 +1,13 @@
+[model]
+root = "."
+checkpoint = "v1-5-pruned-emaonly.safetensors"
+
+[generation]
+steps = 20
+cfg_scale = 7.0
+scheduler = "dpmpp_2m"
+default_size = "square_512"
+
+[output]
+enabled = true
+directory = "./outputs"
-- 
cgit v1.2.3