diff options
| author | tanaka takashi <isazaka@gmail.com> | 2026-09-12 18:52:14 +0900 |
|---|---|---|
| committer | tanaka takashi <isazaka@gmail.com> | 2026-09-12 18:52:14 +0900 |
| commit | 34fe9ead73abfa5ce50fd2351cca8a844099df36 (patch) | |
| tree | 1c61ecc55ccfe68cfe1ede96c28d302b72b78e2b /doc/Specifications.md | |
| parent | 3e47e9bddb5c859dec28cd39732979a5eeca51b8 (diff) | |
feat: CUDA 13.2でgenerate_imageの実GPU生成に対応
CPU版PyTorchが選択されていた依存設定を修正し、RTX 5050上でStable Diffusion 1.5のMCP generate_imageを実行できる構成へ更新。併せてVAEとLoRAの仕様・実装・テストを明確化した。
CUDA / 依存管理:
- torch 2.14.0+cu132とtorchvision 0.29.0+cu132をruntime依存へ固定
- PyTorch CUDA 13.2のexplicit indexとtool.uv.sourcesをuv設定へ追加
- uv.lockをCUDA wheelに更新し、uv sync後もCPU版へ戻らないよう修正
- RTX 5050の認識、CUDA 13.2 runtime、GPU FP16演算を確認
モデル・オフライン実行:
- model.root配下のhuggingface cacheをDiffusersへ明示的に渡すよう変更
- checkpoint、外部VAE、ControlNetのsingle-file loadをlocal_files_onlyで統一
- SD 1.5 checkpointと公式pipeline構成・tokenizerによるオフラインloadを確認
- data/config.generate-image.tomlにText-to-Image用最小設定を追加
- data/MODELS.mdにモデル出典、容量、SHA-256、cache構成、検証結果を記録
- 4.27GBのcheckpoint、cache、生成画像はGit管理対象外を維持
VAE / LoRA:
- Stable Diffusion pipelineではVAE componentが必須であることを仕様・設計・設定文書に明記
- model.vaeはVAEの有無ではなく外部VAE差し替えの任意設定であることを明確化
- checkpoint内蔵VAEも外部VAEもない場合はpipeline初期化を失敗させる検証を追加
- 複数LoRAを起動時にロードし各weightでset_adaptersする既存動作を文書化
- generate_imageを含む全生成ツールへ設定済みLoRAが共通適用されることを明記
- 外部VAE差し替え、VAE欠落、複数LoRA適用のunit testを追加
動作確認:
- 実backendとin-process MCP Clientを使うsmoke_generate_image.pyを追加
- RTX 5050でSD 1.5、512x512、20 stepsのgenerate_imageを実行
- PNG ImageContent返却とseed、size、mode、timestamp、処理時間metadataを確認
- GPU生成時間18.313秒
- pytest: 32 passed
- Ruff lint/format: passed
- Pyright: 0 errors, 0 warnings
- uv lock check: passed
Diffstat (limited to 'doc/Specifications.md')
| -rw-r--r-- | doc/Specifications.md | 7 |
1 files changed, 4 insertions, 3 deletions
diff --git a/doc/Specifications.md b/doc/Specifications.md index 3d2cd28..0fb6451 100644 --- a/doc/Specifications.md +++ b/doc/Specifications.md @@ -14,7 +14,7 @@ LLM側には生成意図に必要な最小限の入力のみを公開し、モム|---|---| | 対応モデル | Stable Diffusion 1.x互換モデル | | モデル差し替え | 対応 | -| VAE差し替え | 対応 | +| VAE | 常時使用。checkpoint内蔵VAEまたは外部VAEへの差し替え | | LoRA | 複数指定・重み指定に対応 | | ControlNet | ControlNet 1.1 Depth / Openpose / Inpaint | | MCP経由のモデル変更 | 非対応 | @@ -127,7 +127,8 @@ LLM側には生成意図に必要な最小限の入力のみを公開し、モム| 項目 | 仕様 | |---|---| | Base checkpoint | 1ファイル | -| VAE | 0または1ファイル | +| VAE component | 必須。通常はcheckpoint内蔵VAEを使用 | +| 外部VAE | 0または1ファイル。指定時は内蔵VAEを差し替え | | LoRA | 0個以上 | | LoRA weight | LoRAごとに指定 | | ControlNet | Depth / Openpose / Inpaintを個別設定 | @@ -246,7 +247,7 @@ directory = "./outputs" | ID | 完了条件 | |---|---| -| G1 | TOMLからcheckpoint / VAE / 複数LoRAをロードできる | +| G1 | TOMLからcheckpoint / 任意の外部VAE / 複数LoRAをロードでき、VAE componentが常に存在する | | G2 | `generate_image`でPNG画像を1枚生成できる | | G3 | Depth / Openpose / Openpose Full生成が動作する | | G4 | Inpaintが元画像+maskから動作する | |
