summaryrefslogtreecommitdiff
path: root/doc
diff options
context:
space:
mode:
authortanaka takashi <isazaka@gmail.com>2026-09-12 18:52:14 +0900
committertanaka takashi <isazaka@gmail.com>2026-09-12 18:52:14 +0900
commit34fe9ead73abfa5ce50fd2351cca8a844099df36 (patch)
tree1c61ecc55ccfe68cfe1ede96c28d302b72b78e2b /doc
parent3e47e9bddb5c859dec28cd39732979a5eeca51b8 (diff)
feat: CUDA 13.2でgenerate_imageの実GPU生成に対応
CPU版PyTorchが選択されていた依存設定を修正し、RTX 5050上でStable Diffusion 1.5のMCP generate_imageを実行できる構成へ更新。併せてVAEとLoRAの仕様・実装・テストを明確化した。 CUDA / 依存管理: - torch 2.14.0+cu132とtorchvision 0.29.0+cu132をruntime依存へ固定 - PyTorch CUDA 13.2のexplicit indexとtool.uv.sourcesをuv設定へ追加 - uv.lockをCUDA wheelに更新し、uv sync後もCPU版へ戻らないよう修正 - RTX 5050の認識、CUDA 13.2 runtime、GPU FP16演算を確認 モデル・オフライン実行: - model.root配下のhuggingface cacheをDiffusersへ明示的に渡すよう変更 - checkpoint、外部VAE、ControlNetのsingle-file loadをlocal_files_onlyで統一 - SD 1.5 checkpointと公式pipeline構成・tokenizerによるオフラインloadを確認 - data/config.generate-image.tomlにText-to-Image用最小設定を追加 - data/MODELS.mdにモデル出典、容量、SHA-256、cache構成、検証結果を記録 - 4.27GBのcheckpoint、cache、生成画像はGit管理対象外を維持 VAE / LoRA: - Stable Diffusion pipelineではVAE componentが必須であることを仕様・設計・設定文書に明記 - model.vaeはVAEの有無ではなく外部VAE差し替えの任意設定であることを明確化 - checkpoint内蔵VAEも外部VAEもない場合はpipeline初期化を失敗させる検証を追加 - 複数LoRAを起動時にロードし各weightでset_adaptersする既存動作を文書化 - generate_imageを含む全生成ツールへ設定済みLoRAが共通適用されることを明記 - 外部VAE差し替え、VAE欠落、複数LoRA適用のunit testを追加 動作確認: - 実backendとin-process MCP Clientを使うsmoke_generate_image.pyを追加 - RTX 5050でSD 1.5、512x512、20 stepsのgenerate_imageを実行 - PNG ImageContent返却とseed、size、mode、timestamp、処理時間metadataを確認 - GPU生成時間18.313秒 - pytest: 32 passed - Ruff lint/format: passed - Pyright: 0 errors, 0 warnings - uv lock check: passed
Diffstat (limited to 'doc')
-rw-r--r--doc/Design.md7
-rw-r--r--doc/Specifications.md7
-rw-r--r--doc/config.md8
3 files changed, 16 insertions, 6 deletions
diff --git a/doc/Design.md b/doc/Design.md
index f22c24d..fd4ac63 100644
--- a/doc/Design.md
+++ b/doc/Design.md
@@ -113,7 +113,7 @@ mcp-sd15/
| 5 | checkpoint存在確認 |
| 6 | VAE / LoRA / ControlNet存在確認 |
| 7 | Base SD1.x pipelineを構築 |
-| 8 | VAEを適用 |
+| 8 | checkpoint内蔵VAEを確認し、外部VAE指定時は差し替え |
| 9 | LoRAを順次ロード |
| 10 | GPUへ配置 |
| 11 | MCP Toolを公開 |
@@ -170,7 +170,7 @@ Pydanticは必須とせず、`tomllib + dataclass + 明示的validation`を基æœ
| 機能 | 実装方針 |
|---|---|
| Base model | SD1.x互換checkpointをロード |
-| VAE | 設定された場合のみ置換 |
+| VAE | pipeline componentとして必須。設定された外部VAEがある場合のみ置換 |
| LoRA | 複数adapterをロード |
| LoRA weight | `set_adapters`相当で適用 |
| LoRA fuse | 将来オプション。初期実装では必須としない |
@@ -349,7 +349,8 @@ GPU
| Package | 用途 |
|---|---|
| `mcp` | MCP server |
-| `torch` | CUDA / Tensor |
+| `torch` | CUDA 13.2 / Tensor |
+| `torchvision` | PyTorch画像model依存 |
| `diffusers` | SD / ControlNet |
| `transformers` | CLIP |
| `peft` | LoRA |
diff --git a/doc/Specifications.md b/doc/Specifications.md
index 3d2cd28..0fb6451 100644
--- a/doc/Specifications.md
+++ b/doc/Specifications.md
@@ -14,7 +14,7 @@ LLM側には生成意図に必要な最小限の入力のみを公開し、モãƒ
|---|---|
| 対応モデル | Stable Diffusion 1.x互換モデル |
| モデル差し替え | 対応 |
-| VAE差し替え | 対応 |
+| VAE | 常時使用。checkpoint内蔵VAEまたは外部VAEへの差し替え |
| LoRA | 複数指定・重み指定に対応 |
| ControlNet | ControlNet 1.1 Depth / Openpose / Inpaint |
| MCP経由のモデル変更 | 非対応 |
@@ -127,7 +127,8 @@ LLM側には生成意図に必要な最小限の入力のみを公開し、モãƒ
| 項目 | 仕様 |
|---|---|
| Base checkpoint | 1ファイル |
-| VAE | 0または1ファイル |
+| VAE component | 必須。通常はcheckpoint内蔵VAEを使用 |
+| 外部VAE | 0または1ファイル。指定時は内蔵VAEを差し替え |
| LoRA | 0個以上 |
| LoRA weight | LoRAごとに指定 |
| ControlNet | Depth / Openpose / Inpaintを個別設定 |
@@ -246,7 +247,7 @@ directory = "./outputs"
| ID | 完了条件 |
|---|---|
-| G1 | TOMLからcheckpoint / VAE / 複数LoRAをロードできる |
+| G1 | TOMLからcheckpoint / 任意の外部VAE / 複数LoRAをロードでき、VAE componentが常に存在する |
| G2 | `generate_image`でPNG画像を1枚生成できる |
| G3 | Depth / Openpose / Openpose Full生成が動作する |
| G4 | Inpaintが元画像+maskから動作する |
diff --git a/doc/config.md b/doc/config.md
index f200cdc..c619d2d 100644
--- a/doc/config.md
+++ b/doc/config.md
@@ -19,6 +19,8 @@ uv run mcp-sd15 --config C:\path\to\config.toml
<model.root>/
├─ checkpoints/
│ └─ <model.checkpoint>
+├─ huggingface/
+│ └─ Diffusersが使用するローカル構成cache
├─ vae/
│ └─ <model.vae>
├─ lora/
@@ -79,14 +81,20 @@ vae = "vae.safetensors"
- `<root>/checkpoints/<checkpoint>`として解決
- 起動時にファイルの存在を確認
- サーバ初期化時にSD1.x pipelineとしてロードできなければ起動失敗
+- 単一checkpointの読込に必要なDiffusers構成は`<root>/huggingface` cacheから取得
### `vae`
+- Stable Diffusion pipelineのVAE component自体は必須
- 任意のファイル名
- 指定した場合は`<root>/vae/<vae>`として解決し、base modelのVAEを置換
- 指定時は起動時にファイルの存在を確認
- 省略時はcheckpointに含まれるVAEを使用
+`model.vae`が任意なのはVAE処理を省略できるという意味ではなく、外部VAEファイルによる
+差し替えが任意という意味である。checkpoint内にもVAEが存在しない場合はpipelineを構築
+できないため起動に失敗する。
+
## 5. `[[model.lora]]`
LoRAごとにarray of tablesを追加する。0個以上指定でき、記述順にadapter名が割り当てられる。