MCP tool for image generation used stable diffusion 1.5. https://git.takashi-2521.com/generate-image-sd15-mcp.git/atom?h=main 2026-10-13T17:21:50+00:00 2026-10-13T17:21:50+00:00 tanaka takashi isazaka@gmail.com 2026-10-13T17:21:50+00:00 urn:sha1:583a56f1ac3d9be9ce2f8c1715d77423347d4a4e stdio MCPのツール一覧取得でも、受付開始前にModelManagerがSD本体・ 外部VAE・LoRAをロードし、CUDAへ転送していた。画像生成しない通常の 質問でもこの起動コストが発生するため、有効な生成要求の実行時まで モデル初期化を遅らせ、一覧取得時の不要な遅延とVRAM消費を除去する。 実装: - ModelManagerの構築時は未ロード状態とし、冪等なload()を追加する。 - 初期化ロックで二重ロードを防ぎ、成功時だけモデルを保持する。 失敗時は未ロード状態を維持し、次の要求で再試行できるようにする。 - 3種類の生成メソッドからload()を呼び、既存サービスの入力検証・ 生成ロックを経由したワーカースレッド内で初期化する。 - ControlNetと前処理モデルの既存の遅延ロード・モデル共有を維持する。 - 起動・設定読み込みと実際のモデルロードのログを分離し、ロードの 開始・完了・失敗をstderrへ出力する。 - benchmarkの計測区間で明示的にload()を呼び、ロード時間とVRAMの 計測の意味を維持する。READMEにロードタイミングと確認手順を追記する。 変更範囲: - stdioのプロセス起動・終了方式を維持し、常駐化やHTTP切り替え、 チャット側の接続管理・一覧キャッシュ・アイドル解放は追加しない。 - MCPスキーマ、設定形式、CLI引数、プロンプト・seed処理、scheduler、 生成サイズ、PNGメタデータ・保存仕様は変更しない。 - 設定とモデルファイルの存在確認は起動時に残し、モデル互換性・ CUDA・推論依存関係のエラー検出は初回生成時へ移す。 - 同一プロセス内ではモデルを再利用し、終了時に解放する。 別の生成プロセスでの再ロードは引き続き許容する。 回帰テスト: - 修正前の既存69件に対し、修正後は追加18件を含む87件すべて成功。 既存テストと期待値は変更していない。 - CLI/stdioでの一覧取得時にモデルロードと推論ライブラリのimportを 禁止しても成功することを確認する。 - 全生成方式の初回ロード、ワーカースレッド実行、同時要求、冪等性、 不正入力・無効なControlNet指定、失敗後の再試行、ログを検証する。 - ruff check .は成功、pyrightは0 errors / 0 warnings。 実GPU・stdioでの確認: - 現在の設定（外部VAE、2件のLoRA、LCM、6 steps）を維持して計測した。 - 起動から一覧取得までの時間は8.233秒から0.671秒に短縮した。 - 一覧取得前後のGPU全体の使用量は修正前808→3233 MiBに対し、 修正後682→682 MiBで増加しなかった。 - 同じ接続で2枚生成してもベースモデルのロードは1回で、一覧取得では 0回だった。ロード時間は7.812秒で、初回生成要求に移った。 - 同じ設定・プロンプト・seedによる修正前後の画像は画素が完全一致。 PNG形式・寸法・メタデータと、返却PNGおよび保存PNGの一致を確認した。 - 最終版スクリプトでの再確認でも一覧取得0.655秒、初回生成14.089秒、 2枚目1.221秒で、画素・保存結果の一致と生成プロセス終了を確認した。 - 通常質問の親アプリの処理経路でも、LLMのみをスタブ化し、実際の 設定済みuvコマンドで一覧取得・3ツールの登録を確認した。 - 計測スクリプトと詳細な検証報告を追加する。生のJSON・stderr・PNGは gitignore対象のdata/verification-lazy-loadに保存する。 確認の限界: - Windowsのプロセス別VRAMはN/Aのため、GPU全体の使用量・プロセス一覧・ tasklistによる終了確認で評価した。全体値には他プロセスの変動がある。 - 計測値は単一セッションの観測であり、統計的な速度保証ではない。 - ブラウザ操作と実LLMを含むチャット全体、および現在の設定で無効な ControlNetの実GPU生成は未実施。誘導生成・Inpaintのロード順は スタブを用いた自動テストで確認した。 2026-09-12T14:36:33+00:00 tanaka takashi isazaka@gmail.com 2026-09-12T14:36:33+00:00 urn:sha1:de44625e3baae4d43ad096248b7096578b11e0b0 SD1.5の77 token制限を回避するため、sd_embedを用いたprompt_embedsベースの 入力方式に変更した。あわせてclip_skipとpad_last_blockの設定を追加した。 sd_embedのget_weighted_text_embeddings_sd15()でpositive/negativeの プロンプト埋め込みを同時生成し、pipeline呼び出し時にprompt_embeds/ negative_prompt_embedsを渡す。prompt/negative_promptは同時に渡さない。 LoRAロード後にembedding生成を行うため、text encoder LoRAが反映された 状態で埋め込みが作られる。 sd_embedはcommit hash 4a47f71150で固定し、VCS dependencyとして追加。 hatchlingのallow-direct-referencesを有効化。 変更内容: - pyproject.toml: sd-embed @ git+...@4a47f71150追加、 allow-direct-references=true - config.py: GenerationConfigにclip_skip=0, pad_last_block=False追加、 load_configで[generation]のclip_skip/pad_last_block読込・validation (clip_skip: 0-12のinteger, pad_last_block: boolean) - model_manager.py: 3つのpipeline呼び出しをprompt/negative_promptから prompt_embeds/negative_prompt_embedsに変更、_embed_prompts()メソッド追加 - tests/test_config.py: clip_skip/pad_last_blockの正常系・異常系テスト追加 - doc/config.md: [generation]セクションにclip_skip/pad_last_block説明追記、 設定項目一覧表更新 - config.example.toml: clip_skip/pad_last_blockコメント例追記 - doc/Design.md: GenerationConfigにclip_skip/pad_last_block追記 - README.md: sd_embedの説明追記 - uv.lock: sd_embedおよび依存パッケージ追加 検証: - ruff format/check、pyright 0 errors、pytest 67 passed - 実GPU・実モデルで確認: - 短いプロンプト: 生成成功 - 77 token超の長文プロンプト(122 token): 生成成功 - 重み付きプロンプト(word:1.5)((word)): 生成成功 - LoRA(pixelartV3) + sd_embed + 重み付き: 生成成功 - negative promptの重み付き埋め込み: 生成成功 2026-09-12T09:04:56+00:00 tanaka takashi isazaka@gmail.com 2026-09-12T09:04:56+00:00 urn:sha1:cba15a62829a0fe57a03c8031f981e8f790e2efc 仕様書・設計書に基づき、ローカルCUDA GPU上のStable Diffusion 1.x互換モデルをMCP経由で利用するサーバを新規実装。 実装内容: - generate_image、generate_guided_image、inpaint_imageの3ツールをMCP SDK v2で公開 - TOMLからcheckpoint、VAE、複数LoRAと重み、ControlNet、生成設定を読み込み - モデル種別ごとの固定ディレクトリ解決と起動時の設定・ファイル存在検証を追加 - Depth/MiDaS、OpenPose body/full、ControlNet Inpaintの前処理とパイプライン切替を実装 - FP16/CUDA、1枚固定生成、ControlNetオンデマンドロード、単一GPU直列実行を実装 - Base64 PNG/JPEG入力の形式・サイズ検証と任意のdata URI入力に対応 - seed、サイズ、モード、時刻、処理時間をPNG metadataへ記録 - 任意のローカルPNG保存、生成エラー分類、CUDA OOM後のキャッシュ回復を追加 - --configと--versionを備えたstdio CLIエントリポイントを追加 開発・運用: - Python 3.11およびuvによる依存・lock管理を構成 - config.example.tomlとセットアップ・運用手順をREADMEへ追加 - Ruff、Pyright、pytestの設定を追加 - 設定、パス解決、schema、画像検証、サービスルーティング、排他制御、MCP画像返却をテスト 検証結果: - pytest: 30 passed - Ruff lint/format: passed - Pyright: 0 errors, 0 warnings - CLI versionおよびMCPクライアント経由のPNG返却を確認 - 実GPU smoke testはCUDA GPUとモデルファイルがないため対象外