diff options
| author | tanaka takashi <isazaka@gmail.com> | 2026-09-12 23:20:37 +0900 |
|---|---|---|
| committer | tanaka takashi <isazaka@gmail.com> | 2026-09-12 23:20:37 +0900 |
| commit | 49d672ef4f605fddddc4040b650aed76cbf27b2a (patch) | |
| tree | a30a044fb2a1fe8d779fc24ed502393be1f5ea1e /doc | |
| parent | a61cb74f739e9fadb5a3cfb0feb7d03254921985 (diff) | |
test: MCP画像生成ベンチマークを追加
実モデルを使用し、in-process MCP clientからgenerate_imageを再現可能に比較するbenchmark_generate_image.pyを追加。MCP schemaを変更せず、ベンチマーク内部だけでseedを固定し、2種類の評価シーンを同条件で生成できるようにした。
config、checkpoint、LoRA、VAE、scheduler、steps、CFGに加え、モデルロード時間、生成時間、prompt token数、PyTorch allocatorのallocated/reserved peakをJSONへ記録する。白背景率、外周白率、外周色分散、edge strengthも算出し、生成PNGと計測結果を指定先へ保存する。
CLIP tokenizerの最大長を生成前に検証し、token切り捨てによる比較条件の欠落を防止。READMEへ実行例と、CUDA初回warm-upを含む1枚目ではなく2枚目の定常生成時間を比較に使う注意事項を追加した。
実GPU検証としてRTX 5050、CUDA 13.2環境で18 configをvalidationし、MCP経由で36枚を生成。Ruff、Pyright、pytest(61 passed)、git diff --checkの成功を確認済み。モデル、config、prompt、生成画像、計測JSONを含むdata/配下は.gitignore対象のためコミットには含めない。
Diffstat (limited to 'doc')
0 files changed, 0 insertions, 0 deletions
