diff options
| author | tanaka takashi <isazaka@gmail.com> | 2026-09-12 23:20:37 +0900 |
|---|---|---|
| committer | tanaka takashi <isazaka@gmail.com> | 2026-09-12 23:20:37 +0900 |
| commit | 49d672ef4f605fddddc4040b650aed76cbf27b2a (patch) | |
| tree | a30a044fb2a1fe8d779fc24ed502393be1f5ea1e /README.md | |
| parent | a61cb74f739e9fadb5a3cfb0feb7d03254921985 (diff) | |
test: MCP画像生成ベンチマークを追加
実モデルを使用し、in-process MCP clientからgenerate_imageを再現可能に比較するbenchmark_generate_image.pyを追加。MCP schemaを変更せず、ベンチマーク内部だけでseedを固定し、2種類の評価シーンを同条件で生成できるようにした。
config、checkpoint、LoRA、VAE、scheduler、steps、CFGに加え、モデルロード時間、生成時間、prompt token数、PyTorch allocatorのallocated/reserved peakをJSONへ記録する。白背景率、外周白率、外周色分散、edge strengthも算出し、生成PNGと計測結果を指定先へ保存する。
CLIP tokenizerの最大長を生成前に検証し、token切り捨てによる比較条件の欠落を防止。READMEへ実行例と、CUDA初回warm-upを含む1枚目ではなく2枚目の定常生成時間を比較に使う注意事項を追加した。
実GPU検証としてRTX 5050、CUDA 13.2環境で18 configをvalidationし、MCP経由で36枚を生成。Ruff、Pyright、pytest(61 passed)、git diff --checkの成功を確認済み。モデル、config、prompt、生成画像、計測JSONを含むdata/配下は.gitignore対象のためコミットには含めない。
Diffstat (limited to 'README.md')
| -rw-r--r-- | README.md | 14 |
1 files changed, 14 insertions, 0 deletions
@@ -56,3 +56,17 @@ uv run python script\smoke_generate_image.py ` --config data\config.generate-image.toml ` --output data\outputs\generate-image-mcp-512.png ``` + +同じ2つのseedでMCP生成を行い、処理時間、PyTorch allocatorのpeak VRAM、白背景率、 +prompt token数をJSONへ記録する比較用benchmarkは次のように実行できます。 + +```powershell +uv run python script\benchmark_generate_image.py ` + --config data\config.toml ` + --label anime-quality ` + --output-dir data\outputs\benchmark ` + --result data\outputs\benchmark\results\anime-quality.json +``` + +benchmarkはMCP schemaを変更せず、計測処理内だけでseedを固定します。1枚目にはCUDAの初回 +warm-upが含まれるため、定常速度の比較には2枚目の`elapsed_seconds`を使用してください。 |
