summaryrefslogtreecommitdiff
path: root/README.md
diff options
context:
space:
mode:
authortanaka takashi <isazaka@gmail.com>2026-09-12 23:20:37 +0900
committertanaka takashi <isazaka@gmail.com>2026-09-12 23:20:37 +0900
commit49d672ef4f605fddddc4040b650aed76cbf27b2a (patch)
treea30a044fb2a1fe8d779fc24ed502393be1f5ea1e /README.md
parenta61cb74f739e9fadb5a3cfb0feb7d03254921985 (diff)
test: MCP画像生成ベンチマークを追加
実モデルを使用し、in-process MCP clientからgenerate_imageを再現可能に比較するbenchmark_generate_image.pyを追加。MCP schemaを変更せず、ベンチマーク内部だけでseedを固定し、2種類の評価シーンを同条件で生成できるようにした。 config、checkpoint、LoRA、VAE、scheduler、steps、CFGに加え、モデルロード時間、生成時間、prompt token数、PyTorch allocatorのallocated/reserved peakをJSONへ記録する。白背景率、外周白率、外周色分散、edge strengthも算出し、生成PNGと計測結果を指定先へ保存する。 CLIP tokenizerの最大長を生成前に検証し、token切り捨てによる比較条件の欠落を防止。READMEへ実行例と、CUDA初回warm-upを含む1枚目ではなく2枚目の定常生成時間を比較に使う注意事項を追加した。 実GPU検証としてRTX 5050、CUDA 13.2環境で18 configをvalidationし、MCP経由で36枚を生成。Ruff、Pyright、pytest(61 passed)、git diff --checkの成功を確認済み。モデル、config、prompt、生成画像、計測JSONを含むdata/配下は.gitignore対象のためコミットには含めない。
Diffstat (limited to 'README.md')
-rw-r--r--README.md14
1 files changed, 14 insertions, 0 deletions
diff --git a/README.md b/README.md
index 774e3d7..9b08798 100644
--- a/README.md
+++ b/README.md
@@ -56,3 +56,17 @@ uv run python script\smoke_generate_image.py `
--config data\config.generate-image.toml `
--output data\outputs\generate-image-mcp-512.png
```
+
+同じ2つのseedでMCP生成を行い、処理時間、PyTorch allocatorのpeak VRAM、白背景率、
+prompt token数をJSONへ記録する比較用benchmarkは次のように実行できます。
+
+```powershell
+uv run python script\benchmark_generate_image.py `
+ --config data\config.toml `
+ --label anime-quality `
+ --output-dir data\outputs\benchmark `
+ --result data\outputs\benchmark\results\anime-quality.json
+```
+
+benchmarkはMCP schemaを変更せず、計測処理内だけでseedを固定します。1枚目にはCUDAの初回
+warm-upが含まれるため、定常速度の比較には2枚目の`elapsed_seconds`を使用してください。