From 61fa05ec0c4510f1cd437b5d672cd6fd7b996353 Mon Sep 17 00:00:00 2001 From: tanaka takashi Date: Sat, 4 Jul 2026 18:58:06 +0900 Subject: Bound import memory with staged streaming --- README.md | 2 ++ 1 file changed, 2 insertions(+) (limited to 'README.md') diff --git a/README.md b/README.md index 28a9ef7..c72c1f9 100644 --- a/README.md +++ b/README.md @@ -100,6 +100,8 @@ filesystemを使用します。削除やcompactionはfilesystem、SSD、既存ba ## 容量とメモリ予算 importは1行`1 MiB + 4096 bytes`、100,000 record、decode後合計4 GiBが上限です。 +2-pass importは本文全件を保持せず、compact ID indexと最大1行だけをメモリに保持します。 +全件検証とstaging logのflushが成功した場合だけ`active.log`を置換します。 `get_system_health.memory_estimate`はstore entry、本文、metadata、search、history、relation indexの 確保量概算を返します。allocator overhead等は含まないため、実working setには余裕を持たせて ください。現行v1はlive corpusをメモリに保持し、retentionやdisk-backed bodyは実装しません。 -- cgit v1.2.3