summaryrefslogtreecommitdiff
path: root/README.md
diff options
context:
space:
mode:
authortanaka takashi <isazaka@gmail.com>2026-07-04 18:58:06 +0900
committertanaka takashi <isazaka@gmail.com>2026-07-04 18:58:06 +0900
commit61fa05ec0c4510f1cd437b5d672cd6fd7b996353 (patch)
treec5afdc1d63c2613809a8d514276c43f0990a7cb1 /README.md
parent751999a82b8854ef5231e0ded5fe022b1ea5d8ff (diff)
Bound import memory with staged streaming
Diffstat (limited to 'README.md')
-rw-r--r--README.md2
1 files changed, 2 insertions, 0 deletions
diff --git a/README.md b/README.md
index 28a9ef7..c72c1f9 100644
--- a/README.md
+++ b/README.md
@@ -100,6 +100,8 @@ filesystemを使用します。削除やcompactionはfilesystem、SSD、既存ba
## 容量とメモリ予算
importは1行`1 MiB + 4096 bytes`、100,000 record、decode後合計4 GiBが上限です。
+2-pass importは本文全件を保持せず、compact ID indexと最大1行だけをメモリに保持します。
+全件検証とstaging logのflushが成功した場合だけ`active.log`を置換します。
`get_system_health.memory_estimate`はstore entry、本文、metadata、search、history、relation indexの
確保量概算を返します。allocator overhead等は含まないため、実working setには余裕を持たせて
ください。現行v1はlive corpusをメモリに保持し、retentionやdisk-backed bodyは実装しません。