diff options
| author | tanaka takashi <isazaka@gmail.com> | 2026-07-04 18:58:06 +0900 |
|---|---|---|
| committer | tanaka takashi <isazaka@gmail.com> | 2026-07-04 18:58:06 +0900 |
| commit | 61fa05ec0c4510f1cd437b5d672cd6fd7b996353 (patch) | |
| tree | c5afdc1d63c2613809a8d514276c43f0990a7cb1 /README.md | |
| parent | 751999a82b8854ef5231e0ded5fe022b1ea5d8ff (diff) | |
Bound import memory with staged streaming
Diffstat (limited to 'README.md')
| -rw-r--r-- | README.md | 2 |
1 files changed, 2 insertions, 0 deletions
@@ -100,6 +100,8 @@ filesystemを使用します。削除やcompactionはfilesystem、SSD、既存ba ## 容量とメモリ予算 importは1行`1 MiB + 4096 bytes`、100,000 record、decode後合計4 GiBが上限です。 +2-pass importは本文全件を保持せず、compact ID indexと最大1行だけをメモリに保持します。 +全件検証とstaging logのflushが成功した場合だけ`active.log`を置換します。 `get_system_health.memory_estimate`はstore entry、本文、metadata、search、history、relation indexの 確保量概算を返します。allocator overhead等は含まないため、実working setには余裕を持たせて ください。現行v1はlive corpusをメモリに保持し、retentionやdisk-backed bodyは実装しません。 |
