diff options
| author | tanaka takashi <isazaka@gmail.com> | 2026-07-04 18:58:06 +0900 |
|---|---|---|
| committer | tanaka takashi <isazaka@gmail.com> | 2026-07-04 18:58:06 +0900 |
| commit | 61fa05ec0c4510f1cd437b5d672cd6fd7b996353 (patch) | |
| tree | c5afdc1d63c2613809a8d514276c43f0990a7cb1 /docs/Design.md | |
| parent | 751999a82b8854ef5231e0ded5fe022b1ea5d8ff (diff) | |
Bound import memory with staged streaming
Diffstat (limited to 'docs/Design.md')
| -rw-r--r-- | docs/Design.md | 3 |
1 files changed, 3 insertions, 0 deletions
diff --git a/docs/Design.md b/docs/Design.md index 3485a73..152f6ae 100644 --- a/docs/Design.md +++ b/docs/Design.md @@ -157,6 +157,9 @@ importはJSONLを行単位で読み、JSON stringをUTF-8へ完全decodeして 整数は小数・指数表記を許可せず、timestamp/updated_atは0～INT64_MAX、revisionは 1～INT32_MAX、importanceは0～100とする。1行はcontent上限+4096 bytes、100,000 record、 decode後合計4 GiBが上限である。file exportはtemporary fileのflush/close成功後だけ原子的に置換する。 +importは通常storeをロードせずlockだけを取得する。第1 passはcompact ID indexで全件と参照を検証し、 +第2 passは選択recordをstaging logへ直接書く。stagingのflush成功後だけactive logを原子的に置換し、 +失敗時は旧logを維持する。 ## 8. I/O 予算 |