diff options
| author | tanaka takashi <isazaka@gmail.com> | 2026-09-13 13:35:03 +0900 |
|---|---|---|
| committer | tanaka takashi <isazaka@gmail.com> | 2026-09-13 13:35:03 +0900 |
| commit | f2d24cb7d437ad099291262d7c1b021809cd66ae (patch) | |
| tree | d9a11a3795e0296358cea7a497edffbe898f4583 /src/ollama_web/sessions.py | |
| parent | f36cc852cc1792bd624ff701fb2476d0b43fa1af (diff) | |
feat(multimedia): MCP画像・音声artifactの安全な表示経路を追加
MCP Tool結果をテキストと型付きartifactへ分離し、画像・音声のbase64をMIME、サイズ、件数のallowlistで検証する。annotations.audienceを反映し、ユーザー向けartifactだけをセッションへ保存してSSEにはメタデータのみを公開する。
画像はvision capabilityが明示されたモデルだけへ渡し、非対応時は既存の多言語プロンプト機構による固定通知へ置き換える。MCP生成音声とユーザー添付音声はOllamaへ送らず、誤デコードしたテキストやbase64がモデル入力へ混入しないポリシーに統一する。
保存メディア用の認証済み同一オリジン配信ルートを追加し、セッションスコープ、MIME allowlist、nosniff、private/no-store、Rangeリクエストを適用する。UIはMCP由来HTMLを使わずDOM APIでimgとaudio controlsを生成し、CSPへmedia-src selfを追加する。
web_searchは文字列メタデータだけを返す既存仕様を維持する。scrape_urlとsearch_and_fetchは画像・音声・動画レスポンスを拒否し、search_and_fetchの対象拡張子を明示的allowlistへ変更して標準Webツールをテキスト専用の契約に揃える。
責務境界と導入しない過剰対策をdocs/multimedia.mdへ記録し、README、ツール仕様、CHANGELOGを更新する。MCP artifact変換・永続化、vision分岐、音声非送信、認証、Range配信、MIME偽装拒否をテストで追加確認した。
Validation: 148 tests passed; ruff check passed; mypy src passed; node --check src/ollama_web/static/app.js passed.
Diffstat (limited to 'src/ollama_web/sessions.py')
| -rw-r--r-- | src/ollama_web/sessions.py | 33 |
1 files changed, 31 insertions, 2 deletions
diff --git a/src/ollama_web/sessions.py b/src/ollama_web/sessions.py index 4075649..fd17340 100644 --- a/src/ollama_web/sessions.py +++ b/src/ollama_web/sessions.py @@ -39,6 +39,17 @@ _IMAGE_MIMES: set[str] = { _IMAGE_SUFFIXES: set[str] = {".png", ".jpg", ".jpeg", ".gif", ".bmp", ".webp", ".tif", ".tiff"} +_AUDIO_MIMES: set[str] = { + "audio/mpeg", + "audio/wav", + "audio/x-wav", + "audio/ogg", + "audio/mp4", + "audio/flac", +} + +_AUDIO_SUFFIXES: set[str] = {".mp3", ".wav", ".ogg", ".m4a", ".flac"} + @dataclass class ChatFile: @@ -48,7 +59,7 @@ class ChatFile: mime: str size: int text: str - source: str # "upload" | "fetch" + source: str # "upload" | "fetch" | normalized MCP tool name def to_dict(self) -> dict[str, Any]: return { @@ -83,6 +94,12 @@ class ChatFile: return True return False + @property + def is_audio(self) -> bool: + """Return whether the stored metadata identifies an audio file.""" + mime = self.mime.lower().split(";", 1)[0].strip() + return mime.startswith("audio/") or Path(self.name.lower()).suffix in _AUDIO_SUFFIXES + @dataclass class ChatMessage: @@ -344,6 +361,18 @@ class SessionStore: except Exception: # noqa: BLE001 return None + def get_file_path(self, session_id: str, file_id: str) -> Path | None: + """Return a validated stored-file path contained by the data directory.""" + chat_file = self.get_file(session_id, file_id) + if chat_file is None: + return None + abs_path = (self.data_dir / chat_file.path).resolve() + try: + abs_path.relative_to(self.data_dir) + except ValueError: + return None + return abs_path if abs_path.is_file() else None + def clear_messages(self, session_id: str) -> dict[str, Any] | None: """Clear all messages and attached files from the session.""" if not is_valid_id(session_id): @@ -364,4 +393,4 @@ class SessionStore: session["updated_at"] = _now() session.pop("token_count", None) self._save(session_id, session) - return session
\ No newline at end of file + return session |
