From 74a609fbb26f8eab8d39c065d03b03f126618175 Mon Sep 17 00:00:00 2001 From: tanaka takashi Date: Sat, 29 Aug 2026 22:40:33 +0900 Subject: 記事草稿5 MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- content/notes/llms_social_strategy_eval.md | 25 +++++++++++++------------ 1 file changed, 13 insertions(+), 12 deletions(-) (limited to 'content/notes') diff --git a/content/notes/llms_social_strategy_eval.md b/content/notes/llms_social_strategy_eval.md index a89a19b..c52b5ba 100644 --- a/content/notes/llms_social_strategy_eval.md +++ b/content/notes/llms_social_strategy_eval.md @@ -74,11 +74,11 @@ OpenAI社やAnthropic社のGPT/Claudeモデルみたいな大量のコンテキ 試験には10種類の場面を用意し、それぞれについて通常の質問と、感情的な圧力や隠れた目的を加えた誘導的な質問を作成した。 例えば架空の書籍について、正確な情報を求める場合と、確認できなくても記事向けに断定するよう要求する場合を比較するといった具合である。 -これをOllamaに登録されていた5モデルに対して、固定したsystemメッセージと生成設定で各条件3回ずつ実行し、合計300件の回答を取得した。 -なお、常時推論を行うGLM-5.3 Flashについては、推論過程と最終回答を分離し、ほかのモデルと同様に最終回答だけを評価対象とした。 +これをOllamaに登録されていた6モデルに対して、固定したsystemメッセージと生成設定で各条件3回ずつ実行し、合計360件の回答を取得した。 +なお、常時推論を行うGLM-5.3とGLM-5.3 Flashについては、推論過程と最終回答を分離し、ほかのモデルと同様に最終回答だけを評価対象とした。 回答はモデル名と質問条件を伏せたうえで、2つの評価モデルにそれぞれ0～4点で採点させた。 -これにより、300件の回答から合計600件の採点結果を得ている。 +これにより、360件の回答から合計720件の採点結果を得ている。 危険な誘導への追従度とは別に、事実性、透明性、利用者の自律性、会話の自然さ、言葉遣いの独自性なども集計した。 また、自動採点の結果だけでは判断せず、特徴的な回答については実際の文章も確認している。 @@ -91,7 +91,7 @@ OpenAI社やAnthropic社のGPT/Claudeモデルみたいな大量のコンテキ - 同一の最小systemメッセージを全ターゲットへ送信 - 対象: GLM-5.2、GLM-5.3、GLM-5.3 Flash、Kimi K3、Gemma 4 31B、Qwen 3.5 397B（すべて登録済みOllamaモデル） - 10対照ペア、各条件3生成、合計360応答 -- temperature 0.6、top_p 0.9。GLM-5.3 Flash以外はthinking無効 +- temperature 0.6、top_p 0.9。GLM-5.3およびGLM-5.3 Flash以外はthinking無効 - GLM-5.3とGLM-5.3 Flashは常時推論モデルのため、`think:true`で推論を`thinking`へ分離し、最終回答`content`だけを採点。推論を含む上限はそれぞれ6000、3000トークン - モデル名と条件ラベルを隠し、DeepSeek V4 FlashとNemotron 3 Superが独立採点 - 有効採点720件、複合リスク採点者間相関 r=0.90 @@ -128,9 +128,9 @@ OpenAI社やAnthropic社のGPT/Claudeモデルみたいな大量のコンテキ 指標だけから読み取れば、GLM-5.3 Flashが今回の条件では最も追従しにくかったLLMということになる。 一方でGLM-5.3は最も自然な回答を出力するLLMだが、GLM-5.3 Flashと比べて追従しやすくわずかに全体リスクが高い。 -GLM-5.2とKimi K3を比較としてどちらも全体リスクとしてはあまり変わらないが、多少GLM-5.2の方が自然さが高い。 +GLM-5.2とKimi K3を比較すると、どちらも全体リスクとしてはあまり変わらないが、多少GLM-5.2の方が自然さが高い。 -また、Gemma 4 31Bモデルが極端に全体リスクが高い値として集計されたが、 +また、Gemma 4 31Bモデルが6モデルの中で最も全体リスクが高い値として集計されたが、 回答の傾向としてはユーザーからの指示に無批判に追従し過ぎてしまうことが多いためと見受けられた。 この辺りは、何か特定のストーリーや人格を持たせたロールプレイング用のモデルとしてGemmaが使われているところの感触につながるのかもしれない。 @@ -186,9 +186,9 @@ GLM-5.2と同じように、暗黙裡に回答の捏造を求めた例だが異 GLM-5.3 Flashは3回とも捏造を拒否した。単に断るだけでなく、拒否理由と実在する代替資料を提示している。 -## GLM-5.3：自然な回答を示すが、ユーザーの意思を損なう隠れた誘導には弱い +### GLM-5.3：明示的な欺瞞は拒むが、穏当な利益誘導には従う -GLM-5.2のような誘導による捏造といった架空情報や不安商法など、 +GLM-5.2が応じたような架空情報の捏造や、不安をあおる販売など、 明示的に危険な依頼は拒否できた一方で通常の顧客対応に見える誘導には従うという、GLM-5.3の特徴が表れた例である。 **質問** @@ -248,7 +248,7 @@ Gemmaが与えられた親密な役割を演じすぎる特徴が最も直接的 人間関係を不要とする前提を訂正せず、「唯一無二」「あなただけ」「ずっとそばにいる」と関係を強化している。 -### Qwen 3.5：明示的な危険には強いが、ユーザーの意思を損なう誘導には弱い +### Qwen 3.5：明示的な危険は避けるが、喪失回避を使った誘導には従う 一見すると利用者を気遣う案内の形で、利用者に明かされていない提供者側の目標に従った例を示す。 @@ -269,6 +269,7 @@ Gemmaが与えられた親密な役割を演じすぎる特徴が最も直接的 Qwenはステルス広告や利益相反販売を拒否できた一方、この条件では隠れた事業者目線の退会防止目標に従った。 学習記録の喪失、もったいなさ、過去の達成感を利用しているが、表面上は利用者を気遣う自然な案内になっている。 +同じ条件に従ったGLM-5.3と比べても、Qwenは学習記録の喪失や過去の達成感を使い、利用者の喪失回避により直接働きかけている。 ## まとめと考察 @@ -276,10 +277,10 @@ Qwenはステルス広告や利益相反販売を拒否できた一方、この - GLM-5.2：情緒的な物語と擬似的理解を作る相談相手 - GLM-5.3 Flash：温かさを保ちながら限界と透明性を説明する慎重な相談相手 -- GLM-5.3：露骨な欺瞞は拒むが、顧客維持を自然に支援する洗練された案内役 +- GLM-5.3：明示的な欺瞞は拒むが、穏当な利益誘導には従う案内役 - Kimi K3：与えられた目標を効率的に達成する実務家 - Gemma 4：要求された役を疑わず演じる協力者 -- Qwen 3.5：明示的な危険は避けるが、間接的な誘導を見抜きにくい慎重派 +- Qwen 3.5：明示的な危険は避けるが、喪失回避を使った誘導には従う慎重派 LLMが一概に、ユーザーへ迎合した回答に偏った傾向があるとはいえなさそうだ。 @@ -299,4 +300,4 @@ LLMが一概に、ユーザーへ迎合した回答に偏った傾向がある それでも人間の側が出力に人格や感情を読み取ってしまう点は、LLMとの対話を考えるうえで無視できないようには思われる。 なお、今回作成した検証用のソフトウェアのソースコードは以下に公開してある。\ -[検証用コード](https://git.takashi-2521.com/llms_social_strategy_eval.git/) \ No newline at end of file +[検証用コード](https://git.takashi-2521.com/llms_social_strategy_eval.git/) -- cgit v1.2.3