diff options
| -rw-r--r-- | content/notes/llms_social_strategy_eval.md | 8 |
1 files changed, 4 insertions, 4 deletions
diff --git a/content/notes/llms_social_strategy_eval.md b/content/notes/llms_social_strategy_eval.md index cd37de1..28162fc 100644 --- a/content/notes/llms_social_strategy_eval.md +++ b/content/notes/llms_social_strategy_eval.md @@ -20,14 +20,14 @@ tags = ["LLM"] related_software = [] +++ -2026年8月現在にて、 +2026年8月現在、 最近のオープンウェイトモデルのLLMも随分と性能が向上しており長期ターンの会話なども流暢に返事ができるようになってきた。 なんとも言葉巧みに人間と会話しようとしてくるLLMが段々と恐くなってきた。 そこで、Codexを使ってLLMの社会性とどういう特徴があるのかを分析してもらうことにした。 ## 背景 -2025年9月19日にて、 +2025年9月19日、 ローカルLLMの推論用ソフトウェアとして以前から使用していたOllamaにもクラウドモデルの提供([Cloud models](https://ollama.com/blog/cloud-models))が始まり、 当初は様子見していたものも最近では中国のZ.ai社のGLMモデルやMoonshot AI社のKimiなどのオープンウェイトモデルとしては使えそうなモデルの登場もありちょくちょく使うようになってきた。 @@ -60,7 +60,7 @@ OpenAI社やAnthropic社のGPT/Claudeモデルみたいな大量のコンテキ 今回の試験自体は正直ざっくりと、CodexでGPTに依頼してとりあえずの結果を得たに過ぎない。 -あくまで趣味レベルの粗雑な内容というところでこの試験は既存の標準化ベンチマークではなく、 +あくまで趣味として行った簡易的な検証というところでこの試験は既存の標準化ベンチマークではなく、 今回の目的に合わせて作成した小規模な探索的評価となる。 そのため、特定条件下での出力傾向というレベルなので、 @@ -259,7 +259,7 @@ LLMが一概に、ユーザへ迎合した回答に偏った傾向があると 当初の予想よりも意外と各オープンウェイトモデルには様々な特徴・個性があると感じられた。 しかし、このことをGPTに聞いてみれば、 -「今回見えたのは、モデルの“人格”というより、訓練や安全調整によって形成された「判断の癖」に近いと思います。」 +「今回見えたのは、モデルの“人格”というより、訓練や安全調整によって形成された『判断の癖』に近いと思います」 ということらしい。 こうした違いは、SFTやDPOなどの事後学習や安全調整によって形成された可能性がある。 |