o1が論理的思考が必要なタスクに対して精度高くなってるのはCoTによるものだけど、GPT-4出た頃に逐次プロセスを検討して実行してください的なプロンプトが流行ったの思い出すと、それがモデルレイヤーで実装されたっぽい感じで面白いな
そう考えるとプロンプトみたいなアプリケーションのレイヤーの工夫次第で次のモデルに近い精度の出力を引き出す余地はやはりあるかも?
上の前提が正しいとして考えると、例えばリンク先にありような内部表現を利用してエラーを検知する仕組みをプロンプトで実現したりしてハルシネーションを減らしたりできるか?ただこういうのは客観的な検証の方法がないと単なるオカルトになってくるからな…。オーディオ沼みたいなプロンプト沼がありそう。