v6でAIが賢くなったわけではありません。三つの盲検の系列で各5回走らせたところ、問題を見つける力はv5とv6で同じでした。
変わったのは、読者が感じたことをレポートのどこに置けるかです。
読者が原稿を読み終えます。感じたことを、大半の欄が用意されていない書式に収めなければなりません。収まらなかったものは消えます。v6はその欄を足しました。
中国語以外の原稿が、ようやく正しい言語で返ってきます
まずこれから書きます。
v5では、英語で書かれた原稿のレポートが83%から85%まで中国語で返っていました。モデルは英語を問題なく話します。問題はこちら側にありました。指示の中に中国語の一節を無条件で入れていたので、読者は言われたとおりにしていたのです。
v6で測ると、英語の原稿から返るレポートの中国語は0%になりました。日本語、韓国語、スペイン語もそれぞれ別に試して、すべてあるべき言語で返っています。スペイン語の原稿には漢字が混ざっていましたが、いまはありません。
「驚いた」と「引き込まれた」を、ようやく言えます
v5の感情の一覧には、驚いた、動かされた、満たされた、がありませんでした。注意の欄に用意された肯定的な選択肢は、食いついた、の一つだけでした。
だから読者があなたの段落に本当に捕まったときも、レポートは食いついた、としか言えませんでした。使える語がそれしかなかったのです。
v6では、食いついたの一段上にあたる引き込まれた（「置けなかった」に近いもの）と、肯定的な感情を三つ足しました。読者が感じることは変わっていません。変わったのは、レポートがそれを書き留められるようになったことです。
伏線に専用の分析が付き、六つに分かれました
伏線はこれまで段落ごとの反応の中に埋もれていました。本当に知りたい問い——この仕込みは良かったのか——に答える欄がありませんでした。
これからは、伏線の一つひとつに判定が付きます。
| 判定 | 意味 |
|---|---|
| うまく決まった | 意外なのに必然で、読者に対して公正 |
| 撃たれなかった | 重く仕込んだのに二度と触れられない。読者は投資して終わり |
| 読まれていた | ずっと前に見抜かれていて、明かしても電気が残っていない |
| 仕込みがなかった | 仕込みなしで回収した。読者は騙された気になります |
| 回収が素通りした | 仕込んで回収もしたが速すぎた。読者は理解したが、感じ損ねました |
| 意図的な引き | 次の巻のためにわざと開けてある。欠点ではありません |
五つ目には一言添えます。「明かしたときの驚きが、レポートに一度も出てこない」と書き手から言われてきました。あれには、いままで名前がありませんでした。
正直に書くと、これはモデルがいまもいちばん苦手な判定です。多くの場合、まだうまく決まった、と言ってしまいます。欄と定義は置きました。判定そのものは、より強いモデルを待つことになります。
褒めるときも、具体的でなければなりません
問題には40の枠と9つの構造化された欄がありました。良かったところは一文でした。
結果は見えていたとおりです。この道具は、悪いところには正確で、効いているところには曖昧でした。
v6からは、褒めるときも箇所を名指しし、その行を引き、なぜ効いているかを言わなければなりません。引用を出せない称賛は数えません。
ついでに直した三つ
二人の読者が壊れた指示のまま走っていました。 九人のうち二人が、そもそも有効ではない値を埋めるよう求められていました。再試行の仕組みが正しい答えへ戻してしまうので、外からは何も壊れて見えず、そのたびにレポート全体が静かに走り直されていました。
途中で切れた答えが、そのまま再試行されていました。 モデルが考えることに枠を使い切ると、答えは切れた形で返ります。誰も気づかないので、同じ仕事がただもう一度走っていました。いまは見分けられます。
欄を一つ取り違えただけで、レポート全体を捨てなくなりました。 およそ13%の割合で、モデルが感情の値を注意の欄に入れ、レポート全体がやり直しになっていました。いまは、その一件だけを落として残りは残します。