v6는 AI를 더 똑똑하게 만든 작업이 아닙니다. 세 갈래로 나눈 블라인드 대조군을 각각 다섯 번씩 돌린 실측에서, 문제를 잡아내는 능력은 v5와 v6가 동점이었습니다.
달라진 것은 독자가 느낀 것을 적어 넣을 칸이 리포트에 있느냐입니다.
독자가 원고를 다 읽고 나면, 느낀 것을 해당 항목이 없는 양식에 밀어 넣어야 했습니다. 들어가지 못한 것은 그대로 사라졌습니다. v6는 그 칸들을 만들었습니다.
중국어가 아닌 원고가 드디어 제 언어로 돌아옵니다
이번 릴리스에서 가장 먼저 말씀드려야 할 항목입니다.
v5에서는 영어로 쓴 원고가 83~85%가 중국어인 리포트로 돌아왔습니다. 모델이 영어를 못해서가 아닙니다. 저희 지시문에 중국어 블록이 조건 없이 들어가 있었고, 독자들은 그대로 따랐을 뿐입니다.
v6 실측 결과, 영어 원고의 리포트에서 중국어 비율은 0%입니다. 일본어, 한국어, 스페인어도 각각 따로 검증했고 모두 제 언어로 돌아왔습니다. 스페인어 원고는 예전에 한자가 섞인 리포트를 받기도 했는데, 지금은 하나도 없습니다.
「놀람」과 「몰입」을 처음으로 적을 수 있게 되었습니다
v5의 감정 항목에는 놀람도, 뭉클함도, 만족도 없었습니다. 집중도 항목의 긍정 선택지는 「몰두」 하나뿐이었습니다.
그래서 독자가 어느 문단에 진짜로 붙들렸을 때도 리포트는 「몰두」라고밖에 쓸 수 없었습니다. 그것이 쓸 수 있는 유일한 단어였습니다.
v6에는 그보다 한 단계 위의 상태가 추가되었습니다. 「도저히 손에서 놓을 수 없다」에 가까운 상태이며, 여기에 긍정 감정 세 가지가 더해졌습니다. 독자가 느끼는 것은 그대로입니다. 리포트가 그것을 적을 수 있게 되었을 뿐입니다.
복선에 전용 분석이 생겼고, 여섯 가지로 나뉩니다
예전에는 복선이 문단별 반응 안에 묻혀 있었습니다. 작가가 정작 궁금한 것, 즉 「이 복선을 잘 깔았는가」에 답하는 항목이 없었습니다.
이제 복선 하나하나가 판정을 받습니다.
| 판정 | 뜻 |
|---|---|
| 잘 회수됨 | 뜻밖이지만 필연적이고, 독자에게 공정합니다 |
| 회수되지 않음 | 무겁게 깔아 놓고 이후 언급이 없습니다. 독자의 감정 투자가 헛돕니다 |
| 너무 뻔함 | 독자가 진작 눈치채서, 공개 시점에 힘이 남아 있지 않습니다 |
| 근거 없는 회수 | 깔지 않고 거둡니다. 독자는 속았다고 느낍니다 |
| 회수가 너무 빠름 | 깔고 거두기는 했지만 너무 급합니다. 독자는 머리로는 이해하고 감정으로는 놓칩니다 |
| 의도적 훅 | 다음 권을 위해 일부러 남긴 것입니다. 결함이 아닙니다 |
다섯 번째 항목은 따로 언급할 만합니다. 「복선의 놀라움이 리포트에 드러나지 않는다」는 제보를 받은 적이 있는데, 그 현상에 그동안 이름이 없었습니다.
솔직하게 덧붙이면, 이 판정은 아직 모델이 가장 못 잡는 항목입니다. 대부분은 여전히 「잘 회수됨」으로 처리합니다. 칸과 정의는 갖췄고, 판단력은 더 강한 모델을 기다려야 합니다.
장점도 이제는 구체적으로 말해야 합니다
문제에는 40개 자리와 9개의 구조화된 항목이 있었지만, 장점은 한 문장이 전부였습니다.
결과는 예상대로였습니다. 무엇이 잘못되었는지는 정확하게, 무엇이 좋았는지는 공허하게 말하는 도구가 되었습니다.
v6부터는 칭찬도 어느 대목인지 짚고, 원문을 인용하고, 왜 효과적인지 설명해야 합니다. 원문을 못 뽑는 칭찬은 인정되지 않습니다.
함께 고친 세 가지
두 명의 독자가 잘못된 지시를 들고 돌아가고 있었습니다. 아홉 명 중 두 명이 애초에 유효하지 않은 값을 채우도록 요구받고 있었습니다. 재시도 장치가 매번 올바른 답으로 되돌려 놓았기 때문에 겉으로는 이상이 보이지 않았고, 실제로는 걸릴 때마다 리포트 전체가 다시 돌았습니다.
잘린 응답이 그대로 재시도되고 있었습니다. 모델이 사고에 예산을 다 쓰면 답이 잘린 채 돌아오는데 그것이 드러나지 않아, 같은 작업을 한 번 더 돌렸습니다. 이제는 잘린 응답을 알아봅니다.
항목 하나를 잘못 채웠다고 리포트 전체가 폐기되지 않습니다. 예전에는 약 13% 확률로 모델이 감정 값을 집중도 항목에 넣었고, 그때마다 리포트 전체가 다시 시작되었습니다. 이제는 그 한 줄만 버리고 나머지는 그대로 받습니다.