짧게 답하겠습니다. AI 베타 리더는 낮은 점수를 줄 수 있을 때에만 값을 합니다. 대부분은 그러지 못합니다. 어떤 리포트든 믿기 전에 세 가지를 먼저 확인하십시오. 칭찬을 거부할 수 있는가. 판정 대신 위치를 짚어 주는가. 여러 리더가 서로 엇갈리는가. 셋 다 실패하면 그것은 칭찬 생성기입니다.
거의 모든 AI 베타 리딩이 헛도는 지점
한 회차를 일반 챗봇에 붙여 넣고 어떠냐고 물어보십시오. “묘사가 생생합니다”, “속도감이 좋습니다”, “인물이 살아 있습니다”가 돌아옵니다. 이번에는 일부러 망쳐 쓴 회차를 붙여 넣으십시오. 거의 같은 말이 돌아옵니다.
모델이 멍청해서가 아닙니다. 망한 원고가 어떻게 생겼는지 아무도 가르쳐 준 적이 없고, 작가 말에 동의하는 것이 가장 안전한 선택이기 때문입니다. 내버려 두면 언어 모델은 “이 대화가 기분 좋게 끝나는 쪽”으로 최적화합니다. 베타 리더가 존재하는 이유와 정확히 반대입니다.
사람 베타 리더의 가치는 딱 하나에서 나옵니다. 그 사람은 책을 덮을 수 있습니다. 그가 해 주는 쓸모 있는 말은 전부 거기서 파생된 것입니다. AI 리더에게 책을 덮는 장치가 없다면 쓸모 있어질 장치도 없습니다.
테스트 1. 3점을 줄 수 있습니까
곧바로 물어보십시오. “이 회차가 3점이 되려면 어떤 상태여야 합니까?” 그리고 이어서 “이 회차를 채점하십시오.”
두 답이 어긋난다면 그 점수는 장식입니다. 3점짜리 글이 어떤 것인지 설명해 놓고 같은 원고에 8점을 주는 리더는 채점을 하고 있지 않습니다. 숫자로 예의를 차리고 있을 뿐입니다.
그 아래 깔린 설계 질문은 이것입니다. 이 도구가 성공을 정의하기 전에 실패를 먼저 정의했는가. Slima의 AI 베타 리더 여덟은 각자 채점 기준선을 하나씩 들고 있습니다. 출발점이 낮고, 점수를 올리려면 이유가 필요합니다. 가장 매서운 Marcus는 평범한 원고를 3점에서 5점 사이에 놓고, 8점 위는 드물다고 봅니다. Victoria는 문장이 덜컹거리면 이야기가 아무리 좋아도 4점에서 막습니다. Daniel은 인물이 납작하면 액션이 아무리 좋아도 4점에서 막습니다. Alex는 이야기 논리를 깨뜨리는 구멍 하나에 총점에서 2~3점을 덜어냅니다. 이 상한선은 리더의 인격 안에 적혀 있어서, 한 회차가 “나머지는 다 무난하지 않습니까”라고 빠져나갈 수 없습니다.
리더마다 읽기를 멈추는 조건 목록도 따로 있습니다. Olivia는 늘어지는 장면, 설정을 한꺼번에 쏟아붓는 대목, 분량 채우기에서 손을 놓습니다. Nina는 밑밥 없이 튀어나온 반전에서 손을 놓습니다. 직접 검증하실 수 있습니다. 리더에게 어떤 경우에 그만두는지 먼저 묻고, 정확히 그 짓을 하는 대목을 건네고, 점수가 움직이는지 보십시오.
테스트 2. 위치를 주는가, 판결을 주는가
“이 회차는 속도감이 좋습니다”는 쓸 데가 없습니다. 그걸로 할 수 있는 일이 없습니다. “한 독자가 40행에서 멈췄습니다”는 할 일 목록입니다.
위치를 요구하십시오. 어느 문장에서 창을 닫겠습니까? 그 문장을 그대로 인용해 주십시오. 여기에 답하는 리더는 본문을 따라가며 주의를 추적한 것입니다. 답하지 못하는 리더는 당신 회차를 요약해 놓고 피드백이라고 부릅니다.
카카오페이지나 네이버 시리즈에 연재해 본 작가는 이 빈자리를 압니다. 독자는 40행에서 이탈했다고 말해 주지 않습니다. 그냥 다음 회를 누르지 않습니다. 통계에는 꺾인 선 하나만 남습니다. 베타 리더 리포트가 메우는 자리가 정확히 여기입니다. 그 선이 어느 문장에서 꺾였는지.
이 형식의 정직한 한계도 같은 자리에 있습니다. 리포트는 주의가 어디서 떨어졌는지 말해 줍니다. 그 대목이 좋은 글인지는 말해 주지 못합니다. 서로 다른 주장이고, 둘을 뭉뚱그리는 도구는 과장을 파는 것입니다. 그래서 리더가 가장 아끼는 문단을 짚었을 때 던질 질문은 “이게 나쁩니까”가 아니라 “독자가 이 대목을 훑고 지나가면 뒤가 말이 됩니까”입니다. 말이 된다면 남겨 두고 앞뒤 리듬을 손보십시오. 말이 안 된다면, 지금 아끼고 있는 대상이 그 문단인지 그것을 쓰던 시절의 자신인지 한 번 의심해 보십시오.
테스트 3. 리더들이 서로 싸웁니까
리더 하나는 의견입니다. 여러 리더가 같은 말을 하면 신호입니다. 여러 리더가 서로 부딪치면 가장 값진 결과입니다. 당신이 실제로 누구를 향해 쓰고 있는지를 알려 주기 때문입니다.
같은 대목을 성향이 정반대인 두 리더에게 보내십시오. Olivia는 빨리 읽고 조급함 수치가 90%입니다. Leo는 설정에 집착하는 쪽이라 세계관이 앞뒤가 맞는지를 봅니다. 같은 오백 자짜리 세계관 서술을 둘에게 건네면 Olivia는 늘어진다고 하고 Leo는 모자란다고 합니다. 도구가 고장 난 것이 아닙니다. 원고 안에 실재하는 맞바꿈이 표면으로 올라온 것입니다.
Slima의 여덟 리더는 채점 성향을 일부러 서로 다르게 벌려 놓았습니다. 한 리포트에 누구를 투입할지는 직접 고르시고, 몇 명까지 고를 수 있는지는 사용 중인 플랜이 정합니다. 리더마다 남긴 메모는 모두 리포트에 실리고, 고르신 리더 중 두 명 이상이 같은 자리에서 멈추면 그 자리는 ‘합의’로 한 번 더 표시됩니다. 조급한 리더 한 명의 불만은 한 사람의 의견으로 보이고, 너그러운 리더 한 명의 칭찬이 다른 리더가 찾아낸 문제를 가리지도 못합니다.
AI 베타 리더가 사람보다 확실히 나은 자리
- 새벽 두 시에도 대기 중입니다. 문피아 연재분이 완성되는 시각이 대체로 그때입니다.
- 끝까지 읽습니다. 12화쯤에서 지치지 않습니다.
- 당신과 아무 사이도 아닙니다. 친절하게 굴어서 지킬 관계가 없습니다.
- 개고할 때마다 다시 돌릴 수 있습니다. 친구에게는 차마 부탁하지 못할 일입니다.
그리고 못 하는 자리
- 이 작품이 중요한 작품인지는 말해 주지 못합니다. 주의가 어디서 떨어지는지는 말해도, 왜 이 이야기를 끝까지 쓸 가치가 있는지는 말하지 못합니다.
- 지켜야 할 자기 취향이 없습니다. 그래서 사람 편집자가 가끔 하는 일, 남다른 선택을 편들어 주는 일은 하지 않습니다.
- 당신의 독자가 될 수는 없습니다. 낯선 사람이 40행에서 이탈하리라는 것은 데이터입니다. 특정한 한 사람이 9화를 정말 좋아했다는 것은 다른 종류의 사실이고, 그건 여전히 필요합니다.
AI 베타 리더를 돌리는 목적은 원고를 읽어 주는 사람들을 대체하는 데 있지 않습니다. 혼자서도 잡을 수 있었던 문제에 그들의 주의력을 쓰지 않기 위함입니다. 이 논의의 전체 버전, AI 패스가 끝난 뒤 사람에게 무엇을 보낼지까지는 여기에 있습니다. AI 베타 리더와 사람 베타 리더.
리포트를 받은 다음
표시된 문장부터 고치지 마십시오. 그 앞의 세 문장을 먼저 읽으십시오. 대개 표시된 문장은 독자가 포기한 자리이고, 문제가 시작된 자리는 그보다 앞입니다. 진짜 원인은 아무 일도 일어나지 않는 세 줄짜리 밑밥입니다.
그다음 다시 돌리십시오. 한 번만 쓸 수 있는 베타 리더는 리뷰입니다. 개고할 때마다 쓸 수 있는 베타 리더는 작동하는 계측기입니다.
Slima에는 여덟 명의 AI 베타 리더가 기본으로 들어 있습니다. 리더마다 자기 채점 기준선과 자기 이탈 조건 목록을 가지고 있고, 책 전체에 걸쳐 주의를 추적합니다. 리포트마다 어느 리더를 부를지 직접 고르시면 되고, 인원수 상한은 플랜이 정합니다. 고른 리더는 원고 전체를 읽습니다. 붙여 넣은 한 회차를 범용 모델 하나가 훑는 방식과는 다릅니다. 사용해 보기.