비교할 두 가지 학습 방식
48명을 역할 전투 경험과 입력 장치 사용 경험이 섞이도록 모집해 24명씩 배정한다. 기준 조건은 보스 설명문과 일반 연습 허수아비를 제공한다. 실험 조건은 같은 설명문에 마지막 12초 재생과 사건별 교대 연습을 더한다. 두 조건 모두 같은 보스 체력, 적 피해, 보상, 파티 구성으로 진행한다. 실험 조건에만 더 강한 기술이나 더 쉬운 적을 주면 학습 도구가 아니라 난이도 차이를 측정하게 된다.
각 참가자는 수호·치유·공격 중 익숙하지 않은 계열 하나로 3회 입장한다. 첫 입장은 튜토리얼, 둘째는 협동 파티, 셋째는 첫 두 번에서 보지 못한 사건을 넣은 변형 보스다. 변형을 넣는 까닭은 연습 장면의 버튼 순서를 외웠는지, 적의 시선과 위험을 읽었는지 구분하기 위해서다. 표본 48명은 방향을 살피는 내부 검증 규모이며 전체 이용자 만족도를 증명하는 수치가 아니다.
계산과 성공 기준
주 지표는 ‘위험이 발생한 뒤 2초 안에 적합한 교대 기능 또는 전문 역할 행동을 한 사건’의 비율이다. 예를 들어 실험 조건의 24명이 변형 보스에서 총 72개 위험을 보고, 49개를 적합하게 처리했다면 49/72=68.1%다. 참가자별 평균도 함께 낸다. 한 사람이 15개 사건을 처리해 전체 수치를 끌어올리는 상황을 숨기지 않기 위해서다.
두 번째 지표는 사후 영상에서 ‘왜 그 기술을 썼는가’를 사건 언어로 말한 비율이다. ‘쿨다운이 돌아서’는 통과가 아니고, ‘치유가에게 적이 붙어 도발로 시선을 옮겼다’는 통과다. 연구자가 미리 작성한 8개 예시로 두 명이 독립 코딩한다. 일치율이 낮으면 결과를 억지로 합치지 않고 질문 문장부터 고친다.
MVP 확대 판단은 실험 조건의 변형 사건 적합 처리율이 기준 조건보다 12퍼센트포인트 이상 높고, 참가자 과반이 이유를 설명하며, 역할 부담 점수가 악화되지 않는 경우다. 부담은 ‘내가 실수하면 남이 나를 비난할 것 같다’를 1~7점으로 묻고 중앙값을 비교한다. 이 숫자는 제품 목표를 위한 가설 기준이며 외부 연구의 합격선이 아니다.
악용과 부작용을 먼저 본다
교대 슬롯이 강하면 숙련 파티가 전문 역할 자리를 줄이고, 약하면 아무도 누르지 않는다. 로그에서 전문 탱커·치유가 부재 파티의 성공률, 교대 슬롯 선택 분포, 동일 기술의 사용 시점을 본다. 예를 들어 보호막이 80% 이상 첫 광역에 쓰이고 그 뒤 더 위험한 장면에서 전멸한다면, 수치보다 안내의 사건 구분이 문제일 수 있다. 반대로 특정 계열 하나가 모든 사건에 선택되면 지속시간을 내리기 전에 다른 계열이 해결하는 장면이 실제로 존재하는지 확인한다.
악용 시험에서는 4명이 의도적으로 죽고 부활하여 슬롯을 되찾으려 하거나, 한 사람이 핑을 연타해 타인의 행동을 강제하려 한다. 부활 뒤 슬롯이 복구되지 않고 핑 제한이 작동하는지 확인한다. 하지만 ‘악용 방지’ 때문에 정상적인 부활 자체를 불리하게 만들지는 않는다. 전멸 후 재시작 시간, 신고 수, 파티 이탈률도 함께 봐서 사회적 비용이 학습 이득보다 큰지 판단한다.
접근성 검증과 폐기 조건
키보드·컨트롤러·보조 입력 장치 사용자에게 같은 패턴을 제시하고, 정지 연습 사용 여부와 본편 성공률을 비교한다. 화면 낭독으로 시선 대상·남은 지속시간·범위 이름을 이해할 수 있는지 관찰한다. 색만 제거한 버전이 아니라, 모양·텍스트·음향·진동을 조합한 상태를 검토한다. 읽기 속도가 느린 사람이 준비 시간 때문에 제외되지 않도록 설명 화면은 개인 확인으로 넘긴다.
연습을 한 참가자가 변형 장면에서 이유를 설명하지 못하거나, 실험 조건의 파티 이탈률이 기준보다 10퍼센트포인트 이상 높으면 전체 확장을 멈춘다. 먼저 교대 기능 수를 여섯 개에서 세 개로 줄이고, 재생 질문도 한 장면당 하나만 남긴다. 여전히 파티가 서로 감시하는 느낌을 받는다면 본편 슬롯을 제거하고 로비 연습만 유지한다. 기능의 목적은 역할을 바꾸게 하는 것이 아니라, 함께 싸우는 순간의 빈자리를 보게 하는 데 있다.