실험 조건
72명을 18명씩 네 전장에 배치하고, 각 전장은 12분 호위 이벤트를 두 번 경험한다. 기준 조건은 보스 체력과 일반 목표 UI만 보인다. 실험 조건은 같은 적 배치와 보상에 세 상태·시간 창·한 개의 제안을 추가한다. 참가자에게는 입장 시점을 0분, 3분, 7분으로 무작위 배정한다. 늦은 합류자가 실제 대상이므로 모든 사람이 처음부터 전투를 본 조건만으로 결론내리지 않는다.
두 회차의 순서는 교차 배정하되, 보스 패턴은 동등하지만 다른 지형을 쓴다. 한 번 본 관문 위치를 외워서 두 번째에 잘하는 효과를 줄이기 위해서다. 각 전장에는 관찰자 캐릭터를 두지 않는다. 관찰자는 규모 조정에 포함되지 않으며, 참가자 행동 로그와 종료 후 짧은 회상 질문만 수집한다.
주 지표와 계산
첫 지표는 합류 후 30초 안에 ‘현재 최우선 상태에 영향을 준 행동’을 한 비율이다. 7분 합류자 24명 중 17명이 관문 지연·방패 수리·구조 중 당시 필요한 상태에 행동했다면 17/24=70.8%다. 이때 보스 공격만 한 사람을 무기여로 낙인찍지 않는다. 측정 범위 밖 행동일 뿐이며, 총 전투 기여와 별도 지표다.
둘째는 행동 뒤 상태가 실제로 변한 비율이다. 예를 들어 지연 기록 40회 중 관문 압력이 3초 안에 줄거나 증원 출현이 늦어진 기록이 29회면 29/40=72.5%다. 동료의 행동 때문에 생긴 변화를 한 사람에게 모두 귀속하지 않도록, 같은 3초 창의 동시 행동은 공동 기여로 표기한다. 개인 순위를 만들지 않는 이유도 이 계산의 불확실성을 숨기지 않기 위해서다.
성공의 초기 기준은 7분 합류 그룹에서 첫 지표가 기준 조건보다 15퍼센트포인트 높고, 종료 면담에서 과반이 자신이 바꾼 상태를 맞게 설명하는 것이다. ‘추천을 따라갔다’는 답만으로는 통과시키지 않는다. ‘관문 압력이 5라서 적을 묶었다’처럼 상태와 행동을 연결해야 한다. 이는 출시 승인 기준이 아니라 MVP를 다음 지도에 확대할지 정하는 내부 가설이다.
보상과 악용 검사
테스트 보상은 두 조건에서 같은 통화와 장비 확률을 사용한다. 보상량이 높으면 표식의 이해보다 파밍 동기가 행동을 바꿀 수 있다. 추가로 4명 파티가 관문 적 하나를 반경 밖과 안으로 번갈아 끌어들여 지연을 반복하거나, 체력이 찬 수레에 회복을 반복하는 시나리오를 돌린다. 중복 군중 제어의 2초 상한과 과회복 무기록이 작동하는지 확인한다.
또 다른 실패 모드는 추천이 전장의 다양성을 지우는 경우다. 로그에서 제안된 상태와 실제 선택 상태의 분포를 본다. 80% 이상이 항상 첫 제안만 따른다면, 제안이 정보가 아니라 명령으로 읽혔을 가능성이 있다. 이때 화살표를 더 크게 만들지 않고, 첫 제안을 ‘위험 관문’이 아니라 ‘관문 압력 5/6’ 같은 상태 문장으로 바꿔 테스트한다.
접근성과 사회적 비용
저시력·색각·화면 낭독 사용자와 다양한 입력 장치 사용자를 포함한 별도 12명 세션에서 우선 상태를 6초 안에 찾을 수 있는지 본다. 성공률만 기록하지 않고, 무엇을 읽지 못했는지 인터뷰한다. 시간 숫자가 어려우면 원형 시계와 ‘곧 증원’ 문장을 함께 제공하는 대안을 비교한다. 빠른 카메라 회전이 부담스러운 사람은 지도 방향을 고정할 수 있어야 한다.
마지막으로 핑 제한이 있어도 지휘 괴롭힘이 생기는지 채팅·신고·이탈 로그를 익명 집계한다. 실험 조건에서 파티 이탈률이 기준보다 8퍼센트포인트 이상 늘거나, 과반이 ‘내가 표식을 안 따르면 눈치가 보였다’고 답하면 확장을 멈춘다. 상태 UI를 두 개로 줄인 뒤 재검증하고, 그래도 강요로 읽히면 전장 표식을 제거해 종료 지도만 남긴다. 좋은 합류는 지시를 잘 따르는 행위가 아니라, 전투의 바뀐 상태를 스스로 발견하는 경험이어야 한다.