대조 조건
두 사람씩 16조를 모집해 동일한 세 방을 한 번씩 플레이하게 한다. 대조 조건은 포털과 발판의 일반적 피드백, 역할이 겹쳐도 되는 방이다. 실험 조건은 관찰·가설 분리, 안내자와 주행자의 고유 입력 창, 둘째 방의 역할 교대를 넣는다. 방의 길이·포털 수·캐릭터 이동 속도·체크포인트는 같다. 경험 많은 한 사람이 초보자에게 말로 답을 알려 주는 효과를 완전히 없앨 수는 없으므로, 사전 설문에서 협동 퍼즐 경험을 받고 조 안의 경험 차를 기록한다. 이 표본은 전체 이용자를 대표하는 통계가 아니라 MVP의 방향 검사다.
무엇을 기록하는가
포털 발사·재배치, 낙하 통과 수, 발판 위치, 걷기·점프 입력, 성공·실패, 재시작, 역할 교대, 핑, 멈춤 시간을 시간순으로 남긴다. 음성 채팅 내용은 기본 로그에 저장하지 않는다. 종료 면담에서 각자 마지막 실패의 원인과 다음 시도에서 자신이 바꾼 입력을 말하게 하고, 다른 참가자가 바꾼 입력도 설명하게 한다. 코더 둘이 답에서 공간 위치·낙하 횟수·출구 시간·착지 입력 중 구체 근거가 있는지 분류한다.
주요 지표는 실패 뒤 두 사람이 각각 하나 이상의 비대칭 입력을 바꾼 재시도를 한 조의 비율이다. 분모는 첫 방에서 적어도 한 번 실패한 조다. 8조 중 6조가 실패했고 그중 4조가 양쪽 입력을 바꿨다면 4/6과 노출 6/8을 함께 적는다. 한 사람만 포털을 바꾸고 상대가 반복 낙하한 성공은 협동 이해의 성공으로 세지 않는다. 보조 지표는 역할 교대 뒤 첫 시도 성공률, 한 사람의 무입력 대기 시간, 실패 뒤 즉시 이탈·재시작 횟수다.
협동처럼 보이는 악용
숙련자가 화면 공유나 외부 지시로 다른 사람의 움직임을 완전히 대행하면 방은 통과해도 고유 플레이는 일어나지 않는다. 테스트에서는 외부 도구를 금지하지 않고, 종료 뒤 누가 무엇을 결정·입력했는지 묻는다. 한 참가자가 두 역할의 시간과 위치를 모두 설명하고 다른 사람이 자신의 입력을 말하지 못하면, 성공률과 별도로 ‘대리 해결’로 기록한다. 자동 핑을 늘려 해결할 문제가 아니다. 핑이 너무 자세하면 역시 정답 전송이 되므로 세 가지 짧은 신호만 유지한다.
낙하를 반복해 속도를 끝없이 쌓는 악용은 단계 3에서 더 높아지지 않게 막되, 단계 3을 만들었다고 자동 성공하지는 않는다. 같은 낙하만 반복해서 보상을 얻는 문제는 보상 자체를 두지 않고 방 통과 뒤 관찰 클립만 저장해 피한다. 한쪽 연결이 끊겼을 때 다른 쪽에게 기다린 시간 감점이나 AI 대체 보상은 주지 않는다. 네트워크 지연이 출구 타이밍 실패로 보일 수 있으므로, 180ms 이상의 지연 구간은 시간 창 데이터에서 별도로 표시하고 판정 표본에서 제외한다.
확대 또는 축소
실패 경험 조의 과반이 양쪽 입력을 바꾼 재시도를 하고, 두 참가자 모두 공간·시간 근거를 말하며, 대조 조건보다 한 사람의 무입력 대기가 줄면 네 번째 방과 이동 면을 시험한다. 이는 내부 확대 기준이다. 성공률만 높아도 안내자가 모든 판단을 하고 주행자가 반복한다면 채택하지 않는다. 반대로 설명 패널 때문에 재시작이 늦으면 관찰 후보를 셋에서 둘로 줄이고 리플레이를 1.6초에서 1초로 줄인다.
제작 검수는 방마다 ‘A만 할 수 있는 입력’, ‘B만 할 수 있는 입력’, ‘둘이 같은 순간에 해야 할 확인’을 문서화한다. 역할 교대 뒤에도 같은 사람이 해답을 독점할 수 있는 경로가 발견되면, 새로운 장식을 추가하지 않고 출구 면의 시야·발판 조작을 다시 나눈다. 목표는 협동이라는 표식을 붙이는 것이 아니라, 두 사람이 손으로 공간과 운동량을 확인한 경험을 만드는 것이다.
조 단위와 사람 단위의 분모
주요 결과는 조 단위지만, 한 사람이 계속 기다린 문제는 조 성공률만으로 보이지 않는다. 따라서 양쪽 입력 변경 재시도의 분모는 첫 방에서 최소 한 번 실패한 조, 무입력 대기의 분모는 각 참가자의 방 내 체류 시간, 설명 가능성의 분모는 면담에 응답한 개인으로 분리한다. 예컨대 8개 실험 조 중 6조가 실패를 경험하고 4조가 두 사람 모두 입력을 바꿨다면 주 지표는 4/6이며 노출은 6/8이다. 그 12명 가운데 10명이 면담에 답했고 8명이 자기와 상대의 다음 입력을 모두 설명했다면 설명 지표는 8/10이다. 통과한 8조 전체를 분모로 쓰며 대리 해결을 성공으로 부풀리지 않는다.
이벤트 로그에서는 각 역할이 실제로 수행한 고유 입력을 0.05초 창으로 대조한다. A의 출구 발사 뒤 B의 입구 통과가 2초 넘게 떨어져 있으면 같은 협동 통과로 묶지 않고, B가 움직이지 않은 채 A만 발사한 기록은 역할 수행으로 세지 않는다. 사전 경험 차, 같은 방을 이미 본 적, 외부 화면 공유 여부, 180ms 초과 지연 구간은 분석 열로 둔다. 음성 내용은 저장하지 않고 면담 동의가 있는 참가자의 요약 답변만 익명 코드로 만든다. 이 조치는 협동의 대화를 감시하지 않으면서 대리 해결 여부를 확인하기 위한 범위다.
확대 결정은 실험 조건에서 실패 노출 조의 60% 이상이 양쪽 입력 변경 재시도를 하고, 대조 조건보다 1인당 무입력 대기 중앙값이 20% 이상 줄며, 면담 응답자의 70% 이상이 상대의 시간 창을 설명할 때 내린다. 숫자 하나가 모자라도 어느 방에서 역할이 겹쳤는지 사건 로그를 먼저 본다. 반응 시간 보조를 켠 조는 별도 층으로 보고, 보조가 꺼진 조와 직접 승률을 비교하지 않는다. 16조는 출시 효과를 일반화할 표본이 아니라 다음 방의 시야 분리와 창 길이를 결정할 탐색 표본이다.