비교 범위
시제품은 동일 차량·마른 헤어핀·3랩 레이스로 고정한다. 대조 조건은 일반 랩타임과 충돌 리플레이만 제공한다. 실험 조건은 제동 창 관찰값, 한 변수 재현 주행, 추월 선언을 추가한다. 그래픽, AI 속도, 보상 총량, 코너 수가 다르면 무엇이 행동을 바꿨는지 알 수 없으므로 같게 둔다. 온라인 이용자를 대표한다고 주장하지 않기 위해, 첫 탐색은 레이싱 게임 경험이 서로 다른 24명을 조건별 12명으로 나눈다. 한 사람이 양쪽 조건을 연속으로 하면 코너를 외운 효과가 크므로 교차 설계는 쓰지 않는다.
기록과 질문
제동 시작 위치, 최대 제동 입력, 해제 시점, 꼭짓점에서의 조향, 제동·조향 중첩 시간, 상대와 최소 횡방향 간격, 선언 시점, 방향 전환 수, 접촉, 재시작을 이벤트별로 기록한다. 화면을 열었다는 사실은 관찰값을 읽었다는 증거가 아니다. 종료 뒤 참가자에게 마지막 접촉의 원인을 자신의 말로 묻고, ‘나는 무엇을 바꿔 보았는가’를 짧게 설명하게 한다. 답은 독립 코더 둘이 제동·조향·폭·상대 행동 중 실제 조작 근거를 언급했는지 분류한다.
주요 지표는 접촉 후 다음 유사 교전에서 한 변수만 바꿔 재현 주행을 마친 비율이다. 분모는 첫 교전에서 접촉하거나 코너 이탈을 겪은 사람이다. 예를 들어 12명 중 9명이 실패를 경험하고 6명이 한 변수 비교를 끝냈다면 6/9와 노출 9/12를 함께 기록한다. 전체 참가자 6/12만으로 관찰 기능의 이해를 말하지 않는다. 부차 지표는 선언 뒤 0.75대 폭을 남긴 유효 교전 비율과, 같은 구간을 세 번 이상 불러오기 전 계속 레이스한 비율이다.
수치의 반례와 악용
유효 교전 비율이 높아도 모두가 선언 없이 뒤에서만 달린 결과라면 실패다. 그래서 추월 시도 수와 순위 변화도 함께 본다. 선언을 눌러 상대를 겁주고 바로 취소하는 행동, 연속 선언으로 HUD를 가리는 행동, 마지막 코너에서 일부러 접촉해 상대를 늦추는 행동을 별도 코드로 남긴다. 선언은 직선당 한 번이며, 취소 뒤 3초 재사용 대기와 충돌 후 신뢰 기록 제외가 있으나 일반 벌점이나 채팅 제한으로 확대하지 않는다.
하중 막대가 이해를 돕는 대신 시선을 도로에서 떼게 할 수 있다. 그래서 HUD 상시 표시와 코너 종료 뒤 3초 요약을 비교한다. 주행 중 시선 이동을 측정할 장비가 없다면, 최소한 표식 열람 횟수와 코너 이탈을 기록하고 종료 면담에서 읽기 부담을 묻는다. 빠른 랩이 나와도 참가자가 막대를 쫓느라 조작을 설명하지 못하면 상시 표시를 채택하지 않는다.
확대 기준
접촉·이탈 경험자 가운데 과반이 한 변수 비교를 끝내고, 그 가운데 과반이 조작 근거를 설명하며, 대조 조건보다 재시작 횟수가 늘지 않을 때 비와 차급을 늘린다. 이 기준은 산업 표준이 아니라 MVP를 접을지 넓힐지 결정하기 위한 내부 기준이다. 랩타임이 줄어도 선언이 우선권으로 오해되거나 안전 운전만 유도하면 확대하지 않는다. 그 경우 선언 문구를 줄이고, 폭 관찰을 사후 리플레이에만 남긴다.
제작 비용도 측정한다. 차량 폭, 코너 형태, AI의 방어 선택이 늘면 모든 유효 판정을 손으로 검수해야 할 수 있다. MVP에서는 헤어핀 하나와 두 궤적만 지원해 판정 로그의 20%를 표본 검수한다. 표본에서 잘못된 유효·무효 판정이 5%를 넘으면 더 많은 트랙보다 경계 계산을 먼저 고친다. 목표는 매너라는 장부를 늘리는 것이 아니라, 빠른 제동과 상대의 다음 선택을 함께 읽는 실제 주행을 만드는 것이다.
사건 단위의 분모와 분석 계획
사람 수만 세면 한 참가자가 교전을 거의 만나지 않은 경우가 숨는다. 따라서 사람 단위의 노출과 사건 단위의 행동을 나누어 보고한다. 사람 단위 주 지표의 분모는 첫 실패를 경험한 참가자이고, 사건 단위 보조 지표의 분모는 선언 뒤 실제 제동 창에 진입한 교전이다. 예를 들어 실험군 12명 중 9명이 접촉·이탈을 겪고, 그 9명에서 총 17개의 선언 교전이 발생할 수 있다. 그중 11개가 0.75대 폭을 지켰다면 11/17을, 6명이 다음 유사 코너에서 한 변수 재현을 마쳤다면 6/9를 함께 제시한다. 한 사람이 열 번 잘한 결과가 여섯 사람이 이해한 결과를 대신하지 않게 하기 위해 참가자별 중앙값도 병기한다.
조건 배정 전에는 휠 사용 여부와 최근 레이싱 게임 경험을 묻고, 두 조건에 각각 비슷하게 배치한다. 세션 순서는 튜토리얼 5분, 3랩 레이스 10분, 실패가 있었던 참가자만 재현 5분, 면담 5분으로 고정한다. 중도 이탈, 멀미 설정 변경, 네트워크 지연 180ms 초과는 삭제하지 않고 별도 행으로 남긴다. 지연 구간의 폭·선언 타이밍은 판정 정확도 분석에서 제외하지만, 기능이 실제로 불편했는지를 보는 접근성 분석에는 포함한다.
판단은 평균 랩타임 하나로 하지 않는다. 실험군이 대조군보다 유효 재현 비율을 적어도 15퍼센트포인트 높이고, 무가설 재시작 중앙값이 늘지 않으며, 면담에서 ‘선언이 우선권’이라고 답한 사람이 2명 이하일 때 다음 코너를 추가한다. 24명은 유의미한 일반화 검정용 표본이 아니라 방향을 바꿀 신호를 찾는 수다. 어느 한 조건이 실패 경험자를 너무 적게 만들면 비율의 결론을 보류하고, 다음 모집에서는 난이도 대신 AI 간격만 조정한다.