빠른 기록이 아니라 실험의 이유를 남기는가

작업 카드 · 검증 | 적용 대상: 빠른 기록이 아니라 실험의 이유를 남기는가

작업 전 확인: 본문의 적용 조건과 설정값을 확인할 것. 판정: 해당 장의 기준 및 검증 장의 합격·중단 조건을 대조할 것. 주의: 가설과 점검 예를 실측 결과로 취급하지 말 것.

작업 01 — 조건과 참가자

빠른 기록이 아니라 실험의 이유를 남기는가 전용 도해. 이 문서의 시스템·선택 관계를 시각화하며 세부 수치와 예외는 본문을 따른다.

• 수행: 같은 42초 코스, 동일 차량, 동일 체크포인트를 사용할 것.
• 기록·측정: 대조 조건에는 전체 기록·일반 유령·재시작만 둔다.
• 가설: 실험 조건에는 4~8초 구간 선택, 한 가설 선언, 나란한 기록을 둔다.
• 제한: 상위 유령의 기록, 조작 난이도, 보상 양을 바꾸면 시스템 효과를 분리할 수 없다.
• 기준: 타임어택 경험이 다른 24명을 12명씩 나누어 첫 완주부터 35분 동안 플레이하게 한다.
• 수행: 두 조건을 모두 시키면 코스 암기가 강하게 남으므로 한 번만 배정할 것.

작업 02 — 관찰 지표

• 가설: 체크포인트 통과, 구간 선택, 가설 문장, 재시도, 입력 변화, 비교 불성립, 구간·전체 시간, 접촉, 완주를 기록한다.

• 가설: 가설 텍스트는 원문을 장기 행동 로그와 결합하지 않고 분석용 익명 코드로 분류한다.

• 가설: 코더 둘이 위치·시간·입력 중 둘 이상을 말한 가설을 구체적이라고 판정한다.

• 기준: ‘왼쪽으로 간다’만 쓴 문장과 ‘점프 0.15초 전 왼쪽으로 이동한다’는 다르게 본다.

• 가설: 주요 지표는 첫 실패 뒤 두 번 이내의 재시도에서 구체적 가설 하나를 등록하고, 그 가설과 일치하는 단일 입력 변화를 낸 참가자의 비율이다.

• 기록·측정: 분모는 구간 후보를 열고 적어도 한 번 실패한 사람이다.

• 점검 예: 예를 들어 12명 중 10명이 노출되고 7명이 성공하면 7/10과 10/12를 함께 보고한다.

• 가설: 부차 지표는 완주 전 같은 지점에서의 무가설 재시작 수, 비교 불성립 비율, 최종 기록이다.

• 가설: 기록만 빨라도 가설이 모호하거나 무가설 재시작이 늘면 채택하지 않는다.

작업 03 — 반례와 악용 확인

• 기준: 구간만 빠르게 만드는 플레이어가 다음 구간에서 매번 느려진다면 시스템이 지역 최적화만 가르친 것이다.

• 기준: 따라서 각 유효 비교 뒤 두 체크포인트까지의 누적 시간을 본다.

• 가설: 상위 유령을 켜고 끈 하위 집단을 비교해, 유령이 가설 작성을 대신하는지도 묻는다.

• 조건·조치: 유령을 본 사람이 문장을 쓰지 못하고 그대로 따라 하기만 하면, 유령의 궤적을 기본 표시에서 빼고 사후 비교로 옮긴다.

• 제한: 보상 농사는 동일 시작점 반복 수, 중단한 주행 수, 0.10초 미만 차이를 분리해 확인할 것.

• 기준: 하루 제한이 느린 학습자를 막는지도 종료 면담에서 묻는다.

• 기록·측정: 제한 때문에 연습을 그만뒀다는 응답이 많으면 보상만 제한하고 비교 저장은 무제한으로 둔다.

• 제한: 네트워크 순위는 시험에서 사용하지 말 것.

• 기준: 공개 순위의 압력이 입력 실험을 바꾸기 때문이다.

작업 04 — 확대 판단

• 가설: 후보 노출자 과반이 구체적 가설과 단일 입력 비교를 수행하고, 대조 조건보다 무가설 재시작이 줄며, 읽기 부담이 심하지 않을 때 다른 표면과 커뮤니티 코스로 넓힌다.
• 기준: 이는 출시 품질의 보증 수치가 아니라 다음 제작 결정을 위한 내부 기준이다.
• 가설: 실패하면 먼저 가설의 선택지를 셋에서 둘로 줄이고, 시간 단위를 0.15초가 아닌 ‘점프 직전’처럼 입력 감각에 맞춘다.
• 기록·측정: 완성된 기록 장부가 아니라, 스스로 라인을 시험한 여섯 초가 남는지가 목표다.

작업 05 — 노출·성공·이탈을 분리한 표본

• 기록·측정: 주요 비율의 분모는 후보 구간을 열고 그 구간에서 실패를 한 참가자다.

• 가설: 후보가 보였다는 사실, 실패했다는 사실, 가설을 등록했다는 사실을 한 수치로 합치지 않는다.

• 수행: 예컨대 실험군 12명 가운데 11명이 후보를 열고 9명이 해당 구간에서 접촉·이탈·속도 손실을 경험했으며 6명이 두 번 이내에 단일 입력 시험을 했다면, 노출은 11/12, 실패 노출은 9/11, 주 성공은 6/9로 적을 것.

• 수행: 완주를 포기한 2명도 사라지지 않게 마지막 선택 단계와 이탈 사유를 남길 것.

• 기록·측정: 한 사람이 많은 후보를 시험하는 사건 단위 분석에서는 참가자별 평균 대신 중앙값을 함께 제시할 것.

• 가설: 가설의 질은 자동 텍스트 점수로 정하지 않는다.

• 가설: 가설을 두 명의 코더가 위치·시간·입력 중 두 요소를 말했는지, 그리고 실제 로그에서 의도한 입력 외 변경이 없었는지를 독립 분류한다.

• 기록·측정: 의견이 다르면 제3의 코더가 원문과 익명 로그만 보고 결정한다.

• 제한: 코더는 조건과 최종 기록을 보지 않는다.

• 기록·측정: 입력 변화는 아날로그 값이 0.12 이상, 또는 유지 시간이 0.12초 이상 달라졌을 때 하나로 센다.

• 제한: 이 임계값 아래의 작은 흔들림은 혼합 변경으로 오인하지 말 것.

• 가설: 실험군이 대조군보다 단일 입력 시험 비율을 15퍼센트포인트 이상 높이고, 무가설 재시작 중앙값이 늘지 않으며, 종료 설문에서 읽기 부담을 5점 척도 4~5로 준 사람이 25% 미만일 때 표면을 추가한다.

• 가설: 상위 유령을 본 하위 집단에서 구체적 가설이 현저히 줄면 유령은 결과 화면으로 옮긴다.

• 기록·측정: 24명은 통계적 우월성을 선언할 표본이 아니므로, 신뢰구간과 참가자별 산포를 같이 보고 다음 프로토타입의 우선순위만 결정한다.