10/9 발표, 1,222명 무작위 실험 — AI를 10분 쓰면 깎이는 건 실력이 아니라 버티려는 마음이었다

발행 2026-10-12 · 분류 AI·인지과학 · 난이도 중급 · 읽는 시간 8분

AI 10분 실험 히어로 — 사이드바 AI를 치운 직후 풀이 곡선이 꺾이고 스킵률이 올라가는 다크 네온 일러스트, 테크한잔

세 줄 요약. ① 1,222명을 제비뽑기로 나눠 10분 동안만 AI를 붙여 문제를 풀게 하고, 슬쩍 AI를 걷어냈더니 붙였던 쪽의 풀이 성공률이 0.57까지 처졌다(처음부터 안 쓴 쪽은 0.73). ② 더 아픈 대목은 점수가 아니라 태도였다. 문제를 아예 넘기는 비율이 1.8배로 늘었다 — 실력이 떨어진 게 아니라 시도 자체를 포기하기 시작한다. ③ 단, 피해자는 골라 있다. '답을 그냥 받아 간' 하위 그룹만 무너졌고 '힌트로 쓴' 그룹은 처음부터 안 쓴 쪽과 차이가 없었다.

10월 9일 UC 버클리 연구 보도자료로 세상에 나온 논문 「AI Assistance Reduces Persistence and Hurts Independent Performance」가 Hacker News에 10월 11일 저녁 올라와 71표를 받았다. 저자 다섯 명은 CMU·옥스퍼드·UC 버클리·MIT·UCLA에 흩어져 있고, 올해 초 사전공개본이 먼저 화제가 된 뒤 이번 주 Conference on Language Modeling(COLM)에서 피어리뷰를 통과한 최종본으로 발표됐다. 제목만 훑으면 'AI가 뇌를 쓴다'는 류의 또 다른 경고로 보이지만, 표를 넘기면 얘기가 달라진다. 이 실험이 증명한 건 AI의 폐해가 아니다. 'AI를 어떤 손놀림으로 쓰느냐'에 따라 선이 긋힌다는 걸 인과로 그려 낸 논문이다.

30초 요약

항목	내용
무슨 일	CMU·버클리 등 5개 기관 공동팀이 무작위대조시험 세 건(N=1,222)으로 "짧은 AI 사용이 이어서 혼자 풀 때의 성과와 인내심을 깎는다"를 인과로 확인. 10월 9일 버클리 보도자료 공개, COLM 학회 발표
실험 1 (N=354)	분수 문제 12개를 사이드바 AI와 함께 풀게 한 뒤 예고 없이 AI 제거. 테스트 3문제 풀이율 — AI군 0.57 vs 대조군 0.73 (p<0.001, Cohen's d=-0.42), 스킵률 0.20 vs 0.11
실험 2 (N=667)	프리테스트·동일 사이드바 등 교란 통제를 더해 재현. 풀이율 0.71 vs 0.77로 방향 유지. 참여자 61%는 '답을 직접 요구'한 유형이었고, 저하는 전부 이 하위 집단에 몰렸다
실험 3 (N=201)	SAT 독해 지문으로 영역 교체. AI군 풀이율 0.76 vs 대조군 0.89, 스킵률 0.08 vs 0.01 — 산수가 아니라 언어에서도 재현
해석	저자들은 두 메커니즘을 든다. ① '몇 초면 답'에 적응해 혼자 하는 effort의 심리적 비용이 부풀어 오르는 기준점 이동 ② 스스로 버텨 보는 경험이 사라져 자기 능력에 눈감는 메타인지 붕괴
한계	10~15분 단일 세션이 실측 범위. 피험자는 온라인 모집 일반인, 과제는 분수·독해. 수 개월 매일 사용의 누적 효과는 이 논문이 아니라 다음 연구의 몫

1. 무엇이 터졌나

1. 무엇이 터졌나
2. 왜 대단한 논문인가
3. 바로 써먹기
4. 해외 반응 쟁점
5. 마시기 전 주의

설계는 잔인할 만큼 단순하다. 온라인으로 모집한 성인을 제비뽑기로 두 그룹에 나눠 같은 문제를 풀게 한다. 한쪽에는 화면 옆에 GPT-5가 상주하는 사이드바를 열어 주고, 다른 쪽은 오답 표시만 되는 동일한 모양의 패널을 준다. 10~15분쯤 지나면 연구진이 AI 쪽 사이드바를 아무 예고 없이 닫아버린다. 그 다음 3문제는 전원 혼자 푼다. 이 논문이 재는 주인공 숫자는 둘이다.

첫째, 혼자 푼 3문제의 풀이율. 실험 1에서 AI를 썼던 그룹은 평균 0.57, 한 번도 안 쓴 그룹은 0.73이다. 통계적으로 p<0.001, 효과 크기 0.42 — 심리학 실험으로는 작지 않은 간격이다. 둘째가 더 문제적이다. 같은 3문제에서 AI그룹은 20%를 아예 손대지 않고 넘겼고, 대조군은 11%였다. 못 푼 게 아니라, 안 풀었다.

연구진은 이걸 '단순한 착오'로 보지 않는다. AI는 수 초 만에 답을 뱉는 물건이다. 그 속도에 10분만 절여져도 '문제는 본래 몇 초 만에 풀리는 것'이라는 기준점이 머리 안에 다시 놓인다. 그 뒤로 혼자 붙잡는 5분은 체감상 부당해진다. 심리학의 욕구적응이 여기에 붙으면 바퀴는 스스로 돈다 — 한 번 덜 고민할수록, 다음에 고민하는 값은 체감으로 더 비싸진다.

두 번째 메커니즘은 '생산적 고민의 실종'이다. 혼자 버텨 보는 경험은 지식을 쌓기 전에 '나는 어디까지 혼자 되는가'라는 감각을 기른다. 이 통로가 막히면 사람은 자기가 뭘 모를지조차 가늠하지 못한 채 다음 문제 앞에 앉는다. 저자들은 이 메타인지 붕괴를 인내심을 갉는 본체로 지목한다.

2. 왜 대단한 논문인가

① 상관 연구 잔혹사에서 처음으로 인과를 뽑았다
'AI 때문에 멍청해진다'는 류의 연구는 그동안 설문에 기댔다 — 이 논문이 인용하는 선행 연구들(Gerlich 2025 등)도 대부분 그렇다. AI를 많이 쓰는 사람이 덜 집요한지, 덜 집요한 사람이 AI를 많이 쓰는지는 설문으로 영영 구별 못 한다. 이 논문은 제비뽑기 그 갈림을 잘랐다. 10분이라는 노출만으로 이후의 차이가 만들어졌으니, 인과 방향은 정해진다.

② N=1,222는 이 분야에서 드문 스케일이다
354명, 667명, 201명 — 셋 다 각자 논문 한 편이 될 크기인데, 저자들은 이걸 한 편에 묶었다. 영역을 두 번 비튼 것도 요령이다: 실험 1·2는 분수(수리), 실험 3은 SAT 독해(언어). '계산기증' 류의 반론이 끼어들 틈을 애초에 구조로 막아 둔다.

③ 피해가 '사용량'이 아니라 '사용법'에 몰려 있다
이 논문에서 가장 적게 인용되는 표다. 실험 2에서 참여자의 61%가 AI에게 '답을 직접' 요구하는 유형이었고, 성과 저하와 스킵 급증은 전부 이 하위 집단에 몰렸다. 반대로 '힌트를 얻으려 쓴' 그룹과 '이해 확인용으로 쓴' 그룹은 대조군과 통계적으로 구별이 거의 없다. 답을 요구한 그룹은 스킵률이 대조군보다 2배 가까이 높았지만(0.13 vs 0.07), 힌트 그룹은 오히려 가장 낮았다(0.05). 질문은 'AI를 쓰느냐'가 전부가 아니었다.

④ 'AI는 단기 협력자로만 최적화돼 있다'는 진단
도입부가 사람과의 협력을 저편에 세운 프레임이 인상적이다. 좋은 멘토는 답만 주지 않는다 — 상대 진도를 살피고, 때로는 일부러 안 알려 주고, 학습자의 성장에 베팅한다. 반면 지금의 어시스턴트는 "거의 항상, 완전한 답을, 즉시" 주도록 다듬어진 물건이다. '아니오'라고 말하지 않는 파트너가 오래 곁에 있을 때 사람의 인내심이 어떤 최후를 맞는지, 이 논문 하나의 데이터가 예고장에 있다.

3. 바로 써먹기

논문이 사실상 제시하는 사용 규범은 하나다. '답 요구' 스위치를 내리고 '힌트' 스위치만 올려 두는 것. 실전에 옮기면 아래 표가 된다.

사용 패턴	논문 실측 결과	권장 세팅
답을 직접 요구 ("정답 뭐야")	풀이율 급락 + 스킵률 대조군의 약 2배 — 저하의 진원지	학습·설계 판단 같은 '근육이 남는 작업'에서는 금지
힌트로 사용 ("어디서 막혔어")	대조군과 유의한 차이 없음, 스킵률 전 그룹 중 최저 0.05	막힐 때 방향만 묻고 결론은 직접 낼 것
이해 확인용 ("내 이해 맞나")	역시 저하 없음	풀고 난 뒤 채점·회고 용도로는 사실상 자유
속도 비교	AI군은 보조 중엔 대조군보다 오히려 정확했다 — 문제는 제거 이후	생산성 지표만 보면 이 현상이 안 보인다. 팀 KPI에 'AI 없이도 되는가' 축을 하나 넣을 것

실천으로는 '10분 룰' 정도를 권할 만하다. 어려운 작업에 손대기 전 10분은 AI를 닫아 두고 혼자 견디는 시간으로 예약해 두는 식이다. 논문의 메커니즘대로라면 기준점 리셋을 막는 장치는 '적게 쓰기'가 아니라 '먼저 버티기'다. 반대로 회의록 요약처럼 근육이 남지 않는 작업에까지 이 결론을 끌고 갈 필요는 없다 — 표에서 읽히는 경계가 바로 그 선이다.

4. 해외 반응 쟁점

Hacker News 스레드(71표)와 관련 논의를 관통하는 축은 셋이다. 첫 째는 '과제 타당성' 반론이다: 분수 풀이와 독해 지문이 실무와 학습을 대표하느냐. 회의론자의 자조가 정서를 대표한다 — 질문의 절반은 분수 문제가 너무 쉽다는 것이고, 나머지 절반은 너무 인위적이라는 것이다. 둘째는 오히려 순방향 해석이다 — AI 없이는 못 사는 게 아니라 '답을 받는 습관'이 병이라는 진단이라면, 처방은 금욕이 아니라 사용법 재설계다. HN에서 재유통된 카르파시의 '능력 격차 퍼널'과 이어 읽는 사람이 많은 이유다: 정작 헤비 유저는 이 논문의 '힌트형 사용자'에 가까울 수 있다. 셋째는 교육 현장 파장이다. 버클리 보도자료 자체가 교육 질문을 전제로 쓰여 있고, 저자들 스스로 "축적 효과가 걱정된다"고 쓴 부분이다. 다만 이 논문은 1회성 10분이지 한 학기 매일 사용이 아니라는 선긋기는 스레드에서도 반복된다.

5. 마시기 전 주의

첫째, 실측 창은 10~15분이다. 논문의 자신 있는 결론은 전부 '짧게 쓰고 떼어 놓자'의 범위 안에서만 선다. 매일 세 시간 쓰는 사람의 6개월 후를 물으면, 이 논문이 아니라 종단 연구가 답해야 한다. 둘째, 피험자는 온라인 실험 참가자다. 코딩 전문가가 IDE의 AI 자동완성과 한 몸이 된 상태의 인지 부하와는 측정 대상 자체가 다르다. 셋째, '실험 2에서 AI군 풀이율 0.71 vs 대조군 0.77'의 p=0.020은 실험 1의 p<0.001보다는 약하다. 효과의 방향은 재현됐으나 크기까지 재현된 건 아니다. 마지막으로 저자 인용 구절 하나: "AI가 수 초 만에 답을 주면, 우리는 그 속도에 익숙해진다" — 이건 저자들의 기제 설명이지, 아직 독립적으로 검증된 법칙은 아니다.