사람과 AI의 문장 판단 차이 분석하기
Nova School의 AI 도우미가 '네, 정말 완벽하네요...'를 긍정으로 분류했다는 사건 파일을 공개합니다. 학생은 모델 판결에 동의, 반대, 판단 보류 중 하나를 선택합니다.
사람 간 라벨 불일치율, 임시 다수 라벨 대비 정확도, 혼동행렬과 선택적 F1대학 지원 연구 근거 · 고등 · 9-12학년
감정 AI가 사람을 단정하지 않게 하면서, 사용자가 결과를 확인하고 고칠 수 있는 프로그램을 어떻게 만들까요?
학생은 AI가 판단에 사용한 신호와 사람의 실제 마음을 구분합니다. 같은 자료로 두 방법을 비교하고, AI가 모를 때 멈추거나 묻게 하는 기능과 개인정보 보호 기준을 갖춘 연구를 완성합니다. 온라인 또는 압구정 대면 수업을 개별 또는 소규모 그룹으로 진행합니다.
Carnegie Mellon, Stanford 연구팀이 공개한 연구를 참고해 수업을 만들었습니다. 학생은 대학 연구자가 기술의 쓸모, 편리함, 공정성과 안전을 어떻게 조사하는지 먼저 설명하고, 그다음 자기 질문, 설계 선택, A/B 결과, 실패, 수정과 한계를 구분해 지원서나 면접에서 솔직하게 설명합니다.
학생이 만드는 것
12회 학습 순서
각 회차를 펼치면 학생이 할 일, 완성할 결과물, 전체 프로젝트와 이어지는 단계, 학부모 요약을 확인할 수 있습니다.
조사: Kansei engineering, human factors, UX/HCI, persuasive design, affective AI의 질문·증거·한계를 비교합니다. 결과물: 학문 분야 지도와 주장 감사표. 확인 증거: 주장 분류 일치도, 근거 유형, 수정 문구, 남은 불확실성.
Adaptive Study Assistant가 주장할 수 있는 범위와 금지 경계를 정의합니다.
오늘 학생은 감정 기술의 과장된 주장 확인하기 미션을 수행했습니다. 조사: Kansei engineering, human factors, UX/HCI, persuasive design, affective AI의 질문·증거·한계를 비교합니다. 결과물: 학문 분야 지도와 주장 감사표. 확인 증거: 주장 분류 일치도, 근거 유형, 수정 문구, 남은 불확실성. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 구성개념을 자기 보고, 행동, 과업 성능, 맥락 지표로 나누고 각각의 타당도 위협을 표시합니다. 결과물: 구성개념 정의 카드와 측정 계획. 확인 증거: 지표 간 일치·불일치, 타당도 위협, 맥락 변수, 해석 한계.
Adaptive Study Assistant가 다룰 지원 필요와 성공을 조작적으로 정의합니다.
오늘 학생은 보이지 않는 경험을 관찰 가능한 기준으로 정하기 미션을 수행했습니다. 조사: 구성개념을 자기 보고, 행동, 과업 성능, 맥락 지표로 나누고 각각의 타당도 위협을 표시합니다. 결과물: 구성개념 정의 카드와 측정 계획. 확인 증거: 지표 간 일치·불일치, 타당도 위협, 맥락 변수, 해석 한계. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 입력, 처리, 저장, 접근, 수정, 삭제, 보관 기간을 데이터 흐름 지도에 추적합니다. 결과물: 동의 화면, 데이터 흐름 지도, 삭제 규칙. 확인 증거: 핵심 정보 발견, 동의 선택, 철회 단계, 삭제 성공, 수집 항목 수.
Adaptive Study Assistant의 최소 데이터 흐름과 사용자 권리 경로를 승인받습니다.
오늘 학생은 이해하고 철회할 수 있는 동의 화면 만들기 미션을 수행했습니다. 조사: 입력, 처리, 저장, 접근, 수정, 삭제, 보관 기간을 데이터 흐름 지도에 추적합니다. 결과물: 동의 화면, 데이터 흐름 지도, 삭제 규칙. 확인 증거: 핵심 정보 발견, 동의 선택, 철회 단계, 삭제 성공, 수집 항목 수. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 신호 탐지, 경보 피로, 시각 위계, 작업부하를 정의하고 누락·오경보 비용을 구분합니다. 결과물: 신호 탐지와 작업부하 분석. 확인 증거: 적중률, 누락, 오경보, 반응 시간, 간이 작업부하.
Adaptive Study Assistant의 결과를 보고 다시 고치는 정보·알림이 중요한 정보를 가리지 않도록 인간공학 기준을 정합니다.
오늘 학생은 알림이 많은 화면에서 중요한 신호 찾기 미션을 수행했습니다. 조사: 신호 탐지, 경보 피로, 시각 위계, 작업부하를 정의하고 누락·오경보 비용을 구분합니다. 결과물: 신호 탐지와 작업부하 분석. 확인 증거: 적중률, 누락, 오경보, 반응 시간, 간이 작업부하. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 입력, 전처리, 모델·규칙, 불확실성, 응답, 사용자 결과를 보고 다시 고치는 정보, 저장, 삭제를 물리 카드로 배열합니다. 결과물: 시스템 구조도와 실패 지점 지도. 확인 증거: 실패 지점, 탐지 신호, 안전 기본값, 사용자 통제, 데이터 수명.
Adaptive Study Assistant의 전체 구조, 불확실성, 결과를 보고 다시 고치는 정보, 삭제 경로를 설계합니다.
오늘 학생은 AI 추천이 실패하는 단계와 안전장치 그리기 미션을 수행했습니다. 조사: 입력, 전처리, 모델·규칙, 불확실성, 응답, 사용자 결과를 보고 다시 고치는 정보, 저장, 삭제를 물리 카드로 배열합니다. 결과물: 시스템 구조도와 실패 지점 지도. 확인 증거: 실패 지점, 탐지 신호, 안전 기본값, 사용자 통제, 데이터 수명. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 20~40개 합성 문장을 독립 라벨링하고 사람 간 불일치, 비꼼, 공손함, 코드 스위칭, 맥락을 분석합니다. 결과물: 주석 표, 모델 지표, 불일치 분석, 안전 응답 사람과 프로그램이 소통하는 화면. 확인 증거: 인간 불일치, 모델 오류, 언어 한계, 불확실성, 수정·opt-out, 시스템 카드.
Adaptive Study Assistant가 텍스트 단서를 사용할 때 판단 보류·질문·수정·중단을 설계합니다.
오늘 학생은 사람과 AI의 문장 판단 차이 분석하기 미션을 수행했습니다. 조사: 20~40개 합성 문장을 독립 라벨링하고 사람 간 불일치, 비꼼, 공손함, 코드 스위칭, 맥락을 분석합니다. 결과물: 주석 표, 모델 지표, 불일치 분석, 안전 응답 사람과 프로그램이 소통하는 화면. 확인 증거: 인간 불일치, 모델 오류, 언어 한계, 불확실성, 수정·opt-out, 시스템 카드. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 얼굴 움직임, 자세, 음성 특성, 생리 신호가 관찰 가능한 신호인지 구성개념인지 구분합니다. 결과물: 구성 타당도 비평과 데이터 모음 위험 기록. 확인 증거: 가능 맥락 수, 반증 사례, 확인 질문, 구성 타당도 위협.
Adaptive Study Assistant에서 제외할 추론과 사용자 확인이 필요한 경계를 정합니다.
오늘 학생은 관찰 신호와 사람의 실제 마음 구분하기 미션을 수행했습니다. 조사: 얼굴 움직임, 자세, 음성 특성, 생리 신호가 관찰 가능한 신호인지 구성개념인지 구분합니다. 결과물: 구성 타당도 비평과 데이터 모음 위험 기록. 확인 증거: 가능 맥락 수, 반증 사례, 확인 질문, 구성 타당도 위협. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 확률, 범주, 예시, 이유, 판단 보류 표현이 이해·과신·행동에 미치는 차이를 분석합니다. 결과물: 인간 통제 사람과 프로그램이 소통하는 화면과 사용성 증거. 확인 증거: 확신 이해, 적절한 의존, 수정 성공, override·opt-out 발견, 선호.
Adaptive Study Assistant에 불확실성, 이유, 수정, 재정의, 중단 기능을 확인합니다.
오늘 학생은 AI가 모를 때 멈추고 묻게 하는 화면 만들기 미션을 수행했습니다. 조사: 확률, 범주, 예시, 이유, 판단 보류 표현이 이해·과신·행동에 미치는 차이를 분석합니다. 결과물: 인간 통제 사람과 프로그램이 소통하는 화면과 사용성 증거. 확인 증거: 확신 이해, 적절한 의존, 수정 성공, override·opt-out 발견, 선호. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 연구 질문, 가설, 표본, 변수, 측정, 교란, 동의, 데이터 관리, 구조, 위험의 연결을 peer review합니다. 결과물: 승인된 build dossier. 확인 증거: 질문-지표 정렬, 교란, 동의, 안전 게이트, 재현 가능성.
Adaptive Study Assistant 구현 전에 연구·데이터·시스템·윤리 기준을 동결합니다.
오늘 학생은 연구 계획과 프로그램 구조 미리 점검하기 미션을 수행했습니다. 조사: 연구 질문, 가설, 표본, 변수, 측정, 교란, 동의, 데이터 관리, 구조, 위험의 연결을 peer review합니다. 결과물: 승인된 build dossier. 확인 증거: 질문-지표 정렬, 교란, 동의, 안전 게이트, 재현 가능성. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 기능을 must/should/could로 자르고 결정론적 바꾸기 전 기준 결과와 AI·적응 기능의 추가 가치를 분리합니다. 결과물: 작동 시험용 작품과 테스트 스크립트. 확인 증거: acceptance pass, 실패 복구, 통제 경로, 삭제 확인, 접근성.
Adaptive Study Assistant의 최소 작동 시스템과 안전 통제를 구현합니다.
오늘 학생은 사용자가 통제하는 시험용 AI 만들기 미션을 수행했습니다. 조사: 기능을 must/should/could로 자르고 결정론적 바꾸기 전 기준 결과와 AI·적응 기능의 추가 가치를 분리합니다. 결과물: 작동 시험용 작품과 테스트 스크립트. 확인 증거: acceptance pass, 실패 복구, 통제 경로, 삭제 확인, 접근성. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 소규모 동의 기반 파일럿의 순서 효과, 표본 한계, 결측, 사람 간 차이를 계획합니다. 결과물: 결과 표와 그래프로 나타내기와 limitation log. 확인 증거: 과업 지표, 사용자 평정, 실패 유형, 반례, 불확실성, 한계.
Adaptive Study Assistant를 파일럿하고 실패 증거로 최종 개선합니다.
오늘 학생은 작은 사용자 시험에서 실패 원인 찾기 미션을 수행했습니다. 조사: 소규모 동의 기반 파일럿의 순서 효과, 표본 한계, 결측, 사람 간 차이를 계획합니다. 결과물: 결과 표와 그래프로 나타내기와 limitation log. 확인 증거: 과업 지표, 사용자 평정, 실패 유형, 반례, 불확실성, 한계. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
조사: 연구 질문, 방법, 구조, 데이터, 결과, 불확실성, 윤리, 접근성, 한계, 재현 자료를 최종 감사합니다. 결과물: 연구 포스터, 포트폴리오 사례 연구, 같은 방법으로 다시 확인할 수 있는 시험용 작품. 확인 증거: 재현성, 지표 해석, 실패 설명, 통제 작동, 윤리·한계 방어.
Adaptive Study Assistant의 가치, 증거, 한계, 안전한 사용 범위를 최종 방어합니다.
오늘 학생은 최종 프로젝트의 결과와 한계 발표하기 미션을 수행했습니다. 조사: 연구 질문, 방법, 구조, 데이터, 결과, 불확실성, 윤리, 접근성, 한계, 재현 자료를 최종 감사합니다. 결과물: 연구 포스터, 포트폴리오 사례 연구, 같은 방법으로 다시 확인할 수 있는 시험용 작품. 확인 증거: 재현성, 지표 해석, 실패 설명, 통제 작동, 윤리·한계 방어. 결과를 근거로 한 기능을 개선하고, 사람을 평가하지 않는 원칙과 접근성·개인정보·사용자 통제의 한계를 함께 설명했습니다.
주요 실습
모든 수업에는 직접 할 활동, 하나씩 바꿔 볼 조건, 기록할 결과와 컴퓨터 없이 할 수 있는 방법이 있습니다.
Nova School의 AI 도우미가 '네, 정말 완벽하네요...'를 긍정으로 분류했다는 사건 파일을 공개합니다. 학생은 모델 판결에 동의, 반대, 판단 보류 중 하나를 선택합니다.
사람 간 라벨 불일치율, 임시 다수 라벨 대비 정확도, 혼동행렬과 선택적 F1동의 버튼 하나 뒤에 수집·공유·무기한 보관이 숨은 흐름에서 데이터의 탈출 경로를 찾아야 합니다.
핵심 정보 발견, 동의 선택, 철회 단계합성 관제 화면에서 30초마다 중요한 한 신호가 수십 개 장식 알림 속에 숨어 있습니다.
적중률, 누락, 오경보정확도 72%인 시스템이 자신감 있는 문장만 보여 주어 사용자가 언제 의심해야 할지 모르는 상황을 해결합니다.
확신 이해, 적절한 의존, 수정 성공선택 최종 프로젝트
어떤 주제를 고르든 사용자를 관찰하고, 조건 하나만 다른 두 작품을 비교하고, 결과와 안전 기준을 설명합니다.
고등 · 화면에서 작동
설계 변수와 신뢰·편안함·명확성의 관계가 확인되지 않았습니다.
과정과 증거 보기 →고등 · 화면에서 작동
평균 성능이 특정 맥락 실패와 사람 간 불일치를 가립니다.
과정과 증거 보기 →고등 · 화면에서 작동
게임이 상태를 추정해 강도를 바꾸고 이유를 설명하지 않습니다.
과정과 증거 보기 →고등 · 화면에서 작동
모델이 애매한 맥락에서도 확정 답을 냅니다.
과정과 증거 보기 →고등 · 화면에서 작동
참여율 가장 나은 조건 찾기가 방해와 거짓 긴급성을 키웁니다.
과정과 증거 보기 →고등 · 손으로 만지는 작품
거리·속도·시점·결과 안내가 안전과 신뢰에 미치는 영향을 모릅니다.
과정과 증거 보기 →고등 · 화면에서 작동
설명이 길거나 자신감만 높여 적절한 신뢰를 방해할 수 있습니다.
과정과 증거 보기 →고등 · 화면에서 작동
비꼼·간접 표현·언어 혼합에서 사람과 모델 해석이 갈립니다.
과정과 증거 보기 →평가 방법
성격, 감정 공개, 침착함, 공감 표현이 아니라 연구와 공학 증거를 평가합니다.
안전 경계
학생은 사람의 감정을 조작하거나 평가하지 않습니다. 사람의 감정과 전체 경험을 고려한 제품·시스템·환경을 설계합니다.
선택 심화 연구
작은 첫 시험을 한 번 더 고치고, 조건을 바꿔 다시 확인한 뒤 다른 사람도 따라 할 수 있는 보고서를 씁니다.
조사: 실패 빈도·심각도·회복 가능성·접근성 영향을 비교해 개선 우선순위를 정합니다. 결과물: 개선 릴리스와 change log. 확인 증거: 전후 지표, 회귀 통과, 새 실패, 접근성 영향.
조사: 분포, 부분집합, 신뢰구간 또는 부트스트실험 개념, 효과 크기, calibration을 트랙에 맞게 적용합니다. 결과물: 심화 분석 노트북 또는 연구 부록. 확인 증거: 부분집합 성능, 효과 크기, calibration/abstention, 민감도.
조사: 초록, 배경, 방법, 결과, 논의, 한계, 윤리, 참고문헌의 주장-증거 연결을 감사합니다. 결과물: 정식 연구 보고서 초안. 확인 증거: 주장-증거 추적, 방법 재현, 그림 정직성, 한계, 출처.
조사: 공개 가능한 합성 자료, 접근성, 위험 설명, 라이선스, 실행 절차, 실패 복구를 릴리스 체크리스트로 검사합니다. 결과물: 공개 시연 패키지와 최종 방어. 확인 증거: 새 환경 실행, 통제 발견, 접근성, 한계 이해, 재현 질문.
학부모 질문
9-12학년 과정에서 쓰는 도구, 완성할 결과물, 개인정보 보호 기준을 구체적으로 답합니다.
필수 선행 도구는 없습니다. Figma·설문·스프레드시트, Python·Jupyter, 합성·공개 데이터, 선택형 비민감 센서 경로 중 학생 수준에 맞는 방식을 선택하고, 같은 경험 질문과 증거 기준을 유지합니다.
관찰 기록, 필요한 기능 목록, 시험용 작품, 시험 기록, 그래프, 바꾸기 전후 비교 중 하나 이상이 남습니다. 12회 결과는 만든 과정을 보여 주는 포트폴리오로 정리합니다.
아닙니다. 개인 경험을 말하지 않아도 개인정보가 없는 Nova School 가상 상황으로 모든 활동을 할 수 있습니다. 수업에서는 사람을 평가하지 않고 앱·제품·로봇이 사용하기 편한지 살펴봅니다.
Carnegie Mellon, Stanford 연구팀이 공개한 연구를 참고해 수업을 만들었습니다. 학생은 대학 연구자가 기술의 쓸모, 편리함, 공정성과 안전을 어떻게 조사하는지 먼저 설명하고, 그다음 자기 질문, 설계 선택, A/B 결과, 실패, 수정과 한계를 구분해 지원서나 면접에서 솔직하게 설명합니다. 과정명 자체는 입시 근거가 아니며 어떤 과정도 합격을 보장하지 않습니다.
네. 같은 학습 순서를 온라인 또는 서울 강남구 압구정 대면 수업에서 진행합니다. 개별 수업과 소규모 그룹 수업을 모두 운영합니다.
과정 상담
학년과 코딩 경험에 맞춰 종이 만들기, 화면 디자인(Figma), 블록 코딩(Scratch), 웹·Python 코딩, 로봇 중 알맞은 제작 방법을 함께 고릅니다.