본문으로 이동
모든 코스
StanfordAI와 일170분4 모듈
최신 자료2025년 12월판

AI 기업의 ‘책임 있다’는 말을 증거로 바꾸기

기업의 공개 자료를 지표·점수·근거 보고서로 따라가며 ‘공개했다’와 ‘잘하고 있다’를 구분합니다.

AI 기업이 안전하다고 말할 때, 제3자가 다시 확인할 수 있는 정보는 얼마나 남아 있을까요?

프로젝트와 최신성

CC BY 4.0으로 공개된 Stanford CRFM의 지표·점수·기업별 근거표를 사용합니다. 학생은 원점수를 위험도나 ESG 점수로 이름만 바꾸지 않고 채점 근거까지 추적합니다.

2026년 8월 현재 공개된 최신 정기 평가판은 2025년 12월판입니다. 13개 기업을 100개 지표로 평가하며, 이전 연도와 지표 구성이 달라 단순 순위 비교는 피합니다.

먼저 볼 장면

‘책임 있는 AI’라는 문장은 점수를 받지 못한다

FMTI는 구체적인 공개 질문과 근거가 있을 때만 1점을 줍니다. 낮은 점수는 위험 판정이 아니라 외부에서 확인 가능한 정보가 적다는 뜻입니다.

데이터 흐름

기업 문장이 감사 가능한 0과 1이 되는 과정

1기업 공개자료정책·보고서·제품 문서
2100개 지표충족 조건을 질문으로 고정
3두 명의 평가자독립 채점 뒤 이견 조정
4점수 + 근거표판정 이유를 함께 공개
0/4

‘다음 단계’를 눌러 입력이 결과가 되는 길을 따라가세요.

구성요소 대화

0점이 나왔을 때 네 구성요소의 대화

‘다음 단계’를 눌러 구성요소의 첫 메시지를 열어 보세요.

코드 워크스루

관심 분야의 문제를 정하고, 코드와 데이터를 읽고, AI 실험을 검증한 뒤 결과를 발표합니다.

40분

‘공개했다’를 작은 질문으로 나누기

학습 데이터, 크롤링, 이용 데이터처럼 모호한 책임을 확인 가능한 지표로 나눕니다.

먼저 떠올릴 비유

건강검진이 ‘건강함’ 한 칸 대신 혈압·혈당을 따로 재는 것과 같습니다.

핵심 판단

한 행은 하나의 공개 질문이고, 기업 열의 1과 0은 그 질문을 충족한 공개 근거가 있었는지를 뜻합니다.

직접 해보기

관심 있는 AI 서비스에 적용할 공개 질문 다섯 개를 ‘무엇·범위·근거 위치’가 드러나게 씁니다.

남길 증거

근거를 찾을 수 있는 5개 투명성 질문

코드 용어
저장소의 실제 코드이 파일에서 확인
Dec2025/Dec2025_scores.csvf4500c5
Indicator,AI21 Labs,Alibaba,Amazon,Anthropic,DeepSeek,Google,IBM,Meta,Midjourney,Mistral,OpenAI,Writer,xAI
Data acquisition methods,1,0,1,1,0,0,1,1,0,0,0,1,0
Public datasets,1,0,0,0,0,0,1,0,0,0,0,0,0
Crawling,1,0,0,1,0,1,1,1,0,0,1,0,0
Usage data used in training,1,0,0,0,0,0,1,1,0,0,0,1,0
Notice of usage data used in training,1,0,0,1,0,1,1,1,0,0,0,1,0
Licensed data sources,0,0,0,0,0,0,1,0,0,0,0,0,0
코드가 하는 일
  1. 1

    첫 열은 지표이고 나머지 열은 평가 대상 기업입니다.

  2. 2

    각 1은 해당 공개 기준을 충족했다는 뜻이고 0은 자격 있는 공개 근거가 없다는 뜻입니다.

  3. 3

    데이터 확보, 공개 데이터셋, 크롤링은 서로 다른 질문이라 따로 채점됩니다.

새 상황에 적용하기

기업 소개 페이지에 ‘책임 있는 데이터로 학습합니다’라고만 적혀 있습니다.

`Crawling` 지표를 채점할 때 가장 필요한 추가 근거는 무엇인가요?

40분

합계보다 행의 무늬 읽기

기업 총점 하나 대신 노동, 보상, 합성 데이터 등 연관 지표 묶음에서 공개 공백을 찾습니다.

먼저 떠올릴 비유

성적표의 평균만 보지 않고 과목별 강점과 빈칸을 보는 일과 같습니다.

핵심 판단

총점은 어떤 영역에서 정보가 빠졌는지 가립니다. 지표 묶음을 비교해야 기업이 공개한 것과 남긴 공백이 보입니다.

직접 해보기

세 기업과 일곱 지표만 골라 공개율을 계산하고, 가장 큰 공백을 한 문장으로 씁니다.

남길 증거

영역별 공개율 미니 히트맵

코드 용어
저장소의 실제 코드이 파일에서 확인
Dec2025/Dec2025_scores.csvf4500c5
Licensed data compensation,1,0,0,0,0,0,1,0,0,0,0,0,0
New human-generated data sources,1,0,0,0,0,0,1,0,0,0,0,0,0
Instructions for data generation,1,0,0,0,0,0,1,0,0,0,0,0,0
Data laborer practices,1,0,0,0,0,0,1,0,0,0,0,0,0
Synthetic data sources,1,0,0,1,0,0,1,1,0,0,0,0,0
Synthetic data purpose,1,0,0,0,0,0,1,1,0,0,0,0,0
Data processing methods,1,0,1,0,0,0,1,1,0,0,0,0,0
코드가 하는 일
  1. 1

    첫 네 행은 계약 보상과 새로 만든 인간 데이터의 노동 조건을 묻습니다.

  2. 2

    합성 데이터는 출처와 사용 목적을 별도 질문으로 나눕니다.

  3. 3

    같은 기업도 행에 따라 1과 0의 무늬가 달라 총점만으로는 설명이 부족합니다.

새 상황에 적용하기

한 기업은 `Synthetic data sources=1`, `Synthetic data purpose=0`입니다.

가장 정확한 해석은 무엇인가요?

45분

0과 1 뒤의 근거 문장 따라가기

OpenAI 기업별 보고서에서 질문, 채점 기준, 기업 근거, 평가자 요약, 최종 점수를 연결합니다.

먼저 떠올릴 비유

법정 기록에서 판결문만 보지 않고 증거목록과 판단 이유를 함께 읽는 것과 같습니다.

핵심 판단

같은 행에 평가 질문과 기준, 공개 문장, 평가자 요약, 인용 근거, 점수가 나란히 저장됩니다.

직접 해보기

기업 한 곳의 0점 두 개와 1점 한 개를 골라 판정 근거를 직접 링크합니다.

남길 증거

근거 링크가 붙은 3행 감사 기록

코드 용어
저장소의 실제 코드이 파일에서 확인
Dec2025/reports/OpenAI_fmtransparencyreport_Dec2025.csvf4500c5
Public datasets,What are the top-5 sources (by volume) of publicly available datasets acquired for building the model?,We define a source as the entity or means by which the developer acquires data. We define the top-5 sources as the top-5 sources by data volume. ,,No information provided.,,0
Crawling,"If data collection involves web-crawling, what is the crawler name and opt-out protocol?","We award this point for disclosure of the crawler name and opt-out protocols, including if/how they respect the Robots Exclusion Protocol (robots.txt).","When data collection involves crawling publicly available webpages, we use our GPTBot crawler. Website owners who do not wish their content to be included in training can opt out by disallowing the GPTBot user-agent in their robots.txt file or by blocking the IP ranges we publish for GPTBot.",GPTBot crawler is used; opt-out based on robots.txt or blocking the published IP ranges.,"article OpenAI’s Approach to Frontier Risk, “Data Input Controls and Audit”: “OpenAI has implemented an easy means for website operators to exclude their content from being accessed by OpenAI’s ‘GPTBot’ web crawler, relying on the robots.txt web standard… We provide instructions online for how to disallow [GPTBot] from accessing sites.”",1
Usage data used in training,What are the top-5 sources (by volume) of usage data from the developer's products and services that are used for building the model?,We define usage data as data collected from the use of a developer's products or services.,,No information provided.,,0
Notice of usage data used in training,"For the top-5 sources of usage data, how are users of these products and services made aware that this data is used for building the model?","We define usage data notice as the proactive disclosure to users of how their data is used for model development. For example, via a pop-up with a description, a link to the privacy policy, or link to a description of company practices. ",,No information provided.,,0
Licensed data sources,What are the top-5 sources (by volume) of licensed data acquired for building the model?,"We define a source as the entity from which the developer acquires data. For example, the Associated Press is reportedly a source of licensed data for OpenAI.",,No information provided.,,0
Licensed data compensation,"For each of the top-5 sources of licensed data, are details related to compensation disclosed?",We award this point if the model developer describes the compensation structure specified in the contract with the data source or indicates they are prohibited from sharing this information if contractually mandated.,,No information provided.,,0
New human-generated data sources,What are the top-5 sources (by volume) of new human-generated data for building the model?,"We define a source as the entity or means by which the developer acquires data. For example, Scale AI could be a source of new human-generated data. By new, we mean the data is specifically acquired for the purposes of building the model.",,No information provided.,,0
코드가 하는 일
  1. 1

    공개 데이터셋 행은 답변이 없어 0점입니다.

  2. 2

    크롤링 행은 GPTBot 이름과 두 가지 거부 방법을 구체적으로 적어 1점입니다.

  3. 3

    크롤링 공개가 있다고 해서 이용 데이터나 라이선스 보상 공개까지 증명되지는 않습니다.

새 상황에 적용하기

GPTBot의 robots.txt 거부 방법을 확인했습니다.

이 근거로 직접 채점할 수 있는 범위는 어디까지인가요?

45분

점수표가 말하지 않는 것까지 쓰기

정책 공개, 실제 집행, 성능, 안전을 구분하고 학생용 미니 감사표의 한계 문구를 완성합니다.

먼저 떠올릴 비유

소화기 위치 안내문과 실제 화재 대응 훈련이 다른 것처럼 정책 공개와 집행은 다릅니다.

핵심 판단

모든 기업이 허용·금지 이용자를 공개해도 집행 빈도나 외부 감독 공개는 크게 다를 수 있습니다.

직접 해보기

10개 지표를 골라 선택 이유, 가중치 사용 여부, 빠진 증거를 방법론 칸에 씁니다.

남길 증거

점수·근거·한계가 한 화면에 있는 미니 감사표

코드 용어
저장소의 실제 코드이 파일에서 확인
Dec2025/Dec2025_scores.csvf4500c5
Permitted and prohibited users,1,1,1,1,1,1,1,1,1,1,1,1,1
"Permitted, restricted, and prohibited uses",1,1,1,1,1,1,1,1,1,1,1,1,1
AUP enforcement process,1,1,1,1,1,1,1,0,1,1,0,1,1
AUP enforcement frequency,0,0,0,1,0,0,0,0,0,0,0,0,0
Regional policy variations,1,0,1,1,0,1,1,0,0,0,1,1,0
Oversight mechanism,1,0,1,1,0,1,1,0,0,0,1,1,0
Whistleblower protection,1,0,0,1,0,1,1,0,0,0,1,0,0
코드가 하는 일
  1. 1

    누가 쓰면 안 되는지와 어떤 사용을 금지하는지는 모든 기업이 공개했습니다.

  2. 2

    집행 절차보다 실제 집행 빈도 공개가 훨씬 드뭅니다.

  3. 3

    감독과 내부고발자 보호 공개도 기업마다 크게 다릅니다.

새 상황에 적용하기

한 기업이 허용·금지 이용자 지표에서 1점을 받았습니다.

실제 집행이 잘 된다고 말하려면 무엇이 더 필요한가요?

이번 코스의 결과물

한국 AI 서비스 한 곳의 10개 지표 투명성 감사표

제출 전 확인

  • 선택한 지표와 선택 이유를 공개했다.
  • 각 점수에 기업별 근거 링크가 있다.
  • 0점을 위험 판정이나 위법 판정으로 표현하지 않았다.
  • 2025판의 범위와 이전 판 비교 한계를 적었다.

7분 세미나 질문

투명성이 높지만 실제 성과는 확인되지 않은 기업과, 성과는 좋아 보이지만 공개가 적은 기업 중 누구를 어떻게 평가해야 할까요?

다음 코스

프롬프트 실험을 공정하고 안전하게 설계하기

과정 보기