딥러닝은 여러 층(layer)으로 쌓은 인공신경망으로 데이터의 복잡한 패턴을 학습하는 머신러닝의 한 분야입니다. 이미지, 음성, 자연어처럼 비정형 데이터에 강하며, 최근의 ChatGPT 같은 생성형 AI도 딥러닝(트랜스포머) 기반으로 동작합니다. 전통적인 머신러닝과 달리 사람이 특징을 직접 정의하지 않아도 신경망이 스스로 데이터에서 유용한 표현을 찾아냅니다. 딥러닝은 USAAIO·IOAI 출제의 중심이며, CNN·트랜스포머 같은 개념이 실제 시험 범위에 직접 포함됩니다. KOAI(한국인공지능올림피아드) 고등부 필기시험 역시 딥러닝을 핵심 출제 영역으로 다룹니다.
게시일: 2026년 5월 28일
딥러닝은 머신러닝의 부분집합입니다. 머신러닝이 "데이터에서 패턴을 학습하는 방법 전체"를 가리킨다면, 딥러닝은 그중에서도 다층 인공신경망을 이용하는 방법만을 뜻합니다. 둘은 경쟁 관계가 아니라, 딥러닝이 머신러닝 안에 포함된 구조입니다.
머신러닝 개념 전반이 궁금하다면 머신러닝이란 가이드를 먼저 읽어 보세요.
딥러닝의 핵심은 인공신경망(Artificial Neural Network)입니다. 뇌의 뉴런에서 영감을 받은 구조로, 실제 생물학적 모델과 동일하지는 않지만 데이터에서 패턴을 찾는 데 매우 효과적입니다.
신경망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layer), 그리고 출력층(Output Layer)으로 이루어집니다. 입력층은 데이터를 받고, 은닉층은 패턴을 추출하며, 출력층은 최종 결과(예: 고양이인지 개인지)를 냅니다. "딥(Deep)"이라는 말은 은닉층이 여러 개 쌓여 있다는 뜻입니다.
각 층은 여러 개의 뉴런(Neuron)으로 구성됩니다. 뉴런은 이전 층에서 받은 값들에 가중치(Weight)를 곱해 더한 뒤, 활성화함수(Activation Function)를 거쳐 다음 층으로 값을 전달합니다. 활성화함수(ReLU, Sigmoid 등)는 신경망이 직선으로만 표현할 수 없는 복잡한 패턴을 학습하도록 비선형성을 더해 줍니다.
순전파(Forward Propagation)는 입력 데이터를 층 순서대로 통과시켜 예측값을 만드는 과정입니다. 예측이 틀리면 역전파(Backpropagation)로 오차를 거꾸로 전달해 각 가중치가 오차에 얼마나 기여했는지 계산합니다. 그리고 경사하강법(Gradient Descent)으로 가중치를 조금씩 조정합니다. 이 과정을 수천 번 반복하면 신경망이 점점 정확해집니다. PyTorch는 역전파 계산을 자동으로 처리해 주어(autograd), 직접 미분 수식을 짜지 않아도 됩니다.
수식이 어렵다면 이렇게 생각해 보세요. 신경망은 처음에 가중치를 무작위로 설정해 두고, 틀릴 때마다 "어느 부분이 가장 크게 틀렸나?"를 역으로 추적해 가중치를 조금씩 고쳐 나가는 수정 과정을 반복합니다. 사람이 시험을 보고, 오답을 확인하고, 복습하는 과정과 비슷합니다.
딥러닝에는 데이터의 종류에 따라 최적화된 여러 신경망 구조가 있습니다. 처음부터 전부 배울 필요는 없지만, 각각이 어디에 쓰이는지는 알아 두면 공부 방향을 잡는 데 도움이 됩니다.
| 이름 | 영문 | 특징 | 주요 사용처 |
|---|---|---|---|
| 다층 퍼셉트론 | MLP | 가장 기본적인 신경망. 완전 연결(fully connected) 층으로만 구성. | 정형 데이터 분류, 회귀, 학습 입문 |
| 합성곱 신경망 | CNN | 이미지의 공간적 패턴(가장자리, 질감 등)을 필터로 추출. | 이미지 분류, 객체 탐지, 의료 영상 |
| 순환 신경망 | RNN / LSTM | 이전 시점의 정보를 기억해 순서가 있는 데이터에 강함. | 시계열, 음성, 초기 자연어 처리 |
| 트랜스포머 | Transformer | 어텐션(attention) 메커니즘으로 입력 전체의 관계를 동시에 파악. 현대 NLP와 생성형 AI의 핵심. | ChatGPT, 번역, 텍스트 생성, 이미지 생성 |
학생 수준에서는 MLP로 구조를 익히고, CNN으로 이미지 프로젝트를 만들어 보는 순서를 권합니다. 트랜스포머는 개념을 먼저 이해한 뒤 Hugging Face 같은 라이브러리로 사전 학습 모델을 사용해 보는 것이 현실적입니다.
이 페이지에서 다루는 개념들이 실제 올림피아드 시험과 어떻게 연결되는지 확인해 보세요. USAAIO(미국·캐나다 AI 올림피아드) 공식 실라버스는 딥러닝 전반을 필수 범위로 명시하고 있으며, IOAI(국제인공지능올림피아드)도 같은 주제군에서 출제됩니다. KOAI(한국인공지능올림피아드) 고등부 필기시험 역시 딥러닝을 핵심 범위로 다룹니다.
| 이 페이지에서 배운 개념 | USAAIO 출제 영역 | 비고 |
|---|---|---|
| 다층 퍼셉트론(MLP), 순전파·역전파, 경사하강법 | Deep learning foundations | 가중치, 활성화함수, autograd 포함 |
| 트랜스포머, 어텐션 메커니즘 | Transformers + NLP (토큰화·임베딩·사전학습·미세조정) | GPT·BERT 계열 구조 이해 필요 |
| CNN, 객체 탐지 | Computer vision | 이미지 분류·탐지·분할 포함 |
| 오토인코더, GAN, 디퓨전 모델 | Generative AI | 이미지·텍스트 생성 원리 |
USAAIO 실라버스는 선형대수, 확률통계, 다변수미적분, 볼록최적화를 수학 기초로 명시합니다. 처음부터 모두 갖출 필요는 없지만, Round 2 이상을 목표로 한다면 순차적으로 보강해야 합니다.
구현 도구로는 PyTorch를 명시적으로 요구합니다(TensorFlow가 아닙니다). Google Colab에서 PyTorch 코드를 직접 실행하며 학습하는 것이 올림피아드 준비에 가장 효율적인 방법입니다.
딥러닝은 본질적으로 고등 이상의 수준입니다. 선형대수·미적분·확률통계가 배경으로 필요하고, 코드 구현도 Python 중급 이상을 요구합니다. 그렇다고 초등·중학생에게 문이 완전히 닫혀 있는 것은 아닙니다. 학년마다 현실적인 접근 방식이 따로 있습니다.
수학이나 코드 없이 "신경망이 수많은 예시에서 패턴을 찾는다"는 핵심 아이디어만 직관적으로 익힙니다. 생성형 AI 이미지·글쓰기 도구를 보호자와 함께 안전하게 써 보며 "AI가 어떻게 이런 것을 만들까?"를 함께 이야기하는 것이 출발점입니다.
Python과 머신러닝 기초를 먼저 다진 뒤, PyTorch로 아주 작은 신경망(2-3층 MLP)을 만져 보는 정도까지 가능합니다. CNN이 이미지를 어떻게 보는지 개념 위주로 이해하고, 본격적인 이론과 수학은 고등 진학 후로 미루는 것이 무리 없는 속도입니다.
USAAIO·IOAI 실라버스에 맞춰 MLP 순전파·역전파를 PyTorch로 직접 구현하고, CNN으로 이미지 분류, 트랜스포머·어텐션 개념까지 단계적으로 올라갑니다. 선형대수·확률통계·미적분을 수학 수업과 병행하면 이론이 훨씬 빠르게 소화됩니다. KOAI 고등부 필기 대비도 이 범위가 중심입니다.
딥러닝 코드를 작성할 때 처음부터 행렬 연산과 역전파를 직접 구현하지는 않습니다. 대신 프레임워크를 사용합니다. 현재 가장 널리 쓰이는 두 가지는 PyTorch와 TensorFlow입니다.
GPU가 없는 학생도 Google Colab(colab.google.com)에서 무료 GPU를 사용해 PyTorch 코드를 바로 실행할 수 있습니다. 별도 설치 없이 브라우저에서 노트북 파일을 열어 실행하면 됩니다. 처음 실습 환경으로 가장 적합합니다.
아래 자료는 전 세계 학생과 연구자들이 실제로 사용하는 검증된 학습 자료입니다. 별도 결제 없이 무료로 접근 가능합니다.
pytorch.org/tutorials. 텐서 기초부터 CNN, 트랜스포머까지 단계별로 구성되어 있습니다. 코드와 설명이 함께 있어 독학에 적합합니다.
d2l.ai. 이론, 수학, 코드를 함께 다루는 대학 교재 수준의 무료 책입니다. PyTorch 기반으로 실습 코드를 직접 실행할 수 있습니다.
cs231n.stanford.edu. CNN과 이미지 처리 딥러닝의 대표 강의입니다. 강의 노트와 과제가 공개되어 있어 학생이 혼자 따라갈 수 있습니다.
web.stanford.edu/class/cs224n. 트랜스포머와 NLP의 핵심을 다루는 강의입니다. 현대 언어 모델의 원리를 이해하고 싶다면 필수 자료입니다.
아래 5단계는 KOAI 필기 또는 USAAIO Round 1 통과를 목표로 설계한 순서입니다. 포트폴리오가 목적이라면 3단계에서 바로 프로젝트로 확장할 수 있습니다.
머신러닝 기초 먼저
지도 학습, 손실 함수, 과적합, 평가지표 같은 개념을 먼저 이해합니다. scikit-learn으로 간단한 분류 모델을 만들어 보면 딥러닝을 배울 때 개념이 훨씬 잘 연결됩니다. KOAI·USAAIO 필기는 머신러닝 기초도 함께 출제하므로 건너뛰면 안 됩니다. 머신러닝 가이드 보기
Python / NumPy + 수학 기초 병행
NumPy 배열(ndarray) 연산에 익숙해지고, 선형대수(행렬 곱·고유값)와 미분(편미분·연쇄법칙)을 함께 훑습니다. USAAIO 실라버스가 명시한 수학 기초(선형대수·확률통계·다변수미적분·볼록최적화)는 처음부터 완벽히 갖출 필요 없이 단계별로 보강합니다.
PyTorch로 MLP 직접 구현 (KOAI·USAAIO 출제 핵심)
PyTorch 공식 튜토리얼을 따라 텐서 연산과 자동 미분(autograd)을 익히고, MLP를 직접 구현합니다. 순전파·역전파·경사하강법을 코드로 이해하는 것이 KOAI 필기와 USAAIO "Deep learning foundations" 영역의 핵심입니다. Google Colab으로 GPU 없이 바로 실습할 수 있습니다.
CNN + 트랜스포머로 범위 확장 (USAAIO CV·NLP 영역)
CIFAR-10으로 CNN 이미지 분류를 구현하고, Hugging Face로 사전 학습 트랜스포머 모델을 불러와 미세조정(fine-tuning)을 경험합니다. 이 두 구조가 USAAIO "Computer vision"과 "Transformers·NLP" 영역을 커버합니다.
프로젝트 완성으로 올림피아드 준비 마무리
관심 있는 문제에 딥러닝을 적용한 프로젝트를 완성하고 GitHub에 올립니다. 올림피아드 실기·프로젝트 전형과 입시 포트폴리오 모두 이 결과물이 핵심이 됩니다. AI 프로젝트 가이드 | 추천 학습 자료
위 자료들은 모두 훌륭하지만, 영어 강의를 끝까지 따라가거나 어디서 막혔는지 혼자 진단하기는 쉽지 않습니다. CIT는 학생의 현재 수준을 먼저 진단하고, 학년과 목표(입시 포트폴리오 또는 올림피아드)에 맞춘 개인 로드맵을 설계해 1:1로 지도합니다.
수준 진단
Python, 수학, 딥러닝 이해도를 파악해 출발점을 정확히 설정합니다.
맞춤 로드맵
입시 포트폴리오를 목표로 하는 학생과 올림피아드를 준비하는 학생은 커리큘럼이 다릅니다.
온라인 동일 커리큘럼
압구정 오프라인 수업과 동일한 내용으로 온라인 1:1 세션을 운영합니다. 해외 거주 가정도 참여 가능합니다.
딥러닝은 여러 층(layer)으로 쌓은 인공신경망을 이용해 데이터에서 복잡한 패턴을 자동으로 학습하는 머신러닝의 한 분야입니다. 이미지, 음성, 자연어처럼 비정형 데이터를 다루는 데 강하며, ChatGPT 같은 생성형 AI도 딥러닝(트랜스포머)을 기반으로 동작합니다.
2026/2027 기준 USAAIO 실라버스는 딥러닝을 크게 세 영역으로 구분합니다. 첫째 "Deep learning foundations"로 MLP, 순전파, 역전파, 경사하강법을 다루고, 둘째 "Computer vision"으로 CNN, 객체 탐지, 오토인코더, GAN, 디퓨전 모델을 포함합니다. 셋째 "Transformers and NLP"로 어텐션 메커니즘, 토큰화, 임베딩, 사전학습, 미세조정을 다룹니다. Round 1 필기 통과를 목표로 한다면 MLP·CNN·트랜스포머 구조와 역전파 원리를 PyTorch 코드로 직접 구현해 볼 수 있는 수준이 기준점입니다.
나옵니다. USAAIO·IOAI 모두 트랜스포머를 독립 출제 영역으로 명시하고 있습니다. 어텐션(attention) 메커니즘의 작동 원리, 인코더·디코더 구조, 토큰화·임베딩 개념, 사전학습(pre-training)과 미세조정(fine-tuning)의 차이를 이해해야 합니다. KOAI 고등부 필기도 트랜스포머 기반 생성형 AI 원리를 출제 범위에 포함합니다. 처음에는 어텐션 수식을 직접 이해하기보다 Hugging Face 라이브러리로 사전 학습 모델을 직접 사용해 보며 개념을 잡는 방식이 효율적입니다.
올림피아드 준비 기준으로 PyTorch를 선택해야 합니다. USAAIO 공식 실라버스는 PyTorch를 구현 도구로 명시하고 있으며, TensorFlow는 별도로 언급되지 않습니다. 학술 연구 커뮤니티에서도 PyTorch가 사실상 표준이 되어 있어 논문 코드, Kaggle 노트북, D2L·CS231n 같은 학습 자료 대부분이 PyTorch 기반입니다. TensorFlow·Keras는 기업 배포 환경에서 여전히 쓰이지만, 딥러닝을 처음 배우거나 올림피아드를 준비하는 학생에게는 PyTorch 하나를 먼저 깊이 익히는 것이 훨씬 효율적입니다.
CNN(합성곱 신경망)은 이미지 데이터의 공간적 패턴을 포착하는 데 특화되어 있어 이미지 분류, 객체 탐지, 의료 영상 분석 등에 주로 쓰입니다. 트랜스포머는 문장처럼 순서가 있는 데이터에서 단어 사이의 관계를 파악하는 어텐션(attention) 메커니즘을 활용하며, 현대 자연어 처리와 생성형 AI의 핵심 구조입니다.
역전파는 신경망이 틀린 예측을 했을 때 그 오차를 출력층에서 입력층 방향으로 거슬러 올라가며 각 가중치가 오차에 얼마나 기여했는지 계산하는 과정입니다. 이 정보를 이용해 경사하강법으로 가중치를 조금씩 조정하면 신경망이 점점 정확해집니다. PyTorch는 이 계산을 자동으로 처리해 주는 자동 미분(autograd) 기능을 제공합니다.
이미지 분류기(예: 꽃 종류 분류, 손글씨 숫자 인식), 감정 분석기(텍스트가 긍정인지 부정인지 분류), 간단한 생성 모델 등을 만들 수 있습니다. Kaggle의 공개 데이터셋을 활용하면 실제 문제에 적용하는 경험을 쌓을 수 있고, 이런 결과물을 GitHub에 올리면 입시 포트폴리오로 활용할 수 있습니다.