알림
뒤로
코리 AI 시리즈
코리 AI 시리즈 · 1권

누구나 이해할 수 있는 인공지능

〈AI의 지도〉 — 데이터에서 트랜스포머의 문 앞까지, 코리와 함께 그리는 AI 큰 그림

들어가며

외우지 말고, 그림을 그리세요

인공지능이라는 말, 요즘 하루에도 몇 번씩 듣죠.

뉴스에서, 광고에서, 회사 회의에서, 심지어 아이들 학교 가정통신문에서도 등장합니다. 그런데 막상 "그래서 인공지능이 뭐예요?"라고 물으면, 시원하게 대답하기가 참 어렵습니다. 뭔가 대단하고 복잡하고, 나랑은 좀 멀리 있는 것 같죠.

이 책은 바로 그 막막함을 풀어드리려고 썼습니다.

먼저 약속 하나 할게요. 이 책은 여러분에게 무언가를 외우게 하지 않습니다. 어려운 수식도, 알아들을 수 없는 영어 약자도 들이밀지 않을 거예요. 대신 여러분 머릿속에 그림 한 장을 그려드리는 게 목표입니다. 개념을 외우는 게 아니라 상상할 수 있게 되면, 그때 진짜로 이해한 거거든요.

그래서 우리는 한 아이를 따라가려고 합니다. 이름은 코리예요.

코리는 할머니의 작은 과일 가게를 돕는 평범한 아이입니다. 그런데 이 아이가 사과 단맛 맞히기에서 시작해 고양이 사진을 알아보고, 말을 알아듣는 기계를 만들고, 결국 챗GPT 같은 인공지능의 심장까지 들여다보게 되죠. 거창해 보이지만 걱정 마세요. 코리도 처음엔 사과 하나 제대로 못 골랐으니까요.

사실 인공지능을 이해하는 가장 좋은 방법이 이겁니다. 거대한 결과물부터 보면 겁이 나지만, 작은 출발점부터 한 걸음씩 따라가면 어느새 꼭대기에 닿아 있죠. 코리의 여정이 딱 그래요.

한 가지 더. 앨런 튜링이라는 수학자가 1950년에 재미있는 제안을 했습니다. "기계가 생각할 수 있는가?"라는 질문에 답하는 대신, 이렇게 바꾸자고요. "기계가 사람처럼 행동할 수 있다면, 생각한다고 쳐주자." 정의를 내리느라 골치 썩이지 말고 쓸모로 판단하자는 거였죠. 이 책도 같은 태도를 빌리려 합니다. 인공지능의 어려운 정의를 외우는 대신, 그것이 무엇을 어떻게 해내는지 그 쓸모를 하나씩 들여다볼 거예요.

자, 그럼 사과 가게로 가볼까요. 까다로운 손님 한 분이 코리를 기다리고 있거든요. 🍎

1장

인공지능은 마법이 아니에요

— 모든 것은 '데이터'에서 시작됩니다 —

까다로운 손님

토요일 아침, 「순자네 과일」 가게 앞이었습니다.

코리는 사과를 정리하다가 흠칫 멈췄어요. 단골 아주머니가 또 오셨거든요. 아주머니는 사과를 한참 들여다보고, 손으로 무게를 가늠하고, 코끝에 대고 향을 맡았습니다. 그러더니 코리를 보며 물었죠.

"학생, 이거 달아?"

코리는 등에 식은땀이 흘렀습니다. 솔직히 말하면, 코리는 사과만 봐서는 단지 신지 전혀 알 수가 없었거든요. 그냥 빨갛고 그럴듯한 걸 골라 건네면, 아주머니는 다음 날 어김없이 찾아와 한마디 하셨죠. "어제 그거, 시더라."

그때 가게 안쪽에서 할머니가 천천히 나오셨습니다. 사과를 딱 한 번 보시더니 이렇게 말씀하셨죠.

"그건 달아요. 옆에 이게 더 달고."

아주머니는 흡족하게 사과를 사 가셨습니다. 코리는 입이 떡 벌어졌어요. 할머니는 먹어보지도 않았는데 어떻게 아셨을까요? 손금이라도 보듯 사과를 읽어내는 그 능력이, 코리에겐 꼭 마법처럼 보였습니다.

그런데 말이죠. 이 "마법처럼 보이는 능력"의 정체를 파헤치는 것이, 사실 이 책 전체의 이야기입니다. 그리고 그 실마리를 풀기 전에, 250년 전으로 잠깐 시간 여행을 다녀올게요. 아주 비슷한 "마법"이 유럽을 발칵 뒤집어 놓은 적이 있거든요.

250년 전, 체스를 두는 기계

때는 1770년, 오스트리아의 궁정이었습니다.

볼프강 폰 켐펠렌이라는 발명가가 여제 마리아 테레지아 앞에 신기한 물건 하나를 가지고 나타났죠. 커다란 나무 상자 위에 오스만 제국의 옷을 입고 터번을 두른 인형이 앉아 있었습니다. 그리고 이 인형은 — 놀랍게도 — 스스로 체스를 두었습니다.

사람들은 경악했어요. 인형이 상대의 수를 읽고 말을 옮기고, 척척 이겼으니까요. 빈에서 내로라하는 체스 고수들이 덤볐지만 거의 다 무릎을 꿇었습니다. 이 기계는 '터크(Turk)'라는 이름으로 유럽 전역과 미국까지 순회하며 명성을 떨쳤고, 무려 나폴레옹과 벤저민 프랭클린 같은 거물들까지 꺾었다고 전해집니다.

250년 전에 인공지능이라니, 믿어지시나요?

물론 진실은 달랐습니다. 터크는 인공지능이 아니었어요. 그 커다란 상자 안에는 체스 실력이 뛰어난 사람이 숨어서 자석과 장치를 조작하고 있었습니다. 정교하게 설계된 속임수였던 거죠. 켐펠렌은 이 비밀을 죽을 때까지 입에 담지 않았습니다.

자, 여기서 우리가 챙겨갈 교훈이 있습니다. '생각하는 기계'처럼 보인다고 해서, 정말로 그 안에 마법이 든 건 아니라는 것. 뚜껑을 열어보면 반드시 그럴듯한 비밀이 들어 있습니다.

그렇다면 진짜 인공지능의 뚜껑을 열면, 그 안엔 뭐가 들어 있을까요? 숨은 사람? 아닙니다. 진짜 인공지능의 비밀은 훨씬 정직하고, 또 훨씬 놀라워요. 그 비밀의 이름은 바로 데이터입니다. 그리고 그 데이터는, 방금 우리가 본 할머니의 비법과 똑 닮아 있죠.

💡 한 줄 정리: 인공지능은 마법이 아니에요. 뚜껑을 열면 그 안엔 반드시 비밀이 있습니다. 그리고 진짜 인공지능의 비밀은 '숨은 사람'이 아니라 '데이터'죠.

할머니의 비밀 공책

가게 일이 끝난 저녁, 코리는 용기를 내어 할머니께 여쭤봤습니다.

"할머니는 사과가 단지 어떻게 그렇게 잘 아세요? 무슨 비법이라도 있어요?"

할머니는 빙긋 웃으며 서랍에서 낡은 공책 한 권을 꺼내셨어요. 표지가 닳고 닳은, 30년은 족히 되어 보이는 공책이었습니다. 코리는 무슨 대단한 주문이라도 적혀 있을 줄 알았죠. 그런데 펼쳐보니, 그저 사과 이야기가 빼곡할 뿐이었습니다.

6월 3일 — 진한 빨강, 230g, 향 진함 … 먹어보니: 아주 달다
6월 3일 — 연한 빨강, 170g, 향 약함 … 먹어보니: 시다
6월 4일 — 진한 빨강, 210g, 향 진함 … 먹어보니: 달다
6월 4일 — 초록빛,   160g, 향 약함 … 먹어보니: 시다

"이게… 다예요?"

"이게 다지. 30년 동안 사과를 보고, 먹어보고, 적었어. 수천 개를 말이야."

코리는 그제야 깨달았습니다. 할머니의 '신통력'은 마법이 아니라, 오랫동안 관찰하고 차곡차곡 쌓아온 기록이었던 거예요. 빨갛고 묵직하고 향이 진한 사과가 단 적이 많았다는 걸, 할머니는 머리가 아니라 경험으로 외우고 계셨던 겁니다.

이렇게 현실을 관찰해서 적어둔 사례들의 모음, 이것을 인공지능에서는 데이터(Data)라고 부릅니다. 어렵게 생각할 것 없어요. 할머니의 공책, 그게 바로 데이터예요.

그리고 사실 이건 250년 전 터크와도, 또 오늘날의 인공지능과도 묘하게 통합니다. 터크의 '지능'은 상자에 숨은 사람에게서 나왔지만, 진짜 인공지능의 '지능'은 바로 이 데이터, 즉 켜켜이 쌓인 경험의 기록에서 나오거든요. 숨은 사람 대신, 수천수만 개의 사례가 그 자리를 채우는 셈이죠.

기록이 곧 규칙은 아닙니다

그런데 여기서 코리는 곧바로 벽에 부딪힙니다.

공책을 아무리 노려봐도, 공책이 코리에게 "빨갛고 무거우면 달아!"라고 말해주지는 않았거든요. 기록은 그저 기록일 뿐, 거기 숨은 규칙을 콕 집어내는 건 또 다른 일이었습니다.

이게 의외로 중요한 지점이에요. 많은 분이 "데이터만 많으면 인공지능이 알아서 똑똑해지는 거 아냐?"라고 생각하시는데, 그렇지가 않습니다. 데이터는 재료일 뿐이에요. 산더미 같은 사과 기록이 있어도, 그 속에서 "단맛의 규칙"을 찾아내는 과정이 없으면 아무 일도 일어나지 않습니다. 냉장고에 식재료가 가득해도 요리를 하지 않으면 저녁이 차려지지 않는 것처럼요.

그렇다면 그 규칙은 대체 누가, 어떻게 찾아낼까요? 할머니는 30년이 걸렸습니다. 그런데 코리에게는 30년이 없어요. 당장 다음 주 토요일에 또 그 까다로운 손님이 올 테니까요.

바로 여기서, 코리의 진짜 모험이 시작됩니다. 코리는 30년 대신 며칠 만에 할머니의 감각을 따라잡는 방법을 찾아낼 거예요. 그 방법의 이름이 바로 — 다음 장에서 만날 — '기계가 배운다'는 개념입니다.

💡 한 줄 정리: 데이터는 '경험의 기록'이라는 재료예요. 하지만 쌓아두기만 해선 규칙이 저절로 튀어나오지 않습니다. 재료를 요리로 바꾸는 과정이 따로 필요하죠.
예전 방식 · 전통 프로그래밍규칙＋ 데이터컴퓨터답머신러닝 · 데이터로 배우기데이터＋ 답컴퓨터규칙(모델)규칙이자리바꿈
마법이 아니에요. 예전엔 사람이 규칙을 직접 짰어요. 머신러닝은 데이터와 답만 주면 컴퓨터가 스스로 규칙을 찾아냅니다 — 규칙이 ‘입력’에서 ‘결과’로 자리를 옮긴 게 핵심이에요.

1장을 마치며

이번 장에서 우리는 세 가지를 손에 쥐었습니다.

첫째, 인공지능은 마법이 아니라는 것. 250년 전 체스 기계 터크가 그랬듯, 대단해 보이는 것의 뚜껑을 열면 반드시 비밀이 있습니다. 둘째, 진짜 인공지능의 비밀은 데이터라는 것. 할머니의 30년 공책처럼, 현실을 관찰해 쌓은 경험의 기록이 그 출발점이죠. 셋째, 데이터만으론 부족하다는 것. 기록 속의 규칙을 찾아내는 과정이 있어야 비로소 '능력'이 됩니다.

다음 장에서 코리는 그 규칙을 직접 찾아 나섭니다. 처음엔 보기 좋게 틀리겠지만요. 사실 그 '틀림'이야말로 기계가 배우는 방식의 핵심이랍니다. 어떻게 틀리면서 똑똑해지는지, 함께 따라가 볼까요?

📌 이 장의 핵심
  • 데이터: 현실을 관찰해 적어둔 경험의 기록 (예: 할머니의 사과 공책)
  • 인공지능의 '지능'은 마법이 아니라 쌓인 데이터에서 나온다
  • 단, 데이터는 재료일 뿐 — 그 속의 규칙을 찾는 과정이 따로 필요하다
2장

기계가 '배운다'는 것

— 틀리고, 고치고, 다시 — 그 반복이 곧 학습입니다 —

지난 장 끝에서 코리는 어려운 숙제를 떠안았습니다. 할머니의 공책(데이터)은 손에 넣었지만, 그 속의 '단맛 규칙'은 누가 찾아주지 않았으니까요. 할머니는 그 규칙을 몸에 익히는 데 30년이 걸렸습니다. 그런데 코리에게는 30년이 없어요. 당장 다음 토요일이면 그 까다로운 손님이 또 올 테니까요.

그래서 코리는 결심합니다. "내가 직접 규칙을 만들어보자!"

자, 지금부터가 진짜입니다. 코리가 규칙을 만들고, 보기 좋게 틀리고, 그 틀림을 발판 삼아 똑똑해지는 이 과정 전체가 — 바로 인공지능의 심장인 머신러닝이거든요. 한 걸음씩 따라가 볼게요.

첫 번째 실패

코리는 자신만만하게 첫 규칙을 세웠습니다.

"무거운 사과는 다 시다! 무거우면 물이 많아서 싱거울 거야."

그럴듯하죠? 코리도 그렇게 믿었습니다. 그래서 묵직한 230그램짜리 빨간 사과를 들고 당당하게 외쳤어요. "이건 무거우니까… 실 거예요!"

할머니가 그 사과를 쓱 잘라 한 조각 건네셨습니다. 그런데 웬걸, 꿀처럼 달았습니다. 코리 얼굴이 빨개졌죠. 첫 규칙이 보기 좋게 빗나간 겁니다.

여기서 코리에게 아주 중요한 질문이 떠오릅니다. "내 규칙이 도대체 얼마나 틀린 거지?"

그냥 "좀 틀렸네" 하고 넘어가면 다음에 뭘 고쳐야 할지 알 수가 없습니다. 그래서 코리는 틀린 정도를 숫자로 재기로 합니다.

이번 사과를 예로 들어볼까요. 코리는 "달 확률 10퍼센트"라고 봤는데 실제로는 꿀맛이었습니다. 완전히 빗나갔죠. 점수로 치면 큰 벌점입니다. 반대로 "달 확률 90퍼센트"라고 했는데 정말 달았다면? 거의 맞힌 거니 벌점이 0에 가깝겠죠.

이렇게 예측이 정답에서 얼마나 벗어났는지를 숫자로 계산하는 것, 이것이 인공지능에서 수학이 하는 일입니다. 수학은 코리에게 두 가지를 속삭여줘요. 하나, "네 예측이 정답에서 이만큼 벗어났어"라고 틀린 양을 알려주고, 둘, "다음엔 무게 말고 색깔이나 향을 더 봐"라고 고칠 방향을 알려줍니다.

어렵게 느껴지시나요? 사실 우리도 매일 이렇게 살아요. 요리할 때 "어, 좀 싱겁네(=틀린 양)" 하고 "소금을 더 넣자(=고칠 방향)" 하고 판단하잖아요. 수학은 그걸 감이 아니라 숫자로 정확히 해줄 뿐입니다.

💡 한 줄 정리: 수학은 "얼마나 틀렸나"와 "어느 쪽으로 고칠까"를 숫자로 알려주는 코치예요.

고치는 데도 순서가 있죠

수학 코치가 "이쪽으로 고쳐!"라고 알려준다고 해서, 그걸 언제 어떤 순서로 할지는 또 따로 정해야 합니다. 코리는 공책 뒷장에 자기만의 연습 순서를 적었어요.

① 사과의 색깔·무게·향을 본다
② 지금 내 규칙으로 "달다/시다"를 예측한다
③ 할머니가 잘라준 진짜 맛과 비교한다
④ 얼마나 틀렸는지 점수를 매긴다  (← 수학!)
⑤ 규칙을 아주 조금 고친다
⑥ 다음 사과로 다시 ①번부터

이렇게 문제를 풀기 위해 정해둔 단계별 절차를 알고리즘(Algorithm)이라고 합니다.

코리는 고개를 갸웃했어요. "이게 아까 그 수학이랑 뭐가 달라요?" 그러자 할머니가 부엌을 가리키며 말씀하셨죠.

"수학은 '소금을 얼마나 칠지 재는 법'이고, 알고리즘은 '국 끓이는 레시피 순서'야. 둘 다 필요하지만 서로 다른 거란다."

딱 맞는 비유죠. 수학이 '계산하는 원리'라면, 알고리즘은 '그 계산을 어떤 순서로 써먹을지 짠 작업 절차'입니다.

💡 한 줄 정리: 알고리즘은 수학을 '어떤 순서로' 쓸지 정해둔 작업 레시피예요.

며칠 뒤, 코리의 머릿속에 생긴 것

코리는 이 순서를 며칠 동안 수백 번 돌렸습니다. 예측하고, 틀리고, 점수 매기고, 규칙을 조금 고치고. 또 예측하고, 또 고치고.

그런데 어느 순간 신기한 일이 벌어졌어요. 사과를 척 보면 손이 먼저 반응하기 시작한 겁니다. "이건… 달겠는데?" 하는 감이 생긴 거죠. 처음엔 무게만 보던 코리가, 이제는 자기도 모르게 향을 가장 중요하게 보고 있었습니다.

코리는 그 감을 숫자로 적어봤어요.

단맛 점수 = 색깔 점수 × 0.4
          + 무게 점수 × 0.3
          + 향  점수 × 0.6

여기서 핵심은 저 0.4, 0.3, 0.6이라는 숫자입니다. 향에 붙은 0.6이 색깔의 0.4보다 크죠? 이건 코리가 "향을 색깔보다 더 믿게 됐다"는 뜻이에요. 며칠간의 연습이 이 숫자들 안에 고스란히 담긴 겁니다.

이렇게 무엇을 얼마나 중요하게 볼지 정하는, 학습으로 정해진 숫자를 파라미터(Parameter) 또는 가중치(Weight)라고 부릅니다. 그리고 이 숫자들이 모여 만들어진 '코리의 사과 판단 능력' 전체를 모델(Model)이라고 하죠.

생각해보면 놀라운 일이에요. 할머니의 30년 감각이 머릿속에 든 '모델'이었다면, 코리는 그것을 며칠 만에 숫자로 따라 만든 셈이니까요. 바로 이 '숫자로 만든 감각'이 인공지능의 정체입니다.

색무게향×0.5×0.3×0.2Σ합치기달 확률87%특징마다 중요도(가중치)가 달라서, 곱해서 더한다
가중치 합산. 색·무게·향 같은 특징에 저마다 다른 중요도(가중치)를 곱해 하나로 합치면 ‘단맛 점수’가 나와요. 코리가 머릿속으로 하던 계산이 바로 이거예요.
🏷️ 이름표 — 회귀와 분류: 방금처럼 ‘단맛 점수 87’ 같은 연속된 숫자를 맞히는 걸 회귀(regression)라고 해요. 반대로 ‘달다 / 안 달다’처럼 어느 칸(범주)에 속하는지 맞히는 건 분류(classification)예요. 머신러닝이 푸는 문제는 대부분 이 둘 중 하나랍니다.
💡 한 줄 정리: 모델은 데이터에서 배운 규칙을 숫자로 굳혀놓은 결과물이에요. 파라미터(가중치)는 그 안에서 '무엇을 얼마나 중요하게 볼지' 정하는 숫자고요.

이 일에는 이미 이름이 있었습니다

코리가 한 일을 가만히 되짚어볼까요.

처음 — 공책(데이터)만 잔뜩 있었음
  ↓
중간 — 예측 → 틀림 → 점수 → 숫자(파라미터) 수정 → 다시 예측 …(수백 번 반복)
  ↓
지금 — 처음 보는 사과도 척척 맞히는 '능력'이 생김

사람이 "이럴 땐 이렇게 해"라고 규칙을 하나하나 짜준 게 아닙니다. 코리가 데이터를 보면서 스스로 숫자를 맞춰간 거죠. 바로 이것을 머신러닝(Machine Learning, 기계학습)이라고 합니다.

재미있는 건, 이 단어가 생각보다 오래됐다는 거예요. 1959년, IBM의 연구원 아서 사무엘이 체커(서양 장기 비슷한 보드게임)를 두는 프로그램을 만들면서 '머신러닝'이라는 말을 처음 썼습니다. 그가 만든 프로그램은 수천 번씩 대국을 거듭하며 스스로 전략을 다듬었고, 결국 놀랍게도 그것을 만든 사무엘 자신보다 체커를 더 잘 두게 됐죠.

이 일화가 머신러닝의 본질을 정확히 보여줍니다. 흔히 이렇게 요약하곤 해요. "프로그래머가 일일이 가르치지 않아도, 기계가 경험을 통해 스스로 더 나아지게 만드는 것." 코리가 사과로 한 일이 딱 그거였고, 60여 년 전 사무엘이 체커로 한 일도 똑같았습니다. 무대만 사과 가게에서 보드게임으로 바뀌었을 뿐이죠.

💡 한 줄 정리: 머신러닝은 규칙을 사람이 짜주는 게 아니라, 데이터(경험)를 보며 기계가 스스로 기준을 맞춰가는 것이에요.

진짜 손님 앞에서

다음 토요일이 왔습니다. 그 까다로운 아주머니가 또 오셨죠. 그런데 이번엔 할머니가 안 계셨어요. 코리 혼자입니다.

아주머니가 사과를 내밀며 물었습니다. "학생, 이거 달아?"

코리의 머릿속 모델이 슥 돌아갔어요.

색깔: 진한 빨강 / 무게: 220g / 향: 강함
→ 단맛 점수 계산 → "달 확률 87퍼센트!"

코리는 침을 꿀꺽 삼키고 말했습니다. "이건… 달아요. 제가 보장할게요."

여기서 두 단어를 챙겨갑시다. 아주머니가 던진 "이거 달아?"라는 질문, 이것을 쿼리(Query)라고 합니다. 모델에게 던지는 질문이나 요청을 말하죠. 그리고 코리의 모델이 그 질문에 슥 계산해서 답을 내놓은 과정, 이것을 추론(Inference)이라고 합니다.

꼭 구분해두면 좋은 게 있어요.

  • 학습(Training) = 지난 며칠간 연습해서 모델을 만든 과정
  • 추론(Inference) = 지금 손님 앞에서 그 모델로 답하는 과정

요리사로 치면, 학습은 "주방에서 수없이 연습하는 시간"이고, 추론은 "주문을 받고 실제로 요리를 내놓는 순간"입니다. 우리가 챗GPT에 질문을 던지고 답을 받는 것도, 사실은 이미 학습을 끝낸 거대한 모델에게 쿼리를 보내고 추론을 받는 일이에요. 코리의 사과 가게에서 벌어진 일과 구조가 똑같습니다.

…그래서 그 사과는 달았느냐고요? 다음 날 아주머니가 와서 한마디 하셨습니다. "어제 그거, 달더라." 코리는 속으로 주먹을 불끈 쥐었죠. 😄

오늘 이 사과, 달까?달다87%안 달다13%AI의 답은 '예/아니오'가 아니라 확률이다
확률로 답한다. AI는 ‘달다·안 달다’를 딱 잘라 말하지 않고 달 확률 87%처럼 자신감을 숫자로 내놓아요. 그중 가장 높은 쪽을 답으로 고르는 거죠.
💡 한 줄 정리: 쿼리는 모델에게 던지는 질문, 추론은 그 질문에 모델이 답을 계산해 내놓는 과정이에요. 학습은 '만들기', 추론은 '써먹기'죠.

그런데, 진짜 실력일까요?

그날 밤, 코리는 쉽게 잠들지 못했습니다. 갑자기 무서운 생각이 들었거든요.

"혹시 내가 공책에 있던 사과만 잘 맞히는 거면 어쩌지? 진짜 처음 보는 사과는 못 맞히면?"

사실 이건 우리가 시험공부할 때 늘 겪는 고민과 똑같습니다. 그래서 인공지능도 사람의 공부 방식을 그대로 빌려와요.

문제집을 풀 때, 문제와 정답을 보며 푸는 법을 익히죠. 이게 학습 데이터입니다. 모델의 파라미터를 바로 여기서 조정해요. 공부 중간에 모의고사를 봅니다. "이 부분이 약하네, 여길 더 보자" 하고 방향을 잡죠. 이게 검증 데이터입니다. 그리고 모든 준비가 끝난 뒤 보는 진짜 최종 시험 — 처음 보는 문제로 실력을 확인하는 이것이 테스트 데이터고요.

학습 데이터  → 모델을 직접 학습시킴   (문제집)
검증 데이터  → 학습 방법을 조정함     (모의고사)
테스트 데이터 → 마지막에 실력을 평가   (최종 시험)

여기서 제일 중요한 규칙이 하나 있습니다. 최종 시험 문제를 미리 보면 안 된다는 것. 시험지를 미리 외워서 100점을 받으면, 그건 실력이 아니라 그냥 암기잖아요. 인공지능도 똑같습니다.

데이터를 셋으로 나눈다학습검증테스트 🔒문제집 · 직접 학습모의고사 · 방향 점검최종 시험미리 안 봄
데이터 3분할. 가장 큰 학습 데이터로 배우고, 검증 데이터로 방향을 점검하고, 테스트 데이터는 최종 시험처럼 꽁꽁 아껴 둬요. 미리 보면 ‘진짜 실력’을 알 수 없으니까요.

코리는 그래서 결심했어요. 공책의 사과를 두 묶음으로 나누기로요. 마음껏 연습할 사과들과, 절대 미리 안 보고 꽁꽁 아껴둘 '시험용' 사과들로 말이죠. 이 시험용 사과가 왜 그렇게 중요한지는, 다음 장에서 아주 뼈아픈 장면과 함께 다시 등장합니다.

💡 한 줄 정리: 학습(문제집) → 검증(모의고사) → 테스트(최종 시험). 시험 문제를 미리 외우면 진짜 실력이 아니에요.

2장을 마치며

이번 장에서 우리는 '기계가 배운다'는 말의 정체를 낱낱이 봤습니다. 그것은 거창한 마법이 아니라, 예측하고 → 틀리고 → 얼마나 틀렸는지 숫자로 재고(수학) → 정해진 순서로(알고리즘) → 판단 기준 숫자를 조금씩 고치는(파라미터) 과정의 반복이었어요. 그렇게 만들어진 능력 덩어리가 모델이고, 그 모델에 질문(쿼리)을 던져 답을 받는 게 추론이었죠. 이 모든 과정에 붙은 이름이 바로 머신러닝이었습니다.

그런데 코리의 야심은 여기서 멈추지 않습니다. 사과는 색·무게·향, 숫자 세 개로 끝났지만 — 이번엔 사진에 도전하려 하거든요. 고양이인지 강아지인지 사진만 보고 맞히는 것. 과연 사과 방식이 사진에도 통할까요? (미리 살짝 귀띔하자면, 여기서 코리는 또 한 번 보기 좋게 무너집니다. 그리고 그 무너짐에서 '딥러닝'이 태어나죠.)

📌 이 장의 핵심
  • 수학: 얼마나 틀렸는지, 어디로 고칠지를 숫자로 알려주는 코치
  • 알고리즘: 그 계산을 어떤 순서로 쓸지 정한 작업 절차
  • 모델 / 파라미터(가중치): 배운 규칙을 굳힌 결과물 / 그 안의 중요도 숫자
  • 머신러닝: 데이터로 스스로 기준을 맞춰가는 것 (1959년 아서 사무엘이 명명)
  • 쿼리 / 추론: 모델에 던지는 질문 / 모델이 답을 계산하는 과정
  • 학습·검증·테스트 데이터: 문제집 / 모의고사 / 최종 시험 (시험은 미리 보면 안 됨!)
3장

특징을 스스로 찾다

— 딥러닝은 어떻게 태어났을까요 —

코리는 사과 가게에서 꽤 우쭐해졌습니다. 이제 웬만한 사과는 척척 맞히니까요. 그러던 어느 날, 한 손님이 스마트폰을 보여주며 말했어요. "요즘은 사진만 찍으면 강아지인지 고양이인지 알려주는 앱도 있대요. 신기하죠?"

코리의 눈이 반짝였습니다. "사과 단맛도 맞히는데… 사진 보고 고양이 맞히는 것도 만들 수 있지 않을까?"

마침 할머니네 가게엔 고양이 '나비'가 살고, 옆 가게엔 강아지 '콩이'가 있었죠. 완벽한 연습 상대였습니다. 코리는 결심했어요. 사진만 보고 나비(고양이)인지 콩이(강아지)인지 맞히는 프로그램을 만들겠다고. "사과도 했는데 이쯤이야!"

그런데 이번엔 코리가 아주 크게 무너집니다. 그리고 바로 그 무너짐에서 — 오늘날 인공지능의 진짜 주인공인 딥러닝이 태어나죠.

두 번째 실패

코리는 2장에서 하던 대로, 종이에 고양이 규칙을 적기 시작했습니다.

규칙 ① 귀가 뾰족한 삼각형이면 → 고양이
규칙 ② 수염이 있으면 → 고양이
규칙 ③ 눈이 동그라면 → 고양이

사과에서 색깔·무게·향을 골랐던 것처럼, 이렇게 사람이 중요한 특징을 직접 골라 정해주는 일을 특징 공학(Feature Engineering)이라고 합니다. 말은 거창하지만, "뭘 보고 판단할지 사람이 미리 정해주는 것"이라고 생각하면 돼요.

코리는 자신만만하게 나비 사진을 넣었습니다. 정답! 그런데 그때부터 사진들이 코리를 괴롭히기 시작했어요.

  • 나비가 옆을 보고 있어서 귀가 하나만 보입니다
  • 나비가 앞발로 얼굴을 가렸어요
  • 사진이 너무 어둡습니다
  • 뒤에 빨래가 잔뜩 널려 있어 배경이 복잡해요
  • 꼬리만 찍혔습니다
  • 게다가 콩이(강아지)도 수염이 있잖아요! 규칙 ②가 콩이를 고양이라고 우깁니다

코리는 규칙을 고치고 또 고쳤습니다. "귀가 가려졌으면 눈을 보고… 근데 눈도 감았으면… 그땐 또…" 규칙이 100개를 넘어가자 코리는 머리를 감쌌어요. 세상 모든 고양이 사진의 경우를 사람이 손으로 다 적는 건 도저히 불가능했던 겁니다.

여기서 잠깐. 이건 코리만의 고민이 아니었어요. 사실 수많은 인공지능 연구자가 수십 년 동안 똑같은 벽에 부딪혔습니다. 사진, 음성, 언어처럼 변수가 폭발하는 데이터 앞에서는 사람이 특징을 일일이 골라주는 방식이 번번이 무릎을 꿇었거든요. "이 방법으론 안 되겠다"는 막막함, 그게 오랫동안 인공지능의 겨울을 만들었습니다.

💡 한 줄 정리: 사람이 특징을 일일이 골라주는 방식(특징 공학)은, 사진처럼 변수가 폭발하는 데이터 앞에서 한계에 부딪혀요.

발상의 전환: "특징도 네가 알아서 찾아!"

코리가 끙끙대는 걸 보던 할머니가 한마디 던지셨습니다.

"코리야, 네가 규칙을 다 정해주려니까 힘든 거 아니냐? 그냥 사진을 잔뜩 보여주고, 뭐가 중요한지 걔가 알아서 찾게 하면 안 되냐?"

코리는 머리를 한 대 맞은 것 같았습니다. 특징을 사람이 골라주는 게 아니라, 기계가 스스로 찾게 하자! 바로 이 발상의 전환이 딥러닝(Deep Learning)의 핵심입니다.

딥러닝은 사진을 한 방에 이해하지 않아요. 여러 단계를 거치며 조금씩 의미를 키워갑니다.

픽셀 (그냥 밝기 숫자들)
  → 선과 경계
  → 곡선·모서리
  → 눈·귀·털
  → 얼굴 구조
  → "고양이일 가능성!"

처음엔 125, 126, 130, 48, 52 … 그냥 숫자 덩어리였던 것이, 단계를 지날수록 점점 '의미'로 자라납니다. 이렇게 원본 데이터를 판단하기 좋은 형태로 스스로 바꿔가며 배우는 것을 표현 학습(Representation Learning)이라고 해요. 사람이 "여길 봐, 저길 봐" 짚어주지 않아도, 기계가 사진 수만 장을 보며 "아, 고양이는 이런 곡선과 이런 무늬가 있구나"를 스스로 알아내는 거죠.

그런데 이게 정말 될까요? 그냥 그럴듯한 아이디어로 끝나는 건 아닐까요? 그 의심에 쐐기를 박은 사건이 2012년에 일어납니다.

2012년, 딥러닝이 세상을 뒤집은 날

매년 'ImageNet(이미지넷)'이라는 사진 인식 대회가 열렸습니다. 수백만 장의 사진을 주고 "이게 고양이냐 개냐 자동차냐"를 맞히게 하는, 컴퓨터 비전의 올림픽 같은 대회였죠. 오랫동안 성적은 지지부진했습니다. 사람이 특징을 골라주는 방식의 한계 탓에, 오류율은 26퍼센트 언저리에서 좀처럼 내려가질 않았어요.

그런데 2012년, 캐나다 토론토 대학의 제프리 힌튼 교수와 그 제자들(알렉스 크리제브스키, 일리야 수츠케버)이 '알렉스넷(AlexNet)'이라는 깊은 신경망을 들고 나왔습니다. 이 모델은 특징을 사람이 골라주지 않고 스스로 찾는 방식이었죠. 결과는 충격적이었습니다. 오류율을 단숨에 26퍼센트에서 15.3퍼센트로 끌어내렸고, 2등을 무려 10퍼센트포인트 넘게 따돌렸습니다. 한 해에 이 정도 격차는 누구도 본 적이 없었어요.

이 사건 하나로 세상이 바뀌었습니다. "특징을 기계가 스스로 찾는다"는 딥러닝의 아이디어가 단순한 이론이 아니라 현실에서 압도적으로 통한다는 게 증명된 거죠. 오늘날의 챗GPT도, 그림 그리는 AI도, 이 2012년의 문을 통과해 나온 셈입니다.

재미있는 뒷이야기 하나. 이 대회에 쓰인 수백만 장의 사진 더미(ImageNet)는, 1장에서 만난 그 250년 전 '기계 터크'의 이름을 딴 아마존의 서비스로 만들어졌습니다. 전 세계 사람들이 사진 한 장 한 장에 "이건 고양이" "이건 개"라고 이름표를 붙여준 거죠. 결국 기계의 놀라운 학습 뒤에도 보이지 않는 사람들의 손길이 있었던 셈입니다. 터크의 그림자가 여기까지 이어진다니, 묘하지 않나요?

추상화가 올라간다픽셀점·밝기선·모서리윤곽눈·귀·털부분고양이개념
의미의 사다리. 깊은 신경망은 아래층에서 픽셀·선 같은 단순한 것을 보고, 위로 갈수록 눈·귀를 거쳐 ‘고양이’라는 추상적 개념까지 한 칸씩 쌓아 올려요.
🏷️ 이름표 — CNN: 방금 본 ‘픽셀 → 선 → 눈·귀 → 고양이’처럼 이미지를 작은 부분부터 점점 큰 패턴으로 알아보는 신경망을 CNN(합성곱 신경망)이라고 불러요. 주로 사진·영상에 쓰입니다. (이 책의 주인공은 ‘말을 배우는 기계’라 깊이 들어가진 않지만, 이름은 알아두면 좋아요!)
💡 한 줄 정리: 딥러닝은 중요한 특징까지 기계가 스스로 찾도록, 데이터를 여러 단계로 바꿔가며 배우는 방법이에요. 2012년 알렉스넷이 그 위력을 세상에 증명했죠.

공장의 조립 라인

방금 본 그 '단계 하나하나'를 레이어(Layer, 층)라고 부릅니다.

코리는 이걸 자동차 공장의 조립 라인으로 떠올렸어요.

  • 1번 작업대(초기 레이어): 철판에서 선과 경계만 봅니다
  • 2번 작업대(중간 레이어): 곡선·모서리·질감을 잡아냅니다
  • 3번 작업대(깊은 레이어): 눈·귀·얼굴 구조를 알아봅니다
  • 마지막 작업대(출력 레이어): "고양이!" 도장을 쾅 찍습니다

이 작업대(층)를 여러 개 깊게(deep) 쌓았다고 해서 이름이 '딥(deep)'러닝인 겁니다. 층이 깊을수록 더 복잡하고 미묘한 것까지 알아볼 수 있어요. 알렉스넷이 강했던 이유도 이전 모델들보다 층을 더 깊게 쌓았기 때문이었습니다.

그리고 작업대 하나에는 일꾼이 잔뜩 있어요. 이 작은 일꾼들을 뉴런(Neuron)이라고 합니다. 이름은 사람 뇌의 신경세포에서 따왔지만, 실제로는 그냥 작은 계산기라고 생각하면 됩니다. 너무 어렵게 받아들이지 마세요. 뉴런 한 명이 하는 일은 이게 전부거든요.

여러 입력을 받음
→ 각 입력에 가중치를 곱함
→ 다 더함
→ 편향을 더함
→ 활성화 함수를 통과
→ 다음 작업대로 넘김
입력층은닉층은닉층출력층
레이어와 뉴런. 동그란 뉴런들이 층(레이어)을 이루고, 각 뉴런은 다음 층과 촘촘히 연결돼요. 정보는 입력층에서 은닉층을 거쳐 출력층으로 흘러갑니다.
💡 한 줄 정리: 레이어는 판단의 한 단계(작업대), 뉴런은 그 안의 작은 계산기(일꾼)예요. 작업대를 깊게 쌓아서 '딥'러닝이죠.

일꾼 한 명의 속마음: 가중치와 편향

뉴런 일꾼이 계산할 때 쓰는 숫자가 두 종류 있습니다. 둘 다 2장에서 만난 파라미터예요. (사과의 그 0.4, 0.6 기억나시죠?)

  • 가중치(Weight): 각 단서를 얼마나 믿을지 정하는 숫자
  • 편향(Bias): 판단 기준선을 살짝 이쪽저쪽 옮기는 숫자

예를 들어 어떤 뉴런이 '고양이 점수'를 이렇게 계산한다고 해볼게요.

고양이 점수 = 뾰족한 귀 × 0.8
            + 수염     × 0.6
            + 동그란 눈 × 0.9
            - 0.4         ← 이게 편향

가중치 0.8, 0.6, 0.9는 "이 단서를 얼마나 믿느냐"를 말해줍니다. 보세요, 이 일꾼은 눈(0.9)을 가장 믿고, 수염(0.6)은 상대적으로 덜 믿네요. 똑똑하죠? 콩이(강아지)도 수염이 있으니까, 수염은 너무 믿으면 안 되거든요. 앞 장에서 규칙 ②가 콩이를 고양이로 착각했던 그 실수를, 이 가중치가 알아서 바로잡고 있는 셈입니다.

편향 -0.4는 "기본적으로 좀 까다롭게 보겠다"는 손잡이예요. 같은 단서라도 편향을 높이면 후하게, 낮추면 깐깐하게 판단하게 됩니다.

💡 한 줄 정리: 가중치는 각 단서를 얼마나 믿을지, 편향은 판단을 후하게/까다롭게 옮기는 손잡이예요.

그냥 더하고 곱하면 안 되는 이유: 활성화 함수

여기서 코리가 아주 날카로운 질문을 던집니다.

"근데 뉴런이 곱하고 더하기만 하면… 작업대를 백 개 쌓아도 결국 큰 곱셈·덧셈 한 번 아니에요?"

정확한 지적입니다! 곱셈과 덧셈만 반복하면, 아무리 깊게 쌓아도 결국 '직선' 같은 단순한 판단밖에 못 해요. 그런데 고양이냐 강아지냐는 직선 하나로 딱 갈리는 문제가 아니잖아요. 세상은 훨씬 꼬불꼬불하니까요.

그래서 뉴런 계산 끝에 신호를 한 번 비틀어주는 문지기를 세웁니다. 이것이 활성화 함수(Activation Function)예요. 이 문지기는 이렇게 말합니다. "이 신호는 통과! 이건 약하게! 이건 아예 막아!" 신호를 굽히고 비틀어주니까, 모델이 비로소 꼬불꼬불한 복잡한 경계도 그릴 수 있게 됩니다.

대표적인 문지기로 ReLU, Sigmoid, Tanh, GELU 같은 게 있어요. 이름은 그냥 문지기의 종류라고 생각하시면 됩니다. (참고로 앞서 만난 알렉스넷의 숨은 비결 중 하나가 바로 이 ReLU라는 문지기를 쓴 것이었고, 요즘 챗GPT 같은 큰 언어 모델은 GELU를 즐겨 씁니다.)

들어온 신호+20−3문지기활성화 함수+200음수는 막음ReLU 활성화0음수→0양수→그대로
활성화 함수(문지기). 뉴런마다 작은 문지기가 있어 신호를 통과시키거나 차단해요. 가장 흔한 ReLU는 음수는 0으로 막고 양수는 그대로 흘려보냅니다.
💡 한 줄 정리: 활성화 함수는 신호를 통과/약화/차단하는 문지기예요. 덕분에 모델이 직선을 넘어 복잡한 패턴도 그릴 수 있죠.

3장을 마치며

이번 장에서 코리는 큰 벽을 만났고, 그 벽을 넘는 새로운 길을 발견했습니다. 사람이 특징을 일일이 정해주는 방식(특징 공학)이 사진 앞에서 무너지자, "특징도 기계가 스스로 찾게 하자"는 딥러닝의 발상이 등장했죠. 그 딥러닝은 작업대(레이어)를 깊게 쌓고, 그 안의 일꾼(뉴런)들이 가중치·편향으로 계산하고, 문지기(활성화 함수)로 신호를 비틀어 복잡한 판단을 해냅니다. 2012년 알렉스넷은 이 방식의 위력을 세상에 똑똑히 증명했고요.

그런데 여기엔 아직 큰 의문이 남아 있습니다. 이 수많은 가중치와 편향 숫자들 — 알렉스넷의 경우 그 수가 수천만 개에 달했는데 — 대체 누가, 어떻게 그 많은 숫자를 다 정해주는 걸까요? 설마 사람이 하나하나? 그럴 리가요. 다음 장에서는 기계가 그 수많은 숫자를 스스로 고쳐가며 똑똑해지는 놀라운 과정을 들여다봅니다. 그리고 거기서, 2장에 아껴두었던 '시험용 사과'가 아주 뼈아픈 모습으로 다시 등장하죠.

📌 이 장의 핵심
  • 특징 공학: 사람이 중요한 특징을 직접 골라주는 것 (사진 앞에서 한계)
  • 딥러닝 / 표현 학습: 특징까지 기계가 스스로 찾는, 여러 단계의 학습
  • 레이어 / 뉴런: 판단의 한 단계(작업대) / 그 안의 작은 계산기(일꾼)
  • 가중치 / 편향: 각 단서를 얼마나 믿을지 / 판단 기준선을 옮기는 손잡이
  • 활성화 함수: 신호를 비틀어 복잡한 패턴을 가능하게 하는 문지기
  • 2012 알렉스넷: 오류율 26%→15.3%, 딥러닝 혁명의 신호탄
4장

기계는 어떻게 배우는가

— 틀린 책임을 거꾸로 따져, 산을 내려가듯 —

지난 장 끝에서 우리는 묵직한 질문 하나를 남겨뒀습니다. 딥러닝 모델 안에는 가중치와 편향이 수천만 개씩 들어 있는데(알렉스넷만 해도 그랬죠), 대체 누가 그 많은 숫자를 다 정해주느냐는 거였어요.

답은 의외로 간단합니다. 아무도 정해주지 않습니다. 기계가 스스로 정해요. 단, 처음부터 잘하는 게 아니라 — 코리가 사과에서 그랬듯 — 마구 틀리면서, 그 틀림을 발판 삼아 조금씩 고쳐가죠. 이번 장은 그 '스스로 고쳐가는' 과정의 속을 들여다봅니다. 인공지능이 '배운다'는 말의 가장 깊은 곳이에요.

"얼마나 틀렸나"를 재는 점수판: 손실 함수

3장에서 코리는 고양이-강아지 분류기의 구조(레이어, 뉴런, 가중치)를 다 짰습니다. 그런데 한 가지가 마음에 걸렸어요. "이 가중치들, 처음엔 무슨 값으로 시작하지?"

답은 거의 무작위입니다. 그래서 막 만든 모델의 첫 예측은 엉망진창이에요.

모델: "콩이(강아지) 사진인데… 고양이 80퍼센트!"
정답: 강아지

코리는 한숨이 나왔지만, 사실 이게 바로 학습의 출발점입니다. 모델이 "내가 얼마나 틀렸지?"를 숫자로 재거든요. 2장에서 만난 그 수학이 여기서 다시 등장합니다. 이 틀린 정도를 재는 기준을 손실 함수(Loss Function)라고 해요.

정답이 '고양이'인데
 강아지 70% / 고양이 20%  → 정답 확률이 낮네 → 손실 큼 😖
 고양이 95% / 강아지 3%   → 정답 확률이 높네 → 손실 작음 😀

이름이 '손실'이라 어렵게 들리지만, 그냥 벌점 점수판이라고 생각하면 됩니다. 많이 틀리면 벌점이 크고, 잘 맞히면 벌점이 작아요. 그리고 학습의 목표는 단 하나, 이 벌점(손실)을 최대한 작게 만드는 것입니다. 손실이 줄어든다는 건 곧 점점 잘 맞힌다는 뜻이니까요.

💡 한 줄 정리: 손실 함수는 "지금 얼마나 틀렸나"를 재는 벌점 점수판이에요. 학습은 이 벌점을 줄여가는 게임이죠.

범인을 거꾸로 추적하기: 역전파

이제 진짜 어려운 문제가 남았습니다. 벌점이 크다는 건 알았어요. 그런데 모델 안엔 고칠 숫자가 수천만 개입니다. 그중 무엇을, 얼마나 고쳐야 벌점이 줄어들까요? 하나하나 다 건드려볼 수도 없는데 말이죠.

코리는 학교 조별 과제가 망했던 일을 떠올렸습니다. 발표가 폭망했을 때, 선생님이 결과부터 거꾸로 물으셨거든요. "발표가 문제였니? → 자료 정리가 문제였니? → 조사가 문제였니? → 주제 선정이 문제였니?" 이렇게 끝에서부터 되짚어 진짜 원인을 찾아갔죠.

신경망도 똑같이 합니다. 마지막 출력(틀린 답)에서 시작해, 앞쪽 작업대(레이어)로 거슬러 올라가며 "이 숫자가 그 오답에 얼마나 책임이 있나"를 하나하나 계산해요. 이렇게 오차의 책임을 뒤에서부터 거꾸로 추적하는 방법을 역전파(Backpropagation)라고 합니다.

신경망의 길고 추웠던 겨울

사실 이 역전파에는 드라마 같은 사연이 있습니다.

이야기는 1958년으로 거슬러 갑니다. 프랭크 로젠블랫이라는 학자가 '퍼셉트론(Perceptron)'이라는 걸 발표해요. 사람 뇌의 뉴런을 흉내 낸 최초의 학습 기계였죠. 입력에 가중치를 곱하고 더한 뒤 일정 기준을 넘으면 신호를 내보내는, 우리가 3장에서 본 뉴런과 똑 닮은 구조였습니다. 언론은 "생각하는 기계의 씨앗이 나왔다"며 들떴고, 사람들은 곧 인공지능 시대가 열릴 거라 믿었어요.

그런데 1969년, 마빈 민스키와 시모어 페퍼트라는 두 학자가 찬물을 끼얹습니다. 이들은 책 『퍼셉트론』에서, 당시의 단순한 퍼셉트론으로는 'XOR'이라는 아주 기초적인 문제조차 풀 수 없음을 수학으로 증명했어요. (XOR은 "둘이 서로 다를 때만 참"이라는 간단한 논리인데, 그 단순한 것조차 못 푼다니 충격이었죠.) 여러 층을 쌓으면 풀 수 있다는 건 알았지만, 그 여러 층을 학습시킬 방법을 아무도 찾지 못했습니다.

결과는 참혹했어요. 신경망 연구로 가던 관심과 연구비가 뚝 끊겼습니다. 이 길고 추운 침체기를, 사람들은 핵겨울에 빗대어 'AI 겨울(AI Winter)'이라고 부릅니다. 그렇게 10년이 넘게 흘렀어요.

그리고 1986년, 마침내 봄이 옵니다. 데이비드 럼멜하트, 제프리 힌튼, 로널드 윌리엄스 세 사람이 바로 이 역전파 알고리즘으로 여러 층의 신경망을 학습시키는 데 성공한 거예요. 권위 있는 학술지 《네이처》에 실린 이 방법이, 민스키가 못 박았던 "다층 신경망은 학습시킬 수 없다"는 벽을 정면으로 깨부쉈습니다.

여기서 익숙한 이름 하나, 눈치채셨나요? 바로 제프리 힌튼입니다. 3장에서 2012년 알렉스넷으로 딥러닝 혁명을 일으킨 그 사람이죠. 추운 겨울에 신경망을 포기하지 않고 붙들었던 그가, 1986년엔 역전파로 봄을 부르고, 2012년엔 알렉스넷으로 여름을 열어젖힌 겁니다. 한 사람의 끈기가 인공지능의 계절을 두 번이나 바꿨다니, 멋지지 않나요?

정방향: 예측 →입력층은닉층출력층오차 발생← 오차를 거꾸로 보내 가중치 수정 (역전파)
역전파. 예측이 정답과 얼마나 틀렸는지(오차)를 출력층에서 계산한 뒤, 그 오차를 화살표를 타고 앞쪽 층으로 거슬러 보내며 가중치를 조금씩 고쳐요.
💡 한 줄 정리: 역전파는 틀린 결과의 원인을 출력에서 거꾸로 추적해, 각 숫자가 오차에 얼마나 책임이 있는지 계산하는 방법이에요.

안개 낀 산을 내려가기: 경사하강법과 학습률

역전파가 "이 숫자를 이쪽 방향으로 고쳐!"라고 알려줬다고 합시다. 그럼 실제로 얼마나 움직여야 할까요? 그걸 정하는 것이 경사하강법(Gradient Descent)입니다.

코리는 안개 낀 산에 갇힌 모습을 떠올렸어요. 가장 낮은 골짜기로 내려가야 하는데, 한 치 앞도 안 보입니다. 할 수 있는 건 발밑의 기울기를 느끼고, 낮아지는 쪽으로 한 걸음씩 조심조심 내딛는 것뿐이죠.

  • 지금 서 있는 위치 = 지금의 파라미터(가중치)
  • 산의 높이 = 손실(벌점)
  • 내려가는 방향 = 손실이 줄어드는 쪽 (역전파가 알려줍니다)
  • 한 걸음의 크기 = 학습률(Learning Rate)

이 걸음 크기, 즉 학습률이 생각보다 아주 중요합니다.

  • 너무 크면 → 한 번에 너무 멀리 뛰어 골짜기를 휙 건너뛰고 반대편 산으로 올라가 버려요
  • 너무 작으면 → 평생 걸어도 골짜기에 못 닿습니다
  • 적당하면 → 안정적으로 쭉 내려가 가장 낮은 곳에 도착하죠

결국 학습이란, 손실이라는 산에서 역전파로 방향을 잡고, 경사하강법으로 한 걸음씩 내려가는 일을 끝없이 반복하는 겁니다. 수천만 번을 반복하다 보면, 처음엔 무작위였던 숫자들이 어느새 사과를, 고양이를, 그리고 사람의 말을 척척 알아보는 '능력'으로 자라나는 거예요.

안개 낀 오차 곡선 — 한 걸음씩 최저점으로오차가중치최저점
경사하강법. 전체 지형은 안개에 가려 안 보이지만, 발밑의 기울기만 보고 더 낮은 쪽으로 한 걸음씩 내려가요. 그렇게 오차가 가장 작은 최저점을 찾아갑니다.
💡 한 줄 정리: 경사하강법은 손실이 낮아지는 쪽으로 한 걸음씩 내려가는 것, 학습률은 그 한 걸음의 크기예요.

2장의 복선이 터지는 순간: 과적합과 일반화

드디어 코리의 분류기가 완성됐습니다. 연습용 사진으로 시험해보니 — 정확도 100퍼센트! 코리는 환호했어요.

그런데 처음 보는 새 고양이 사진을 넣자, 모델이 갑자기 헛소리를 하기 시작합니다. 멀쩡한 고양이를 강아지라 하고, 강아지를 고양이라 하고.

연습용 사진 성적: 100점 🎉
처음 보는 사진 성적: 52점 😱
정확도학습이 진행될수록 →← 여기서부터 과적합학습(연습)검증(실전)
연습 100점, 실전 52점. 학습(연습) 정확도는 계속 오르지만, 검증(처음 보는 문제) 정확도는 어느 순간부터 오히려 떨어져요. 이렇게 둘이 벌어지는 게 과적합 — 답을 외워버린 거예요.

코리는 멍해졌습니다. "연습은 완벽했는데 왜?!" 그때 할머니가 2장에서 하셨던 말을 다시 꺼내셨어요.

"너, 연습 사진을 통째로 외워버린 거 아니냐?"

정확했습니다. 모델이 규칙을 이해한 게 아니라, 연습 사진 하나하나를 통째로 암기해버린 거예요. 시험 문제를 미리 외운 학생처럼요. 외운 문제(연습 사진)는 100점이지만, 숫자만 살짝 바뀐 새 문제(처음 보는 사진) 앞에선 와르르 무너지는 거죠.

이렇게 학습 데이터를 외워버려 새 데이터에 약해지는 현상을 과적합(Overfitting)이라고 합니다. 반대로, 외우는 게 아니라 처음 보는 데이터에도 통하는 진짜 규칙을 배우는 능력을 일반화(Generalization)라고 하죠. 좋은 모델의 목표는 언제나 일반화입니다.

이제 2장에서 코리가 왜 '시험용 사과'를 꽁꽁 아껴뒀는지 아시겠죠? 외웠는지 이해했는지는 처음 보는 걸로 시험해봐야만 들통나니까요. 만약 연습용 사과로만 평가했다면, 코리는 자기 모델이 100점짜리인 줄 착각한 채 손님 앞에서 망신을 당했을 겁니다. 그 한 끗의 차이를 '시험용 사과'가 막아준 거예요.

💡 한 줄 정리: 과적합은 연습 데이터를 외워 새 문제에 약해지는 것, 일반화는 처음 보는 데이터에도 통하는 진짜 실력이에요.

클수록 강하지만, 공짜는 아니에요

코리는 한 가지가 더 궁금해졌습니다. "숫자(파라미터)를 더 많이 넣으면 더 똑똑해지지 않을까?"

맞는 말입니다. 파라미터가 많을수록 더 복잡하고 미묘한 패턴까지 담을 수 있어요. 작은 모델은 "빨갛고 크면 사과" 정도지만, 거대한 모델은 옆모습·가려진 귀·어두운 사진·복잡한 배경을 한꺼번에 다룰 수 있죠. 잠시 뒤 만날 챗GPT 같은 큰 언어 모델의 파라미터가 어마어마하게 많은 이유가 바로 이겁니다.

하지만 공짜는 아닙니다. 파라미터가 많아지면 그만한 대가가 따라와요.

  • 더 많은 데이터가 필요합니다
  • 더 강력한(그리고 비싼) 컴퓨터가 필요합니다
  • 학습하고 사용하는 비용이 커집니다
  • 과적합 위험도 함께 커집니다 (외울 공간이 넓어지니까요)
  • 데이터에 섞인 나쁜 편견이나 버릇까지 배워버릴 수 있습니다

그래서 무조건 크게 만드는 게 정답은 아니에요. 적당한 크기에, 좋은 데이터를 먹이는 것 — 이게 늘 핵심입니다. 이 균형의 문제는 책의 뒷부분, 거대한 언어 모델을 이야기할 때 다시 중요하게 등장할 거예요.

💡 한 줄 정리: 파라미터가 많을수록 복잡한 패턴을 담지만, 데이터·비용·과적합 위험도 함께 커져요. 무조건 크다고 좋은 건 아니죠.

4장을 마치며

이번 장에서 우리는 '기계가 배운다'는 말의 가장 깊은 속을 봤습니다. 무작위로 시작한 숫자들이, 벌점을 재고(손실 함수) → 그 책임을 거꾸로 추적하고(역전파) → 한 걸음씩 고쳐가는(경사하강법) 과정을 수천만 번 반복하며 능력으로 자라났죠. 그 길엔 길고 추운 겨울(퍼셉트론의 좌절)도 있었지만, 끈질긴 사람들이 역전파로 봄을 불러왔습니다. 또 우리는 '외우기(과적합)'와 '이해하기(일반화)'가 다르다는 것, 그리고 모델이 크다고 무조건 좋은 건 아니라는 것도 배웠고요.

여기까지가 1부와 2부, 즉 "기계가 데이터로 배운다"는 큰 그림입니다. 사과에서 시작해 고양이 사진까지 왔어요. 그런데 코리의 진짜 꿈은 아직 남아 있습니다. 바로 '말'을 알아듣고 글을 쓰는 기계예요. 사진은 그래도 픽셀이라는 숫자였는데, 사람의 '말'은 대체 어디서부터 숫자로 바꿔야 할까요? 다음 장, 3부의 문이 열립니다.

📌 이 장의 핵심
  • 손실 함수: 지금 얼마나 틀렸나를 재는 벌점 점수판
  • 역전파: 오차의 책임을 출력에서 거꾸로 추적하는 방법 (1986년 부활)
  • 경사하강법 / 학습률: 손실 낮은 쪽으로 한 걸음씩 / 그 걸음의 크기
  • 과적합 / 일반화: 연습을 외워 약해짐 / 처음 보는 데이터에도 통하는 실력
  • 파라미터의 힘과 대가: 많을수록 강하지만 데이터·비용·과적합 위험도 커짐
  • AI 겨울: 1958 퍼셉트론 열광 → 1969 XOR 한계 → 1986 역전파로 부활
3부 — 말을 배우는 기계
5장

컴퓨터가 말을 읽는 법

— 글자를 숫자로, 뜻을 위치로 —

코리는 사과와 고양이를 정복하고 나니, 더 큰 꿈이 생겼습니다. 바로 손님이 말로 물어보면 글로 답해주는 AI비서를 만드는 것이었어요. "손님이 '사과 고르는 법 알려줘' 하면 줄줄 답해주는 거지!"

코리는 컴퓨터에 문장을 통째로 집어넣어 봤습니다.

"사과 고르는 법 알려줘"

그런데 컴퓨터는 멀뚱멀뚱, 아무것도 하지 못했어요. 코리는 깨달았습니다. 컴퓨터에게 이 문장은 그저 알 수 없는 그림 같은 것이라는 걸요. 생각해보면 당연합니다. 2부에서 컴퓨터가 다룬 건 늘 '숫자'였잖아요. 사과의 무게도 숫자, 고양이 사진의 픽셀도 숫자. 그런데 '말'은 대체 어디서부터 숫자로 바꿔야 할까요?

이 막막함을 푸는 것이 3부의 여정입니다. 그리고 그 끝에서 우리는 챗GPT의 심장과 마주하게 되죠.

컴퓨터는 글을 '조각'으로 읽습니다: 토큰

코리는 자기가 글을 읽는 방식을 가만히 떠올려 봤어요. 사실 우리도 문장을 한 글자씩 읽기보다는, 의미 덩어리로 끊어서 읽잖아요. "사과 / 고르는 / 법" 이렇게요.

컴퓨터도 비슷합니다. 문장을 통째로 보지 않고 작은 조각으로 잘라서 처리해요. 이 조각 하나를 토큰(Token)이라고 부릅니다.

"나는 오늘 학교에 갔다"
→ 나 / 는 / 오늘 / 학교 / 에 / 갔 / 다

영어도 마찬가지예요. 긴 단어는 더 잘게 쪼개지기도 합니다.

unbelievable → un / believe / able

그리고 잘라낸 토큰마다 번호(ID)를 붙입니다. 컴퓨터는 글자보다 숫자를 좋아하니까요.

"고양이는 귀엽다"
→ ["고양이", "는", "귀엽", "다"]
→ [1532, 88, 7214, 31]

이렇게 문장을 토큰으로 잘게 나누는 과정을 토큰화(Tokenization)라고 합니다. 드디어 첫 단추가 끼워졌어요. 글자라는 '그림'이, 컴퓨터가 다룰 수 있는 '숫자'로 바뀐 거죠.

토큰이 왜 중요할까요? 모델은 토큰 단위로 읽고, 토큰 단위로 씁니다. 게다가 — 이건 실용적인 정보인데 — 챗GPT 같은 서비스의 사용량과 비용도 보통 토큰 수로 계산돼요. 즉 말을 길게 시키거나 긴 문서를 넣을수록 토큰을 많이 먹는 셈이죠. 한글은 영어보다 토큰을 더 많이 쓰는 편이라, 같은 내용이라도 비용이 더 나오기도 합니다. AI를 본격적으로 쓸 때 알아두면 쓸모 있는 상식이에요.

원래 글사과 고르는 법조각(토큰)으로 나눔사과고르는법각 조각에 번호(ID)[ 1827 · 540 · 12 · 367 ]
토큰화. 모델은 글을 통째로 읽지 않아요. 문장을 토큰이라는 작은 조각으로 자르고, 각 조각에 고유 번호(ID)를 붙여 숫자로 바꿔 다룹니다.
💡 한 줄 정리: 토큰은 모델이 글을 읽고 쓰는 기본 조각이에요. 토큰화는 문장을 그 조각들로 잘라 번호를 매기는 일이고요.

뜻을 '위치'로 바꾸기: 임베딩

번호를 붙였지만, 코리는 곧 허전함을 느꼈습니다. "1532번(고양이)과 88번(는)이… 무슨 관계인지는 번호만 봐선 모르잖아? 번호가 가깝다고 뜻이 가까운 것도 아니고."

맞는 지적이에요. 그래서 토큰을 그냥 번호 하나가 아니라 여러 개의 숫자 묶음, 즉 좌표로 바꿉니다. 이것을 임베딩(Embedding)이라고 해요.

고양이 → [0.24, -0.71, 0.18, …]
강아지 → [0.22, -0.68, 0.21, …]
자동차 → [-0.43, 0.11, 0.76, …]

코리는 이걸 종이에 점을 찍어 '의미 지도'로 상상해 봤습니다. 이 지도에서는 뜻이 비슷한 것끼리 가까이 모여요.

  • 고양이와 강아지는 바짝 붙어 있습니다 (둘 다 동물이니까)
  • 고양이와 자동차는 멀리 떨어져 있고요

그런데 정말 놀라운 건 '방향'에도 의미가 담긴다는 점입니다. 이걸 세상에 똑똑히 보여준 사건이 있어요. 2013년, 구글의 토마스 미콜로프와 동료들이 '워드투벡(word2vec)'이라는 기술을 발표했는데, 여기서 거의 마술 같은 일이 벌어집니다.

왕(king) − 남자(man) + 여자(woman) = ?

컴퓨터가 이 계산의 답으로 여왕(queen)을 내놓은 거예요! 단어를 좌표로 바꿔놓았더니, "남자에서 여자로 가는 방향"과 "왕에서 여왕으로 가는 방향"이 거의 똑같았던 겁니다. 마치 의미 지도 위에 '성별을 바꾸는 화살표'가 있는 것처럼요. 비슷하게 '서울 → 한국'과 '도쿄 → 일본'도 닮은 방향을 가집니다.

이 사건이 중요한 이유가 있어요. 컴퓨터가 단어 뜻을 사전처럼 문장으로 외우는 게 아니라, 의미를 '위치와 방향'이라는 수학으로 다룰 수 있게 됐다는 뜻이거든요. 이 아이디어가 훗날 챗GPT 같은 거대한 언어 모델의 든든한 주춧돌이 됩니다.

남자왕여자여왕두 화살표의 방향·길이가똑같다 = 같은 관계
의미의 지도. 남자→왕과 여자→여왕의 화살표가 같은 방향·길이예요. 그래서 왕 − 남자 + 여자 ≈ 여왕 같은 계산이 가능합니다.
💡 한 줄 정리: 임베딩은 토큰의 뜻을 좌표로 바꾼 거예요. 비슷한 뜻은 지도에서 가까이 모이고, 단어 사이의 관계는 '방향'으로 표현되죠.

같은 단어인데 뜻이 다르네?: 컨텍스트

코리가 AI비서를 시험하다가 함정에 빠졌습니다. '은행'이라는 단어 때문이었어요.

"은행에서 돈을 찾았다" → 돈을 맡기는 곳 🏦
"강 은행에 앉아 쉬었다" → 강가의 둑 🌊

똑같은 '은행'인데 뜻이 정반대죠? 컴퓨터는 이걸 어떻게 구분할까요? 답은 의외로 간단합니다. 주변에 어떤 말이 있는지를 보는 거예요. 옆에 '돈을 찾았다'가 있으면 금융 기관, '강'이 있으면 강가의 둑으로 알아채는 거죠.

이렇게 모델이 지금 답을 만들 때 참고하는 주변 정보 전체를 컨텍스트(Context, 문맥)라고 합니다. 컨텍스트에는 생각보다 많은 게 들어가요.

  • 지금 사용자가 던진 질문
  • 그전까지 주고받은 대화 내용
  • 첨부한 문서
  • 검색해온 자료
  • 그리고 모델이 방금 막 만들어낸 문장까지

우리도 대화할 때 똑같이 하잖아요. 친구가 갑자기 "그거 어떻게 됐어?"라고 물으면, 앞서 무슨 얘기를 했는지(=문맥)를 떠올려 '그거'가 뭔지 알아채죠. 컴퓨터에게 컨텍스트는 바로 그 '앞뒤 사정'인 셈입니다.

💡 한 줄 정리: 컨텍스트는 모델이 지금 답을 만들 때 참고하는 주변 정보예요. 같은 단어도 문맥에 따라 뜻이 달라지죠.

책상에는 한계가 있어요: 컨텍스트 윈도우

"그럼 컨텍스트를 무한정 많이 넣으면 더 똑똑해지겠네요?" 코리가 신나서 물었습니다.

아쉽지만 그렇지 않아요. 모델이 한 번에 펼쳐놓고 볼 수 있는 정보의 양에는 한계가 있습니다. 이 한계를 컨텍스트 윈도우(Context Window)라고 해요.

코리는 이걸 책상 크기로 이해했습니다.

  • 작은 책상: 종이 몇 장만 겨우 펼칩니다
  • 큰 책상: 책 여러 권을 동시에 펼쳐놓을 수 있죠

이 책상 크기도 토큰 수로 잽니다. 그리고 꼭 기억해야 할 게 하나 있어요.

컨텍스트 윈도우는 영원히 기억하는 공간이 아닙니다. 지금 작업하는 동안만 쓰는 '작업 책상'에 가까워요.

그래서 대화가 아주 길어지면, 맨 처음에 했던 이야기는 책상 밖으로 슬그머니 밀려나 더는 참고하지 못할 수도 있습니다. 챗GPT와 긴 대화를 나누다가 "아까 내가 처음에 뭐라고 했지?" 하고 물으면 가끔 모델이 헤매는 이유가 바로 이거예요. 책상 위 종이가 너무 많아지면 오래된 종이가 슬쩍 떨어져 나간 거죠.

요즘은 이 책상이 점점 커지는 추세이긴 합니다. 책 몇 권 분량을 한 번에 올려놓을 만큼요. 하지만 아무리 커져도 '무한'은 아니고, 또 '영구 기억'과는 다르다는 점 — 이건 책 마지막 장에서 다시 중요하게 짚을 거예요.

작은 책상토큰 4개만 기억큰 책상토큰 12개까지 본다
컨텍스트 윈도우. 모델이 한 번에 올려놓고 볼 수 있는 책상의 크기예요. 책상이 클수록 더 많은 토큰(종이)을 동시에 보며 앞뒤 맥락을 길게 기억합니다.
💡 한 줄 정리: 컨텍스트 윈도우는 모델이 한 번에 펼쳐볼 수 있는 정보의 크기(작업 책상)예요. 영구 기억이 아니라 임시 작업 공간이죠.

5장을 마치며

이번 장에서 우리는 컴퓨터가 '말'이라는 낯선 상대를 숫자로 바꾸는 첫 단계를 따라왔습니다. 문장을 조각으로 자르고(토큰화), 그 조각의 뜻을 좌표로 옮기고(임베딩), 주변 사정을 살피되(컨텍스트), 그 살필 수 있는 양엔 한계가 있다(컨텍스트 윈도우)는 것까지요. 특히 2013년 워드투벡의 '왕−남자+여자=여왕'은, 뜻이라는 추상적인 것을 수학으로 다룰 수 있음을 보여준 멋진 이정표였습니다.

그런데 여기엔 아직 결정적인 한 가지가 빠져 있어요. 문장 안에서 어떤 단어가 더 중요한지, "그녀"가 누구를 가리키는지를 알아채는 능력 말이에요. 예를 들어 "철수는 영희에게 책을 주었고, 그녀는 그것을 가방에 넣었다"에서 '그녀'가 영희라는 걸 컴퓨터는 어떻게 알까요? 다음 장에서 만날 어텐션과 트랜스포머가 바로 그 답입니다. 오늘날 모든 인공지능의 심장이라 불리는 그것이요.

📌 이 장의 핵심
  • 토큰 / 토큰화: 모델이 글을 읽는 기본 조각 / 문장을 조각내 번호 붙이기
  • 임베딩: 토큰의 뜻을 좌표로 바꾼 것 (비슷한 뜻은 가까이, 관계는 방향으로)
  • 컨텍스트: 지금 답을 만들 때 참고하는 주변 정보 (같은 단어도 문맥 따라 달라짐)
  • 컨텍스트 윈도우: 한 번에 펼쳐볼 수 있는 작업 책상 크기 (영구 기억 아님)
  • 2013 워드투벡: '왕−남자+여자=여왕', 의미를 수학으로 다룬 이정표
6장

어텐션과 트랜스포머

— 오늘날 모든 AI의 심장 —

지난 장에서 우리는 컴퓨터가 말을 숫자로 바꾸는 법(토큰, 임베딩)을 배웠습니다. 그런데 마지막에 풀지 못한 수수께끼가 하나 있었죠.

"철수는 영희에게 책을 주었고, 그녀는 그것을 가방에 넣었다."

여기서 '그녀'는 누구고, '그것'은 무엇일까요? 사람인 우리는 1초 만에 압니다. 그녀는 영희, 그것은 책. 그런데 컴퓨터는 이걸 어떻게 알아챌까요? 이 질문의 답이 바로 오늘날 모든 인공지능의 심장이라 불리는 어텐션과 트랜스포머입니다. 이번 장이 3부의 정점이에요.

"그녀"가 누구인지 어떻게 알까: 어텐션

잠깐, 우리 자신에게 먼저 물어볼까요. 우리는 '그녀'가 영희라는 걸 어떻게 알았을까요?

문장을 다시 천천히 읽어보세요. '그녀'라는 단어에 닿는 순간, 우리 눈이 자기도 모르게 앞쪽 '영희'로 되돌아갑니다. 철수도 아니고, 책도 아니고, 딱 '영희'한테요. 우리 머릿속은 지금 보는 단어를 이해하려고, 문장 속 다른 단어들 중 어디가 가장 중요한지를 순식간에 따지고 있는 겁니다.

바로 이것이 어텐션(Attention, 주목)이에요. 지금 보는 단어를 이해하기 위해, 문장 속 어디를 더 중요하게 볼지 계산하는 것. 거창한 기술처럼 들리지만, 사실은 우리가 글을 읽을 때 늘 하는 일을 숫자로 옮긴 것뿐입니다.

그런데 트랜스포머의 진짜 묘수는 한 발 더 나아갑니다. 문장 안의 모든 단어(토큰)가, 다른 모든 단어를 동시에 둘러보게 한 거예요. 이걸 셀프 어텐션(Self-Attention)이라고 합니다. '스스로(self)' 문장 안을 서로서로 살핀다는 뜻이죠.

'그녀' 토큰이 →  철수? 영희? 책? 가방?  하나씩 둘러봄
            →  '영희'에 가장 높은 점수를 줌 ✅

'그것' 토큰이 →  둘러본 뒤 → '책'에 가장 높은 점수 ✅

이 방식의 강력함은, 멀리 떨어진 단어 사이의 관계도 한눈에 잡아낸다는 데 있어요. '그녀'와 '영희'가 문장에서 꽤 떨어져 있어도, 셀프 어텐션은 둘을 곧장 연결해버립니다. 문장이 아무리 길어져도, 모든 단어가 서로를 직접 마주 보니까요.

그녀70%15%영희는사과를먹었다가장 굵은 화살표 = 가장 주목한 단어
어텐션(주목). ‘그녀’가 문장 속 어느 단어를 가리키는지 판단하려고 모든 단어를 살펴봐요. 이때 정답인 ‘영희’로 가장 굵은(강한) 주목의 화살표가 향합니다.
💡 한 줄 정리: 어텐션은 지금 단어를 이해할 때 어디를 더 볼지 계산하는 것, 셀프 어텐션은 문장 속 모든 토큰이 서로를 둘러보며 관계를 잡는 거예요.

한 단어씩 읽던 시절

어텐션이 왜 그렇게 혁명적이었는지 알려면, 그 이전에 컴퓨터가 글을 어떻게 읽었는지를 잠깐 봐야 합니다.

예전 방식은 사람이 책을 소리 내어 읽듯, 단어를 하나씩 순서대로 처리했어요. 첫 단어를 읽고, 기억하고, 다음 단어를 읽고, 또 기억하고… 이런 식이었죠. 문제가 두 가지였습니다. 하나, 느렸어요. 한 번에 한 단어씩이니 긴 문장은 한참 걸렸죠. 둘, 잘 잊어버렸어요. 문장이 길어지면 앞부분 내용이 가물가물해져서, 멀리 떨어진 단어의 관계를 놓치곤 했습니다. 긴 문장 끝에서 "그래서 맨 앞 주어가 뭐였더라?" 하는 거죠.

코리는 이걸 이렇게 비유했어요. "한 줄짜리 손전등으로 캄캄한 방을 한 칸씩 비추며 더듬는 거랑 비슷하네요. 끝에 가면 처음 본 걸 까먹고요." 정확한 비유입니다.

그런데 어텐션은 손전등이 아니라 방 전체에 불을 확 켜는 방식이에요. 모든 단어를 한꺼번에 환하게 비춰놓고, 어느 것이 어느 것과 관계있는지 동시에 살피는 거죠. 느리지도, 잊어버리지도 않습니다.

💡 한 줄 정리: 예전엔 단어를 하나씩 순서대로 읽어 느리고 잘 잊었지만, 어텐션은 문장 전체를 한 번에 환히 비춰 관계를 동시에 파악해요.

좋은 재료를 하나로 조립한 설계도: 트랜스포머

자, 코리의 손에는 이제 좋은 부품들이 다 모였습니다. 토큰화, 임베딩, 그리고 방금 배운 어텐션까지. 하나하나는 알겠는데, 이걸 어떻게 조립해야 똑똑한 AI비서가 될까요?

그 조립의 정답이 2017년에 세상에 나왔습니다. 구글 연구진 여덟 명이 발표한 한 편의 논문이었어요. 제목이 아주 당돌했습니다. 「Attention Is All You Need(필요한 건 어텐션뿐)」. 마치 비틀스 노래 제목 같은 이 선언적인 제목 그대로, 이들은 그동안 복잡하게 쓰던 옛 방식(한 단어씩 읽는 구조)을 전부 걷어내고 오직 어텐션만으로 새 구조를 만들어버렸습니다.

이 새 구조의 이름이 바로 트랜스포머(Transformer)예요. 어텐션을 중심으로 부품들을 짜 맞춘 신경망 설계도죠.

트랜스포머가 단숨에 왕좌에 오른 이유는 분명했습니다.

  • 문장 속 여러 단어의 관계를 동시에 계산합니다 → 엄청나게 빠릅니다 ⚡
  • 멀리 떨어진 단어의 관계도 잘 잡아냅니다 → 긴 글도 잘 이해해요
  • 구조가 단순하고 병렬 처리가 쉬워서 → 아주 크게 키우기 좋습니다

마지막 항목이 특히 중요합니다. '크게 키우기 좋다'는 성질 덕분에, 사람들은 트랜스포머를 점점 더 거대하게 불려 나갔어요. 그리고 그 끝에서 — 우리가 매일 쓰는 챗GPT, 클로드, 제미나이 같은 모델들이 태어납니다. 사실 챗GPT의 이름 'GPT'에서 마지막 글자 T가 바로 트랜스포머(Transformer)예요. 2017년의 이 논문이 없었다면, 오늘날의 AI 붐도 없었을 거예요.

재미있는 뒷이야기 하나. 이 역사적인 논문을 쓴 여덟 명의 저자는, 몇 년 지나지 않아 모두 구글을 떠났다고 해요. 각자 새로운 AI 회사를 차리거나 옮겨 갔죠. 한 편의 논문이 한 시대를 열고, 그 저자들이 뿔뿔이 흩어져 또 다른 시대를 만들어가는 모습 — 인공지능의 역사가 지금도 이렇게 빠르게 쓰이고 있는 겁니다.

토큰임베딩어텐션정리층트랜스포머네 부품을 하나로 조립토큰·임베딩·어텐션·정리층여러 부품이 모여 하나의 '블록'이 된다
트랜스포머 조립. 토큰·임베딩·어텐션·정리층 같은 부품을 정해진 설계대로 쌓아 올리면 하나의 트랜스포머 블록이 돼요. 이 블록을 여러 번 반복해 거대한 모델을 만듭니다.
💡 한 줄 정리: 트랜스포머는 어텐션을 중심으로 짠 신경망 설계도예요. 2017년 「Attention Is All You Need」에서 나와, 오늘날 챗GPT·클로드의 뼈대가 됐죠. (GPT의 'T'가 바로 트랜스포머!)

6장을 마치며

이번 장에서 우리는 오늘날 인공지능의 심장에 닿았습니다. 사람이 글을 읽을 때 자연스럽게 핵심 단어로 눈이 가는 그 동작을 숫자로 옮긴 것이 어텐션이었고, 문장 속 모든 단어가 서로를 동시에 둘러보게 한 것이 셀프 어텐션이었어요. 그리고 이 어텐션을 중심으로 부품을 조립한 설계도가 트랜스포머, 2017년에 등장해 모든 걸 바꾼 그 구조였습니다.

이제 컴퓨터는 사람의 말을 토큰으로 자르고(5장), 뜻을 좌표로 옮기고(5장), 어떤 단어가 중요한지 어텐션으로 파악하는(6장) 능력까지 갖췄습니다. 읽고 이해하는 준비가 끝난 거예요.

그런데 마지막 퍼즐 한 조각이 남았습니다. 읽고 이해하는 것과, 한 글자 한 글자 답을 써 내려가는 것은 또 다른 문제거든요. 챗GPT는 대체 어떻게 그 긴 답변을 만들어낼까요? 다음 장, 4부의 문을 열면 — 좀 허무하면서도 놀라운 비밀이 기다리고 있습니다.

📌 이 장의 핵심
  • 어텐션: 지금 단어를 이해할 때 문장 속 어디를 더 중요하게 볼지 계산하는 것
  • 셀프 어텐션: 문장 속 모든 토큰이 서로를 둘러보며 관계를 잡는 방식
  • (이전 방식의 한계): 단어를 하나씩 순서대로 읽어 느리고, 긴 문장을 잘 잊음
  • 트랜스포머: 어텐션을 중심으로 짠 신경망 설계도 (동시 처리 → 빠르고, 키우기 좋음)
  • 2017 「Attention Is All You Need」: 트랜스포머의 탄생, 챗GPT·클로드의 뿌리 (GPT의 T)
4부 — 문장을 짓는 기계
7장

문장을 짓는 기계

— 알고 보면 거대한 '끝말잇기' —

3부의 긴 여정 끝에, 드디어 코리의 AI비서가 완성됐습니다. 컴퓨터가 말을 토큰으로 자르고(5장), 뜻을 좌표로 옮기고(5장), 어떤 단어가 중요한지 어텐션으로 파악하는(6장) — 읽고 이해하는 준비가 모두 끝난 거죠.

코리는 떨리는 손으로 첫 질문을 입력했습니다.

"사과 고르는 법 알려줘"

화면의 커서가 깜빡깜빡하더니 — 글자가 한 글자씩 또르륵 나타나기 시작했어요.

"단 사과를 고르려면, 먼저 색이 진하고 향이 강한 것을…"

코리는 입을 떡 벌렸습니다. "오, 진짜 글을 쓴다!" 그런데 곧 궁금해졌어요. 이 AI비서는 답을 머릿속에 통째로 떠올리고 쓰는 걸까요, 아니면 다른 방식일까요? 이번 장에서 밝혀질 그 비밀은 좀 허무하면서도 놀랍습니다.

충격적인 비밀: 다음 토큰 예측

코리가 알아낸 진실은 의외로 단순했습니다. 이 똑똑해 보이는 AI가 하는 일은, 사실 딱 한 가지였어요.

"다음에 올 토큰(조각)을 맞히는 것." 그게 전부입니다.

예를 들어 이런 문장이 들어왔다고 해볼게요.

"대한민국의 수도는 ___"

모델은 빈칸에 올 다음 토큰의 확률을 계산합니다.

서울: 98%
부산:  1%
도쿄:  0.1%
기타:  0.9%

그리고 가장 그럴듯한 하나를 골라 붙입니다. → "서울". 이제 문장이 이렇게 늘어났죠.

"대한민국의 수도는 서울"

여기서 끝이 아니에요. 모델은 이 늘어난 문장을 다시 입력으로 넣고, 또 그다음 토큰을 예측합니다. 이걸 문장이 끝날 때까지 반복하는 거예요.

지금까지의 글
→ 다음 토큰 확률 계산
→ 하나 선택
→ 글 뒤에 붙이기
→ 다시 다음 토큰 계산… (끝까지 반복!)

코리는 좀 허탈했습니다. "이거… 겨우 끝말잇기잖아요?" 맞아요, 본질만 보면 정교한 끝말잇기가 분명하거든요. 챗GPT가 그 길고 똑똑한 답변을 쓰는 것도, 사실은 이 '다음 한 조각 맞히기'를 수백 번 반복하는 것일 뿐이에요.

그런데 바로 여기에, 인공지능 역사상 가장 놀라운 반전이 숨어 있습니다.

대한민국의수도는 ___모델다음 단어 예측서울예측한 '서울'을 문장에 붙여 다시 입력으로
생성 루프. 모델은 다음 단어 하나(‘서울’)를 예측하고, 그 단어를 문장에 붙인 뒤 전체를 다시 입력으로 넣어요. 이 되먹임을 반복하며 한 단어씩 문장을 써 내려갑니다.
💡 한 줄 정리: 언어 모델은 정교한 '다음 토큰 예측기'예요. 한 조각씩 골라 붙이길 반복해 긴 문장을 지어내죠.

작은 일을 거대하게: GPT의 몸집 불리기

"겨우 끝말잇기"가 어떻게 사람처럼 글을 쓰고, 번역하고, 코딩까지 하게 됐을까요? 답은 한 단어로 요약됩니다. 규모. 이 단순한 일을 상상도 못 할 만큼 거대하게 키웠더니, 놀라운 능력들이 저절로 솟아났거든요.

이 '몸집 불리기'의 역사가 바로 GPT 이야기입니다.

  • GPT-1 (2018년): 매개변수(파라미터) 약 1억 1,700만 개. 가능성을 보여준 첫걸음이었어요.
  • GPT-2 (2019년): 약 15억 개. 한 해 만에 10배 넘게 커졌습니다. 글솜씨가 부쩍 자연스러워졌죠.
  • GPT-3 (2020년): 무려 약 1,750억 개. GPT-2의 100배가 넘는 규모였어요.

여기서 매개변수란, 4장에서 배운 그 '가중치' 숫자들입니다. 사과 모델이 0.4, 0.6 같은 숫자 몇 개였다면, GPT-3는 그런 숫자를 1,750억 개나 품은 셈이죠. 상상이 잘 안 되시죠? 1초에 하나씩 센다고 해도 5천 년이 넘게 걸리는 양입니다.

그런데 놀라운 건 숫자 자체가 아니라, 이렇게 키웠더니 벌어진 일이에요. 누가 따로 가르치지도 않았는데, GPT-3는 갑자기 번역을 하고, 간단한 코딩을 하고, 예시 몇 개만 보여주면 새로운 문제를 척척 풀기 시작했습니다. 작은 모델에는 없던 능력이, 몸집이 어느 선을 넘자 느닷없이 나타난 거죠. 이렇게 규모가 커질 때 예고 없이 튀어나오는 능력을 창발성(Emergence)이라고 부릅니다.

창발성은 사실 우리 주변에도 있어요. 물 분자 하나하나는 젖지도 출렁이지도 않지만, 어마어마하게 모이면 '파도'라는 새로운 성질이 생기잖아요. 개미 한 마리는 단순하지만, 수만 마리가 모이면 정교한 개미굴을 짓고요. '다음 토큰 맞히기'라는 단순한 일도, 거대하게 모이자 '지능'처럼 보이는 능력으로 창발한 겁니다.

그리고 2022년 11월, 오픈AI는 이 거대한 모델을 누구나 대화하듯 쓸 수 있게 다듬어 세상에 내놓습니다. 바로 챗GPT예요. 출시 닷새 만에 사용자 100만 명을 넘기며, 인공지능을 연구실 밖 모든 사람의 일상으로 끌어냈죠. 이듬해 나온 GPT-4는 한층 더 똑똑해져서, 변호사 시험이나 의사 면허 시험 같은 어려운 시험에서도 상위권 성적을 냈습니다.

1억GPT-115억GPT-21,750억GPT-3창발하는 능력모델이 커질수록 새 능력이 갑자기 나타난다
모델의 성장. 매개변수가 1억에서 1,750억으로 커지면서 모델은 점점 거대해졌어요. 어느 크기를 넘자 번역·추론 같은 능력이 갑자기 출현(창발)했습니다.
💡 한 줄 정리: '다음 토큰 맞히기'를 거대한 규모로 키우자, 가르치지 않은 능력이 느닷없이 솟아났어요. 이것이 창발성이고, 그 결정체가 챗GPT입니다.

왜 매번 답이 조금씩 다를까: 확률과 온도

코리는 재미있는 걸 발견했습니다. 똑같은 질문을 두 번 했는데, 답이 살짝 달랐던 거예요. 처음엔 "색이 진한 사과를…", 두 번째는 "향이 강한 사과를…". "어? 같은 질문인데 왜 답이 달라요?"

비밀은 앞에서 본 그 확률에 있습니다. 모델은 다음 토큰을 딱 하나로 정해두지 않아요. 후보마다 확률을 매겨두죠.

"오늘 날씨가 참 ___"
좋다:    40%
맑다:    25%
춥다:    15%
이상하다: 10%
기타:    10%

여기서 매번 1등(좋다)만 고를 수도 있고, 가끔은 2등이나 3등도 골라볼 수 있어요. 이 '얼마나 모험적으로 고를까'를 조절하는 손잡이를 온도(Temperature)라고 합니다.

  • 낮은 온도 🧊 → 확률 높은 후보 위주로 안전하게. 일관되고 정확하지만, 좀 뻔할 수 있어요.
  • 높은 온도 🔥 → 확률 낮은 후보도 과감하게. 다양하고 창의적이지만, 가끔 엉뚱하거나 틀리죠.

그래서 쓰임에 따라 손잡이를 돌립니다. 보고서·요약·번역처럼 정확해야 하는 일에는 낮은 온도를, 시·소설·아이디어 짜내기처럼 창의가 필요한 일에는 좀 더 높은 온도를 쓰는 식이에요. 같은 질문에도 챗GPT의 답이 매번 미묘하게 다른 건, 바로 이 확률과 온도 때문입니다. 사람도 기분과 상황에 따라 같은 질문에 조금씩 다르게 답하잖아요. 어찌 보면 꽤 사람다운 면이죠.

낮은 온도 (0.2)높은 온도 (1.2)한 후보가 압도적 → 또박또박고르게 퍼짐 → 자유분방
온도(temperature). 온도가 낮으면 가장 유력한 후보 하나에 확률이 쏠려 답이 또박또박해져요. 높으면 후보들이 고르게 퍼져 더 다양하고 자유분방한 답이 나옵니다.
💡 한 줄 정리: 모델은 다음 토큰을 확률로 고르고, 온도는 그 선택을 얼마나 안정적으로/모험적으로 할지 정하는 손잡이예요.

7장을 마치며

이번 장에서 우리는 챗GPT가 글을 '쓰는' 비밀을 파헤쳤습니다. 그것은 거창한 창작이 아니라, '다음 한 조각을 확률로 맞혀 붙이는' 끝말잇기의 반복이었어요. 다만 이 단순한 일을 거대한 규모로 키우자, 가르치지 않은 능력이 느닷없이 솟아나는 창발성이 나타났고, 그 결정체가 바로 챗GPT였습니다. 그리고 온도라는 손잡이로 답변의 분위기를 조절할 수 있다는 것도 배웠죠.

이렇게 코리는 말을 알아듣고, 문장을 지어내는 기계의 큰 그림을 거의 다 그렸어요. 그런데 이 똑똑해 보이는 기계에도 빈틈이 있답니다. 가끔은 모르는 걸 아는 척 당당하게 지어내기도 하거든요. 다음 장에서, AI가 왜 그런 실수를 하는지 — 그리고 우리가 어떻게 슬기롭게 함께 살아갈지 — 들여다봅니다.

📌 이 장의 핵심
  • 다음 토큰 예측(생성): 다음 한 조각을 확률로 맞혀 붙이길 반복해 문장을 만듦
  • GPT의 규모: GPT-1(2018, 1억)→GPT-2(2019, 15억)→GPT-3(2020, 1,750억)
  • 창발성: 규모가 커질 때 가르치지 않은 능력이 느닷없이 나타나는 현상
  • 챗GPT: 2022년 11월 공개, AI를 모두의 일상으로 끌어냄
  • 확률 / 온도: 다음 토큰 후보의 가능성 / 선택을 안정적·모험적으로 조절하는 손잡이
5부 — AI와 현명하게 살아가기
8장

똑똑하지만 완벽하진 않아

— AI의 거짓말, 그리고 우리가 알아야 할 것 —

7장 끝에서 작은 사건이 하나 있었습니다. 손님이 "이 사과 품종이 뭐예요?"라고 묻자, 코리의 AI비서가 한 치의 망설임도 없이 이렇게 답했죠.

"네! 이건 '황금꿀사과 3호'라는 희귀 품종입니다!"

코리는 갸웃했습니다. 그런 품종은 들어본 적도 없었거든요. 찾아보니 세상에 없는 품종이었어요. AI비서가 너무도 당당하게 지어낸 겁니다. "아니, 모르면 모른다고 하면 되잖아. 왜 이렇게 자신 있게 거짓말을 하지?"

이 질문이 이번 장의 시작입니다. 우리가 매일 쓰는 똑똑한 AI에게도, 반드시 알고 써야 할 약점이 있거든요.

AI가 당당하게 지어내는 이유: 환각

답은 사실 7장에 이미 있었습니다. 우리가 잠시 잊었을 뿐이죠.

기억하시나요? 언어 모델은 사실을 검색하는 기계가 아닙니다. "문맥상 자연스러운 다음 토큰"을 확률로 만들어내는 기계예요. 그러니 "이 사과 품종은 ___"이라는 문장 뒤에, 언어 모델은 그저 그럴듯해 보이는 단어를 채워 넣은 겁니다. 그게 진짜인지 아닌지는 따지지 않고요. '황금꿀사과 3호'는 진짜 품종 이름처럼 들리니까 골라버린 거죠.

이렇게 AI가 틀린 내용을 그럴듯하게, 그것도 아주 자신 있게 지어내는 현상을 환각(Hallucination)이라고 부릅니다. 사람이 헛것을 보는 것에 빗댄 표현이에요. 환각은 이런 모습으로 나타납니다. 있지도 않은 책이나 논문을 만들어내고, 틀린 날짜를 당당히 말하고, 존재하지 않는 법 조항을 대고, 가짜 출처(링크)를 지어내죠.

가짜 판례를 믿었다가 벌금을 문 변호사

이게 단순한 해프닝이 아니라는 걸 보여준 실제 사건이 있습니다. 2023년, 미국의 한 30년 경력 변호사가 항공사를 상대로 한 소송을 준비하면서 챗GPT에게 비슷한 판례를 찾아달라고 했어요. 챗GPT는 척척 여러 건의 판례를 제시했고, 변호사는 그걸 그대로 법원에 제출했습니다.

그런데 문제가 터졌어요. 그 판례들이 전부 챗GPT가 지어낸 가짜였던 겁니다. 세상에 존재하지 않는 사건들이었죠. 더 놀라운 건, 변호사가 불안한 마음에 챗GPT에게 "이 판례들 진짜 맞아?"라고 거듭 물었는데도 챗GPT가 끝까지 "맞다"고 우겼다는 사실입니다. 결국 이 변호사와 동료는 각각 5천 달러(약 650만 원)의 벌금을 물고 크게 망신을 당했어요.

여기서 우리가 배울 점은 분명합니다. AI의 기본 목표는 "항상 진실만 말하기"가 아니라 "문맥상 그럴듯한 다음 토큰 고르기"예요. 그래서 모르는 것일수록 더 위험합니다. 모른다는 자각 없이, 그냥 그럴듯한 걸 채워버리니까요. 심지어 "맞아?"라고 물으면 또 그럴듯하게 "맞다"고 답하기까지 하죠.

그럼 어떻게 해야 할까요? 코리가 내린 결론은 이겁니다.

중요한 정보는 AI의 말만 믿지 말고, 반드시 따로 확인하기. 원문 찾아보기, 공식 문서 확인하기, 검색해서 출처 비교하기.

그래서 AI에게 답을 맡길 땐, 믿을 만한 자료를 함께 쥐여주고 "여기서 찾아 답해"라고 부탁하면 거짓말이 크게 줄어듭니다. (그 구체적인 방법은 이 시리즈의 다음 권들에서 본격적으로 다뤄요.)

사용자이거 진짜야?AI당연하죠! 2019년대법원 판례입니다(아주 자신만만)✗ 사실은 존재하지 않는 판례
환각(hallucination). AI는 모르는 것도 자신만만하게 지어내 사실처럼 말하기도 해요. ‘진짜냐’고 되물어도 없는 판례를 끝까지 우기니, 중요한 정보는 꼭 확인해야 합니다.
💡 한 줄 정리: 환각은 AI가 틀린 걸 그럴듯하게 지어내는 현상이에요. AI는 진실 기계가 아니라 확률 생성기이니, 중요한 건 꼭 따로 확인해야 합니다.

책상과 일기장은 다릅니다: 컨텍스트와 장기 기억

코리를 헷갈리게 한 게 하나 더 있었습니다. 긴 대화를 나누다 보면, AI비서가 맨 처음 했던 이야기를 까먹곤 했어요. "아까 내가 좋아한다고 한 사과가 뭐였지?" 하고 물으면 가끔 헤맸죠. (5장의 그 '작업 책상', 컨텍스트 윈도우 기억하시죠? 오래된 종이는 책상 밖으로 밀려나니까요.)

그런데 또 어떤 AI는, 며칠 뒤에 다시 와도 코리의 이름과 취향을 기억하더라고요. "어? 얘는 어떻게 기억하지?"

여기서 두 가지를 꼭 구분해야 합니다.

  • 컨텍스트 🪑 = 지금 책상 위에 펼쳐놓은 자료. 일시적이라, 대화가 길어지면 오래된 건 밀려납니다. 지금 이 작업만을 위한 공간이죠.
  • 장기 기억 📓 = 사용자의 이름·취향·중요한 정보를 따로 일기장에 적어뒀다가, 다음에 다시 꺼내 쓰는 기능.

그리고 모든 AI가 장기 기억을 가진 건 아니라는 점도 알아두세요. 기억하는 것처럼 보여도, 사실은 그때그때 책상 위에 관련 자료를 다시 올려주는 것일 수도 있거든요.

컨텍스트는 "지금 책상 위에 펼친 자료", 장기 기억은 "따로 보관해 둔 일기장"입니다.

이 구분이 왜 중요할까요? AI가 무언가를 "기억하는" 듯 보일 때, 그게 진짜 저장된 기억인지 아니면 지금 잠깐 책상에 올라온 임시 정보인지 알아야, 우리가 AI를 제대로 신뢰하고 또 적절히 의심할 수 있기 때문입니다.

💡 한 줄 정리: 컨텍스트는 지금 펼쳐놓은 임시 작업 자료(곧 밀려남), 장기 기억은 따로 저장해 다시 꺼내 쓰는 별도 일기장이에요.

AI는 먹인 데이터를 닮습니다: 한계와 윤리

코리는 문득 무서운 생각이 들었습니다. "내 AI비서는 결국 내가 보여준 데이터로 배운 거잖아. 만약 그 데이터가 나쁜 거였으면…?"

정확한 직관입니다. AI는 자기가 학습한 데이터를 그대로 닮아요. 좋은 데이터를 먹으면 좋은 판단을, 편향된 데이터를 먹으면 편향된 판단을 합니다. 흔히 "쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)"고 표현하죠.

우리나라에도 이 교훈을 뼈아프게 남긴 사건이 있었습니다. 2020년 말에 나온 '이루다'라는 AI 챗봇 이야기예요. 20대 여대생 콘셉트의 이 챗봇은 자연스러운 대화로 큰 인기를 끌어, 2주 만에 사용자가 75만 명에 이르렀습니다. 그런데 곧 심각한 문제들이 드러났어요.

첫째, 차별과 혐오 발언이었습니다. 이루다는 특정 소수자 집단을 향해 차별적인 말을 내뱉었어요. 누가 그렇게 가르친 걸까요? 아무도 일부러 가르치지 않았습니다. 다만 이루다가 학습한 방대한 대화 데이터 속에 그런 편견이 섞여 있었고, AI는 그걸 고스란히 따라 한 거예요. AI는 데이터에 담긴 우리 사회의 그림자까지 닮는다는 걸 보여준 사건이었죠.

둘째, 개인정보 문제였습니다. 이루다를 만든 회사는 자신들의 다른 앱에서 모은 실제 연인들의 카카오톡 대화를 충분한 동의 절차 없이 학습 데이터로 가져다 썼어요. 게다가 그 안에 든 이름이나 전화번호 같은 민감한 정보를 제대로 지우지도 않았고요. 결국 정부 기관의 조사가 시작됐고, 이루다는 출시 3주 만에 서비스를 멈춰야 했습니다.

이 사건은 우리에게 세 가지를 가르쳐 줍니다. 하나, AI는 먹인 데이터를 닮으므로, 어떤 데이터로 가르치느냐가 정말 중요하다. 둘, 그 데이터에 담긴 사람들의 권리(개인정보)를 존중해야 한다. 셋, 그리고 가장 중요한 것 — 무엇이 잘못되든 최종 책임은 AI가 아니라 그것을 만들고 쓰는 사람에게 있다. 가짜 판례를 낸 변호사가 "챗GPT가 그랬어요"라고 변명할 수 없었던 것처럼요.

AI는 점점 더 똑똑해지고 있습니다. 하지만 똑똑한 것과 옳은 것은 다릅니다. 그 사이의 간격을 메우는 일은, 결국 우리 사람의 몫이에요.

좋은 데이터나쁜 데이터편향 데이터거울(AI)좋은 결과나쁜 결과편향 결과AI는 배운 데이터를 그대로 비춘다
데이터라는 거울. AI는 학습한 데이터를 거울처럼 그대로 비춰요. 좋은 데이터는 좋은 결과로, 편향된 데이터는 편향된 결과로 이어지니 무엇을 먹이느냐가 중요합니다.
💡 한 줄 정리: AI는 학습한 데이터를 그대로 닮아요. 그래서 좋은 데이터와 사람들의 권리 존중이 중요하고, 최종 책임은 언제나 사람에게 있습니다.

8장을 마치며

이번 장에서 우리는 똑똑한 AI의 그림자를 정면으로 마주했습니다. AI는 모르는 것도 그럴듯하게 지어내고(환각), 그래서 중요한 건 사람이 꼭 확인해야 했죠. 또 AI가 "기억하는" 듯 보여도 그게 임시 책상(컨텍스트)인지 진짜 일기장(장기 기억)인지 구분할 줄 알아야 했고요. 무엇보다, AI는 먹인 데이터를 닮기에 — 좋은 데이터와 사람의 권리, 그리고 사람의 책임이 그 어느 때보다 중요하다는 것을 배웠습니다.

📌 이 장의 핵심
  • 환각: AI가 틀린 내용을 그럴듯하게, 당당하게 지어내는 현상 (꼭 따로 확인!)
  • 자료 기반 응답: 믿을 만한 자료를 보여주고 답하게 하면 환각이 줄어들지만, 마지막 확인은 언제나 사람의 몫
  • 컨텍스트 vs 장기 기억: 임시 작업 책상 vs 따로 저장한 일기장
  • AI는 데이터를 닮는다: 편향된 데이터 → 편향된 AI ('이루다' 사건의 교훈)
  • 책임은 사람에게: 좋은 데이터, 개인정보 존중, 그리고 최종 책임은 늘 사람의 몫
🗺️ 1권을 마치며 — 큰 그림이 완성됐어요
  • 데이터로 배우는 기계(머신러닝)부터, 스스로 특징을 찾는 신경망까지 따라왔어요.
  • 컴퓨터가 말을 조각내고(토큰), 뜻을 위치로 바꾸고(임베딩), 서로 주목하며(어텐션) 문장을 짓는 큰 그림을 그렸죠.
  • 그리고 그 똑똑한 기계도 완벽하진 않다는 것까지 — 지도를 손에 넣었습니다.
여기까지가 AI의 지도예요.
그런데 코리는 문득 궁금해졌습니다. "어텐션이 단어끼리 '주목한다'는 게,
도대체 기계 안에서 정확히 어떻게 일어나는 걸까?"

지도를 다 그렸으니, 이제 엔진의 뚜껑을 열어볼 차례예요.
2권 〈LLM 엔진 해부〉에서, 우리가 맛본 토큰·임베딩·어텐션이
숫자 속에서 어떻게 살아 움직이는지 한 단계씩 분해합니다. 🍎 → ⚙️