편견은 싸고, 통찰력과 창의력은 비싸다!

 최근 GAI가 엄청난 화두가 되고 그야말로 인공지능의 시대이죠? 약물부터 시작해서 분자생물학, 계산화학, 동물 연구, 역학 조사, 법학, 언어 심리학 등등 우리가 상상할 수 있는 거의 모든 분야에서 인공지능을 활용하는 붐이 일어나고 있습니다.

 이번 학기에는 '인공지능 윤리'라는 꽤 독특하고 흥미로워 보이는 교양 과목(사실 AI 소프트웨어학과 전공인줄 알고 신청했는데 제가 과거 커리큘럼을 본 것이었습니다 교양으로 바뀌었더군요 ㅋㅋㅋ)을 듣는데, 역시 느끼는 것이 항상 교양 과목이 저의 창의성과 지적 욕구, 글감을 풍부하게 해주고 아이디어를 많이 촉발시키는 듯 합니다.

 인공지능에도 윤리가 필요해? 라고 하실 수도 있는데, 저도 윤리학이나 도덕 등에 대해서 깊이 공부한 적이 없었지만 당연하게도 인공지능은 새로운 기술이면서 동시에 인간이 불가능하게 여겼던 여러 분야를 돌파하는 강력한 기술이기에 이전에 상상하지 못한 새로운 문제를 촉발하기도 합니다.

 얼마전 전국을 뒤흔든 딥페이크 사건이라던지, 자율주행차에게 만약 사고가 발생할 경우, 그 위험과 책임을 운전자에게 전가를 하는 경향으로 설정할 지, 혹은 보행자나 다른 운전자에게 전가를 하는 방향으로 설정할 지의 문제(모든 자율주행차 회사들은 당연히 자기네 제품을 팔아먹으려고 운전자가 아닌 보행자나 상대방 운전자를 더 위험하게 하는 쪽으로 설정하겠죠?), 인공지능이 고급 프로그래머 같은 고소득 직종을 빠르게 대체하면서 발생하는, 이전과 격이 다른 수준의 극심한 빈부격차 등등.

 게다가 당장 GAI들이 전력과 자원, 냉각수 등을 지나치게 많이 소모하면서 탄소 배출량이 심각하게 많이 증가하니까, 저전력 반도체라던지 뉴로모픽 등의 생체 모사 반도체 기술이나, 양자컴퓨팅, 액체 질소 등을 활용한 냉각 시스템 등등 다양한 기술들이 동시에 더 요구되는 상황이기도 합니다.

이후에 좀 설명하겠지만, 인공지능의 '최고' 성능을 내는 데에 포커스를 두기에 발열과 전력 소모가 장난 아닙니다. 저탄소 녹색 발전을 위해서 반드시 극복해야 하는 부분이죠

https://www.newsis.com/view/NISX20240830_0002869002

 인공지능 자체가 데이터를 학습하는데, 문제는 그 데이터들조차 사회적으로 주목을 받는 사람들, 그러니까 높은 확률로 '강자'나 '기득권'을 위주로 학습하는 경향도 뚜렷합니다. 스테레오 타입이 강하게 작용한다는 것인데, 예컨데 비서를 생성하면 목소리나 이미지를 주로 여성으로, CEO 이미지를 생성하면 남자를 주로 연상시키는 것, 심지어 흑인을 무조건 더 위험하고 재범 확률이 높은 식으로 판단하는 등 ㅋㅋㅋ 공명정대한 절대신이라고 믿었었는데 인공지능조차 인간의 편견과 혐오를 닮아간다는 것이 굉장히 무섭더군요.

 특히 오늘은 편견과 사고력에 대해서, 인간의 뇌와 인공지능에 소모되는 에너지를 통해서 여러 지능에 대한 고찰을 해보겠습니다.

 한번 질문을 해보겠습니다. 여러분 주변 중에서, 정치적으로 한 극단으로 편향이 되어 있으며 반박을 받으면 부정하고, 세상을 무조건 선과 악의 이분법으로 생각하며, 굉장히 미숙한 정신력과 태도를 보여주는 사람이 많나요, 아니면 고도의 창의성과 통찰력, 고등 사고력을 동원하며 뛰어난 선견지명과 공정하고 평등한 인식과 시야를 보여주는 사람이 많나요? 이것만 보아도, 편견에 빠지는 것이 얼마나 본인 개인한테는 편한 것인지 알 수 있습니다.

 인간의 뇌는 인공지능처럼 최고의 성능을 내기 보다는, 딱 생존에 적합한 만큼 효율적으로 학습하고 정보를 관리하는 식으로 최적의 성능을 지향하며 진화해왔기 때문에, 생각보다 그렇게 뇌는 이상적이고 정말 혁명적인 시스템은 아닙니다. 만약에 뇌가 최고의 성능을 내도록 진화해왔다? 그럼 우리가 하루에 3끼가 아니라 한 6끼씩 먹었어야 할 것입니다. 그만큼 뇌는 이미 많은 에너지를 소모합니다.

 뇌는 그 작은 부피에도 불구하고, 무려 전체 에너지 섭취량의 25~30%를 소모한다고 널리 알려져 있습니다. 이런 뇌가 생물에게 얼마나 큰 부담이 되는지 매우 잘 알려주는 흥미로운 생물이 바로 '멍게'입니다.

 뇌가 왜 필요한지도 동시에 보여주는 흥미로운 생물인데, 우리가 평소 해산물로 먹는 멍게를 보면 마치 굴처럼, 어딘가 딱 달라붙어서 고정된 생활을 하다가 우리에게 잡혀서 잡아먹히죠. 멍게를 먹으면서 한 번도 멍게에 뇌가 있거나, 멍게의 뇌를 따로 먹어본 기억은 없을 것입니다.

 재미있는 점은 바로 멍게가 유충 시절, 그러니까 움직임이 필요한 시절에는 뇌가 존재한다는 것입니다. 그런데 멍게 유충이 적절한 장소를 찾아서 시즈모드를 박는 순간, 멍게는 우선 엄청난 에너지를 소모하는, 불필요해진 기관인 뇌를 분해해서 알뜰하게 에너지원으로 씁니다. 이는 뇌가 생각 같은 고등한 사고력을 위해 탄생한 것이라기보다는, 동물들의 복잡하고 위험한 행동과 운동을 위해 탄생한 것임을 시사합니다.

여러분에게 어떤 비싼 물건이 있는데 그게 필요가 없어졌다? 바로 중고로 좀 값을 쳐서 비싸게 팔아먹어다가 그걸로 소고기 먹거나 하겠죠? 마찬가지입니다

https://m.blog.naver.com/dsbae21c/221402723925

 뇌는 물론 근육도 이런 특화, 발달과 퇴화 과정이 빈번히 일어납니다. 만약 근육 부위 중에서 우리가 평소에 안 쓰는 근육이 있다, 생물은 바로 이를 단백질로 분해해서 에너지원으로 써버립니다. 뇌 또한 마찬가지로, 우리가 평소 쓰지 않는 능력은 계속 퇴화를 시키고, 주로 자주 사용하는 부분에 집중적인 투자를 합니다.

 제가 고등학교 입학 직전에 차에 치여서 오른팔이 똑 하고 부러진 적이 있었습니다. 전치 8주로 좀 심한 부상을 입었는데, 한 달은 입원을 하면서 오른팔을 고정을 시켜두었습니다. 그런데 붕대와 깁스를 풀고 팔을 움직여보았거든요? 움직이는 것은 가능했지만, 머리 위로 오른팔을 올릴 수가 없었습니다! 맙소사 겨우 한 달 가만히 있었다고, 근육이 퇴화하고 에너지원으로 분해가 되어버린 것입니다! 다행히 얼마 지나지 않아서 다시 근육이 발달하고 정상적인 운동이 가능했는데, 우리 신체가 불필요한 기관에 얼마나 냉정한지를 체감하는 일이었습니다.

 이것은 현대에 와서 성인병과도 맞물리게 되는데, 우리가 단 것, 시원한 것, 맛있는 것, 달콤한 꿀이나 설탕, 과당, 포도당 등에 환장을 하게 된 근본 이유가 바로 생존과 연결되어 있습니다. 이전 전쟁사 시리즈에서 말했죠 인간이 기아를 거의 완전히 극복한 것은 전체 인류사에서 얼마 되질 않았다고. 우리 몸은 여전히 항상 먹이가 부족하고 배고팠던 시대에 맞추어져서 설정되어 있기에, 단 것에 대한 지나친 집착이 음식이 풍부해진 현대에서는 성인병과 비만으로 이어지는 것입니다.

 인간은 왜 불완전한 존재이고, 편견과 편향 등의 오류를 자주 겪을까요? 제가 나름 내린 결론은, 딱 그 수준이 생존에 최적화되어서 입니다.

 컴퓨터공학이 뇌과학, 신경과학에 큰 관심을 보이는 주요한 화두 중 하나가 바로 '효율성'입니다. 예컨데 이세돌 9단을 이긴 알파고는 인간 기준으로 수 천년은 족히 소요되는, 무수히 많은 연습을 통해 비로소 인류 최강을 넘볼 수 있었습니다. 그러나 인간은 고작 8~9살짜리가 바둑이나 피아노 등에 재능을 보이고, 20대에 가장 신진대사가 활발하고 육체적으로 최전성기에 있을 때 가장 뛰어난 업적을 이룩하는 경우가 많이 있습니다.

 인공지능이 인간 기준으로 20년치 데이터를 학습하면? 그건 그냥 멍청하고 아무것도 못하는 무능한 인공지능일 뿐입니다. 반면 인간은, 현대 인공지능의 학습에 소요되는 데이터와 자원 양보다 훨씬 더 적은 정보와 시간 속에서도 매우 효율적으로 판단하고, 환경에 적응하여 성공적으로 적응해왔기에 지금 제가 이 자리에서 글을 쓸 수 있는 것입니다.

 상대적으로 훨씬 적은 데이터를 통해서 일반화를 효과적으로 하는 것을 바로 inductive bias라고 하며 제가 가고자 하는 이대열 존스홉킨스 신경경제학 교수님의 연구실에서도 핵심 주제로 연구 중에 있습니다.

 지난 문화와 관련된 칼럼에서 중국인을 언급하였으니, 한번 좀 극단적인 가정을 해보겠습니다.

 여러분이 우연히 한국에서 살다가 중국인을 한 10명 정도 만나보았는데, 하나같이 인성이 쓰레기였고 여러분에게 해코지를 해보았다고 상상해봅시다(사실 현실에서는 10명까지 갈 필요도 없습니다 ^^ 그만큼 일반화를 우리가 쉽게 한다는 것이죠), 자 이때 11번째 중국인을 여러분이 마주하게 됩니다. 무슨 생각과 가정을 깔고 들어갈까요?

 여태 만나본 10명의 중국인이 나에게 위협이 되었으니, 매우 높은 확률로 11번째 중국인 또한 나에게 이상한 짓을 하는 나쁜 녀석일 것이라고 생각할 확률이 엄청나게 높아집니다. 그래서 이 11번째 중국인에게는 결코 친절하게 대하거나 개방적으로 대하지 않고, 배타적이고 보수적으로 대응하여 혹시라도 이 중국인이 당신의 뒤통수를 치지 않을까 대비하게 됩니다.

 그런데 중국인 전체 인구수에 대해서, 혹은 인류 전체 인구에 대비해서 고작 10명을 만나서 표본으로 삼고 그걸 통해서 일반화를 한다는 것은 지나치게 섣부른 판단입니다. 딱 10명까지의 중국인만 정말 나쁜 놈이었고, 운이 좋아서 11번째 이후의 중국인은 항상 여러분에게 친절하고 좋은 사람일 수도 있습니다. 부처님이나 예수님이 끼어있을 수도 있습니다.

 제가 생각하기에 인간이 이 세상을 온전히, 완전하게 보지 못하고 각자의 색안경과 편견을 가지고서 부분적으로, 파편적으로 보는 오류가 바로 여기에서 기인한다고 생각합니다. 여태 만난 (15억의 인구 중에 불과) 10명이나 만나보았는데, 모두 하나같이 쓰레기였으면 다음에 만나는 중국인도 쓰레기일 것이라고 생각하는 것이 좀 더 편리하고 나름 타당하긴 하다는 것이죠.

 재미있는 제 개인 사례를 들어보겠습니다. 전 월드오브워쉽 이라는 해상 대전 게임을 한국과 세계 탑 수준으로 찍어보았는데, 그 과정에서 우연히 만난 yamato_sakuras 라는 친구가 있었습니다. 이 친구가 엄청나게 잘했는데, 알고보니까 중국인인 거에요. 보통 중국인이 잘하면 뭐다? 핵을 쓴다는 의혹을 쉽게 받습니다. 그런데 이 친구를 제가 여태 한 5년 간 알고 지냈는데, 이 친구가 직접 녹화한 자기 모니터 화면도 보니까 정말 마술사처럼 순수 실력이 뛰어난 친구이더군요.

 상해에 산다고 하던데, 특히 꽤나 흥미로웠던 점은 "이 게임의 대부분의 봇, 아마 90%의 봇과 핵은 중국산일 것이다 ㅡㅡ" 라고 하더군요 ㅋㅋㅋ 이 친구가 평소 일본어 번역 일로 돈을 번다고 하던데, 영어도 꽤 괜찮게 해서 저랑 영어로 항상 소통했습니다. 인내심도 무지하게 강하고 인성도 너무 좋아서 아주 친하게 여태 지내고 있는데, 이 친구 제가 여태 만나본 외국인 중에서 가장 똑똑합니다. 예전부터 말했듯이 15억명인데 인구가, 거기 중에서 아인슈타인 뉴턴이 없겠습니까??

우리는 개인적으로 경험한, 이 세상 전부에 비해서 굉장히 파편화되고 적은 데이터를 학습하고서는, 그걸 토대로 이 세상 모든 일을 판단하는 심각한 실수를 자주 한다는 것입니다

https://www.yna.co.kr/view/AKR20170329166200004

 때문에 편견은 사실 매우 효율적이면서도, 동시에 위험한 판단이기도 합니다. 그런데 인류는 여태 수 억년 동안 진화를 하면서, 이런 방식으로 불확실성에 배팅을 해가면서, 저 동물이 식인 동물인지 아닌지, 저 부족이 나의 부족에 대해 호전적인지 아닌지를 가늠하며 위험을 회피해왔기에 여태 우리가 존재하는 것입니다.

 흥미로운 점은 이런 호전적이고 배타적인 편견을 극복하는 강력한 도구가 바로 '종교'라고 유발 하라리가 <사피엔스>에서 설명한 바 있습니다. 같은 종교를 믿는다? 그럼 아무리 낯선 나라에서 온 사람이라 하더라도 좀 더 신뢰가 가고, 자기 공동체에 더 유연하게 편입시켜 줄 수 있습니다. 종교를 통해 인간은 생물학적 한계(인간은 친구가 150명이 넘어가는 순간 이름을 제대로 외우지 못하기 시작합니다)를 극복하고, 더더욱 거대한 공동체와 효율적인 사회 구조를 이루어서 각자의 역할을 통해서 공동의 부를 극대화하는 동력으로 활용했다는 설명입니다.

 인지부조화 라는 유명한 용어가 있죠. 과거 탄핵 당하신 여자 박 모 씨는 유체이탈 화법으로도 유명했는데, 자신의 생각과 신념이 행동과 불일치 할 때 불쾌함을 느낀다는 이론입니다. 그래서 사람들은 편해지도록 자신의 잘못된 신념이나 생각을 수정하거나, 아니면 거꾸로 이 세계에서 들어오는 정보를 아예 왜곡하거나 거부하는 등, 그러니까 눈 코 귀 닫아버리고 독불 장군처럼 자기 말이 무조건 맞다고 우기기도 합니다.

 흥미롭게도 전 어릴 때부터 이런 인지부조화를 극복하는 훈련을 알게 모르게 많이 하게 된 것 같습니다. 특히 제 아버지와 저를 오랫동안 가르치신 수학 과외 선생님은, 항상 제가 무언가 이야기를 하면 거기에 쉽게 동조하기 보다는 항상 제 주장에 약점이나 반론을 제기하셨고, 그 덕분에 전 좀 더 풍부하고 다양한 관점에서 사고하는 방법을 오랫동안 훈련한 것 같습니다.

 이 덕분에 전 매우 감정적인 사람이라서, 불쾌함이나 쾌락을 매우 예민하게 느낌에도 불구하고, 그런 불편함을 극복하는 데에 매우 익숙해져 있습니다. 일단 뭔가 들으면, 한번 생각을 해보고 나서 정말 그 상대방의 논리가 맞다고 생각하면 전 손쉽게 그 주장으로 갈아타버립니다.

제가 정치인이나 고위 공직자 관료들을 혐오한다고 했쥬? 증거를 눈 앞에 보여줘도 끝까지 부정하는 멍청한 쓰레기, 편견에 빠진 편향된 시각을 가진 놈들이 지휘봉을 잡으니까 일반인이 그 피해를 고스란히 받게 되는 것입니다

https://www.youtube.com/watch?v=80Oy1B1AhVY

https://m.medigatenews.com/news/1524558432

 아까 제가 성인병 이야기를 했습니다. 현대에 와서는 음식과 식량이 매우 풍부해졌기에, 단 것에 지나친 집착을 내재한 행동 양식이 오히려 부정적으로 성인병으로 이어질 확률을 높이기에 문제가 발생한다고 설명드렸습니다. 마찬가지로 우리의 사고력과 통찰력, 시야 또한 혁명이 필요하다고 생각합니다.

 지금 우리 뇌가 편향적으로 정보를 습득하고, 잘못된 주장이나 신념이라 할 지라도 스스로 오류를 잘 판단하지 못하며, 부분만 보고 전체를 쉽게 일반화해버리는 다양한 오류를 저지르는 것은 과거 에너지가 부족하고 정보가 극히 적을 때에 적응한 결과물입니다. 세상을 온전히 보는 사람보다는, 왜곡해서 보는 사람이 더 많다는 것입니다. 왜? 그게 더 편하고 자연스러운 뇌의 기제니까!

 하지만 시대가 변했고, 식량과 에너지원을 매우 풍부해졌고, 데이터 또한 무수히 많아졌으며 이제는 다양한 문화권이나 국가 출신의 사람들이 섞이는 시대가 되어버렸습니다. 우리는 현재 상태에 적합한 새로운 사고방식과 통찰력, 지능의 발달과 훈련에 집중을 해야 합니다.

 제가 평소에 극우 일뽕을 극혐한다고 했었죠? 얼핏 그 사람들의 주장이나 근거를 들어보면 그럴 듯 해보이는 것들이 꽤나 많이 있는데, 정작 제대로 역사를 배웠거나 해당 분야를 전공한 사람, 아니 그 이전에 공부를 많이 해본 기자조차한테도 날카로운 질문을 받거나 토론을 주고받으면 얼마나 공부를 안했고, 얼마나 심각하게 왜곡된 시야로 세상을 바라보는지 단숨에 드러납니다.

 일뽕들이 자주 이런 말을 합니다. "국뽕(한국)은 정신병이다" 라고요. 진짜 고장난 시계도 하루에 두 번은 맞는다는 말이 떠오릅니다. 맞습니다 일단 뽕은(히로뽕) 정신병이고 질병입니다. 그런데 국뽕이 정신병인데 그 와중에 일뽕은 정상이라고 볼 수 있을까요? 스스로 자신이 무슨 말을 하고 있는지조차 이해를 못하고 아무거나 내뱉는 것입니다.

 예컨데 전쟁이 터졌는데, A라는 지휘관은 진짜 딱 한 수 앞밖에 보질 못하고, 단순무식한 전략 전술만 고집하고, 반면 상대 B는 그런 A의 태도를 이미 알고 꿰뚫어보고 있으며 온갖 창의적인, 기발한 전략으로 상대를 박살낼 준비를 하고 있다고 상상해봅시다. 누가 이길까요? 

 마찬가지로, 내가 생각하는 것이 절대적인 진리요, 남의 충언이나 조언은 깡그리 무시하고 단순한 논리로만 이 세상을 편협하게 해석하는 사람과, 다양한 사람들과 이야기를 해보았으며 여러 분야에 대한 경험을 통해서 개방적이고 유연한 사고를 지녔고, 뛰어난 통찰력으로 다양한 시나리오를 미리 준비하는 사람이 서로 토론을 맞붙으면 승부가 어떻게 날까요?

 그리고 여러분이 회사의 주인인데, 발전을 하지 않고 자신의 고집만 부리고 양보나 타협을 모르는 무식한 동료가 있고, 항상 열린 태도로 권위나 계급, 계층을 극복하고 넓은 세상을 알고 있으며 배우려는 자세가 충분한 유연한 사고력과 깊은 통찰력을 가진 동료 둘 중에서 누굴 쫓아내고 누굴 채용해야 회사가 발전할까요?

 앞으로 지식의 양이나 유무는 점점 더 그 의미가 희미해지고 약해질 것입니다. 왜? 챗GPT 같은 GAI들이 이미 기본적인 상식과 지식은 언제든지 새벽 4시에도 매우 빠른 속도로 설명하고 전달을 해주기 때문이죠. 그런 의미에서 현 시대에서는 점점 더 근본적인 사고력과 통찰력, 유연한 사고와 태도가 요구되는 것 같습니다. 신기술에 민감하게 반응하고, 다른 사람이 보지 못한 이면을 파악하고 이를 충분히 소화하여 남들에게도 전달할 수 있는 뛰어난 표현력이나 경험이 더더욱 빛을 볼 것입니다.

 현대 한국에서 조선 후기 유교(탈레반?) 사대부처럼 생각하고 생활하면 행복하고 좋은 커뮤니티에 끼어들 수 있을까요? 마찬가지로, 과거 인간이 에너지와 자원이 부족하고 데이터가 적어서 불완전하게 이 세상을 바라보던 방식을 그대로 답습하여 살아간다면, 제대로 자신 앞가림이라도 제대로 할 수 있을까요?

짜고 달고 자극적인 음식과, 고열량의 음식에 강한 선호를 가지게 된 것은 오랫동안 진화해온 인류의 역사입니다. 그런데 시대가 바뀌었습니다. 음식과 식량이 충분한 시대에서 자신의 지방으로 에너지원을 저장해야 한다는 강박증을 가지고 폭식을 하면 각종 성인병, 당뇨병, 고지혈증, 고혈압 등에 시달릴 것입니다

https://www.waterjournal.co.kr/news/articleView.html?idxno=71584

 마찬가지로 현대에 와서 세계는 연결되었으며 전혀 다른 문화에서 온, 이해하기 힘든 사람들과 같이 일을 하거나 심지어 경쟁 해야하는 시대입니다. 적을 알고 나를 알면 백전불패라고 했는데, 단지 다른 문화에서 온 사람이라고 무시하고 깔보면 어떻게 될까요? 당장 경쟁에서 도태될 것입니다.

 점점 더 다양한 문제는 독창적이고 신선한 아이디어와 접근 방법이 필요할 것입니다. 전통적으로 무조건 학교에서 배운 것, 교수님이 가르쳐주신 것에만 몰두한다면 발전을 할 수가 없을 것입니다. 인간이라는 존재가 환경에 적응하고 생존하기 위해서 발전해온 진화의 역사와 한계를 정확히 이해하면서, 이를 보완할 수 있는 방법을 찾아서 꾸준히 발전하는 것이 인공지능 홍수가 난 시대에 적합한 생존 방식일 것입니다.

<수국비 상>

https://docs.orbi.kr/docs/7325/

 <수국비 하>

https://docs.orbi.kr/docs/7327/

알고리즘 학습법 

https://orbi.kr/00019632421 - 1편 점검하기

https://orbi.kr/00054952399 - 2편 유형별 학습

https://orbi.kr/00055044113 - 3편 시간차 훈련

https://orbi.kr/00055113906 - 4편 요약과 마무리

사고력이란 무엇인가

https://orbi.kr/00056551816 - 1편 바둑과 수싸움

https://orbi.kr/00056735841 - 2편 예절

https://orbi.kr/00056781109 - 3편 자유로운 직업세계

https://orbi.kr/00056882015 - 4편 따라하기

https://orbi.kr/00057164650 - 5편 어린 놈들이 약아서

https://orbi.kr/00057384472 - 6편 자기 스스로를 알아차리기

https://orbi.kr/00057614203 - 7편 체력분배

https://orbi.kr/00057650663 - 8편 수학적 상상력

https://orbi.kr/00057786940 - 9편 편견깨기

https://orbi.kr/00058147642 - 10편 시냅스, 알고리즘의 강화

https://orbi.kr/00060975821 - 11편 자문자답

https://orbi.kr/00061702648 - 12편 '박영진 이혼전문변호사'를 통해 재밌게 알아보는 법률 이야기

https://orbi.kr/00062050418 - 13편 수능 국어 공부

https://orbi.kr/00062206444 - 14편 현우진이 말하는 독해력과 사고력

https://orbi.kr/00062298282 - 15편 교수 면담

https://orbi.kr/00062328444 - 16편 관세법과 일관성

https://orbi.kr/00062406700 - 17편 말하기 공부법

https://orbi.kr/00062419084 - 18편 공부 못하면서 허세 좀 부리지 마십시오

https://orbi.kr/00062495541 - 19편 법조인에게도 필요한 수능 국어 비문학 독해력!

https://orbi.kr/00062583015 - 20편 - 전쟁에도 유형이 있다

https://orbi.kr/00062643940 - 21편 국어, 수학, 과탐 공부 이렇게 해보십시오

https://orbi.kr/00062818762 - 22편 똑똑하고 재능이 있다는 것은 노력할 수 있다는 것일까요?

https://orbi.kr/00063239512 - 23편 어려운 문제도 잘게 쪼개면 풀 수 있다!

https://orbi.kr/00064157242 - 24편 리터러시(문해력, 독해력)이란 무엇인가

https://orbi.kr/00064692514 - 25편 단순히 많은 학습 시간은 배신을 할 수 있다!

https://orbi.kr/00064934387 - 26편 대한민국은 강대국이 될 자격이 없다

https://orbi.kr/00065089413 - 27편 본질 feat. 반추 동물의 생존

https://orbi.kr/00067574982 - 28편 추론이란 무엇인가

https://orbi.kr/00067699093 - 29편 천재에게 과외 받지 마십시오

https://orbi.kr/00067722206 - 30편 중요한 것으로 마음을 가득 채우세요

https://orbi.kr/00067987848 - 31편 국어와 영어를 잘하는 법 - 중요한 것에 밑줄치고 집중하라!

https://orbi.kr/00068049459 - 32편 수동적으로 넣기만 하지 말고, 능동적으로 꺼내는 연습도 해야합니다

https://orbi.kr/00068083401 - 33편 이 세상은 '언어'로 이루어져 있지 않을까?

https://orbi.kr/00068269691 - 34편 최고를 경험하라!

https://orbi.kr/00068742477 - 35편 컴퓨팅 사고력(computational thinking)!

https://orbi.kr/00068829690 - 36편 컴퓨팅 사고력2 (computational thinking)!

https://orbi.kr/00068855045 - 37편 잘 하는 것과 잘 가르치는 것

https://orbi.kr/00068881736 - 38편 사고의 틀과 각인하기

https://orbi.kr/00068895360 - 39편 장난감 총으로 훈련을 하면 실총 사격에 도움이 될까?

https://orbi.kr/00068983469 - 40편 인성도 능력이다!

https://orbi.kr/00069006817 - 41편 우리는 왜 글을 읽고 작문을 해야하는가

https://orbi.kr/00069112212 - 42편 저는 사실 여러분을 상대로 설명하는 것이 아니라 복습하는 것입니다

 -43편 편견은 싸고, 통찰력과 창의력은 비싸다!