28번째 이야기 - 비선형 데이터, 신경망의 구조, 마스터 알고리즘,

 

비선형 데이터

 

● 기존의 머신러닝 기법이 이미 발달했음에도 딥러닝이 각광받는 이유는 뭘까요?

● 그건 기존의 머신러닝보다 뛰어난 점이 있기 때문일 겁니다.

● 지난번 말씀드렸듯이 특징을 추출하는 단계를 사람이 하지 않아도 된다는 점, 그리고 데이터 전처리 시간 대비 비용과 성능도 괜찮은 점을 꼽을 수가 있겠습니다.(물론 일반론적으로 그렇단 얘기입니다)

● 뭐니뭐니해도 딥러닝의 진가는 활성화 함수와 깊은 층의 여러 개의 노드(퍼셉트론)들의 연결이 만들어내는 비선형 데이터의 분리에 있습니다.

 

● 감히 말하건대 딥러닝의 진가는 비선형 데이터를 분리하는 데 있습니다.

● 현실 세계의 문제 상황은 뭐하나 무 자르듯이 직선 하나로 해결되는 경우는 흔치 않기 때문입니다.

 

신경망의 구조

 

● 신경망은 구조가 중요합니다.

● 성능이 너무 낮다면 데이터에 부합되지 않다는 것이므로 층수와 뉴런의 수를 늘릴 필요가 있습니다.

● 학습 데이터에만 꼭 들어맞고 테스트 데이터에는 많은 오차를 범하는 과적 합의 상태라면 되려 층수와 뉴런의 수를 줄여야 합니다.

 

● 연결주의자들의 마스터 알고리즘인 신경망의 핵심은 예측값과 결괏값의 오차를 최소화하는 변수의 적절한 값을 기계가 스스로 찾아 헤매는 여정이라 할 수 있습니다. 이걸 우리는 학습이라고 합니다.

● 신경망은 구조가 중요하다고 했는데 이것도 기계가 스스로 학습하는건가요?

● 아닙니다. 이는 사람이 직접 초기값을 설정해주어야 하고,, 계속해서 수정하여 세팅해줘야 합니다..

● 신경망의 구조와 같이 사람이 지정해줘야 하는 변수는 하이퍼 파라미터라 합니다.. 기계가 학습해서 최적의 값을 알아내야 하는 변수는 파라미터라 합니다.

 

● 사실 세상을 정복한 마스터 알고리즘은 아직 없습니다.. 연결 주의자들의 신경망은 후천적 학습에 강점이 있고, 진화 주의자들의 유전알고리즘은 선척적 구조에 강점이 있습니다.

 

● 그래서 신경망의 구조는 진화주의자들의 유전 알고리즘을 적용하고, 그 후의 학습은 연결 주의자들의 신경망을 적용하는 결합의 아이디어를 모색하고 있습니다.

● 꼭 사람이 하는 방식대로 사고하고 행동해야 한다는 고정관념을 버리고, 기계와 사람은 근본적으로 다르며 합리적으로 사고하고 행동하는 기계여도 된다는 허용적 생각이 다른 유추 주의자, 기호주의자, 베이즈 주의자들의 마스터 알고리즘들을 결합하여 범용적인 최종 마스터 알고리즘에 다다르게 하지 않을까 합니다.

 

 

● 원데이 클래스에도 모신적 있는 한국 천문연구원 홍성욱 박사님의 브이로그입니다. 카이스트에 물리 전공하시고,, 박사 후 연구원을 10년이나 하시고, 천문연구원 선임으로 오셨습니다. 우주론 연구하시는 분인데 AIAI 활용하고 계세요. 진로지도에 활용하셔도 좋을 것 같습니다..

https://youtu.be/kXt1 Zpc40 Qg

 

 

[추구하는 가치와 목적에 따라 결이 결정됩니다.]

● 어제 사과를 깎다가 손을 베었습니다. 제가 과일을 깎을 때 쓰던 과도가 제 왼손 검지를 사과인 줄 알았던 것이죠(사실 제 오른손이 그랬던 것이지만요).

● 피가 나서 일단 지혈을 하고, 소독을 한 후에 대일밴드를 붙여두었습니다.

● 사람은 연장 탓을 곧잘 하고는 합니다. 중요한 골 기회를 날려먹고는 '내가 축구화를 신었어도 그렇게 차지 않았을 거야.'라며.' 항변합니다. 마치 제가 첫 문장에서 '과일을 깎을 때 쓰던 과도가 제 왼손 검지를 사과인 줄 알고 베었다'라는 표현을 썼던 것처럼요..

● 그런데 말입니다. 과도는 말 그대로 과일을 깎는 도구인데 제 엄지를 베면 잘못 활용된 것입니다. 우리는 이를 두고 사건, 사고, 오용, 실수 등이라고 부릅니다.

● 이렇게 부르는 이유는 바로잡아야 할 것이라는 공감된 인식이 있기 때문입니다.

● 삶을 살다 보면 이런 비슷한 일들이 참 많습니다.

 

● 그렇다면 원래의 쓰임대로 쓰이지 않는 것은 사건, 사고, 오용, 실수인 것일까요?

● 꼭 그렇지만도 않습니다. 원래의 쓰임을 살짝 비틀어 생각지 못한 곳에 썼을 때 창의성이 발현되고, 스마트 폰과 같은 사회의 변혁을 일으키는 도구가 탄생합니다.

● 도구는 도구대로 있습니다. 우리가 가용할 수 있는 재료는 재료대로 있습니다.

● 1차적으로 중요한 건 그 도구가 있다는 것이지만, 사실 더욱 중요한 건 그 도구와 도구의 연결이고, 그 연결이 갖는 의미입니다. 그 의미가 생각지 못한 가치를 만들어낼 겁니다.

 

● 교육에는 끊임없이 소재들이 들어오며 도메인의 중앙을 노립니다. 인공지능은 최근의 소재들 중에서도 가장 도메인의 중앙을 깊숙하게 침투하기 시작한 소재라 할 수 있습니다(이번 정부에서는 인공지능이라 읽고 디지털이라 부릅니다).

● 머신러닝을 대할 때 베이지안 주의자들은 확률 추론과 베이즈 정리를 생각하고, 유추 주의자들은 서포트 벡터 머신(SVM)을 떠올립니다. 연결 주의자들은 신경망을 생각하고, 기호 주의자들은 의사결정 트리를 떠올리며, 진화 주의자들은 유전 프로그래밍을 머리에 둡니다.

 

● 하지만 이렇듯 이질적인 이들도 하나의 마스터 알고리즘을 찾는 동일한 목적을 가진다는 점에서 매우 동질적입니다.

● 교육에서는 어떨까요? 인공지능이라는 단어를 대할 때 누군가는 교과와 교과 간의 융합을 생각하고, 누군가는 인공지능을 다루는 교과의 전문성 강조와 시수 확대를 생각합니다. 어떤 이들은 메이커 교육에 기반해 인공지능을 생각하고, 어떤 이들은 놀이와 체험거리로 인공지능을 인식합니다.

● 동상이몽의 현실 속에서 인공지능이라는 소재를 대할 때 중요한 것은 무엇일까요?

● 인공지능과 관련된 여러 개인과 집단들이 각 분야마다 있습니다. 하지만 인공지능을 생각할 때, 결국 추구하는 가치와 목적은 매우 다를 수 있습니다. 결국 관련된 소재가 인공지능이란 이유만으로는 동질적인 개인이나 집단이라 부를 수 없습니다.

● 추구하는 가치와 목적에 따라 개인과 집단의 결이 결정됩니다. 어떤 재료들이 새롭게 등장한다 하더라도, 그 개인과 집단이 추구하는 가치와 목적이 무엇인지 살필 수 있어야 합니다. 자칫 개인과 집단이 추구하는 가치와 목적이 재료가 갖는 고유한 성격과 무거움을 가릴 수 있기 때문입니다.

● 인공지능이라는 소재가 갖는 고유한 성격과 무거움을 이해하고, 조심스레 사람들과 함께 핸들링 해갈 수 있는 개인과 집단이 더욱 필요한 시점이 아닐까 생각합니다.

 

● 개인적으로는 AI 티처 스쿨이 그런 가치와 목적의 결을 가진 모임의 장이라 생각합니다. 인공지능이라는 소재 하나만으로 여기에 모이셨기에 매우 이질적인 여기 계신 분들이 인공지능을 나름의 관점으로 탐색해나가는 동질적인 흐름 속에 있기에 그럴 것입니다.