26번째 이야기 - 순방향 계산, 손실함수, 오차에 대한 가중치, 기호주의

순방향 계산

위의 그림과 같이 순방향으로 입력값과 각각의 가중치들을 곱하여 더한 가중합을 계산합니다.

 

손실함수

 

● 가중합에 바이어스(편향)를(편향) 더하여 준 값을 활성화 함수에 통과시켜 얻은 예측 값을 얻습니다.

● 그런 다음, 손실 함수라는 것을 통해 예측 값과 실제 값의 차이인 오차를 얻습니다.

 

오차에 따라 가중치 조절

● 발생한 오차에 따라 가중치(=볼륨 손잡이)를 조절합니다.

 

과정 반복

 

 

● 이러한 1~3의 과정을 계속해서 반복합니다. 이것이 퍼셉트론의 학습 메커니즘입니다..

● 여기서 노버트 위너가 말한 '피드백'은 무엇일까요? 네, 바로 손실 함수를 통해 얻은 오차 값의 전달일 것입니다. 그 피드백을 받았기 때문에 가중치 조정의 과정인 '학습'을 할 수 있었습니다.

● 퍼셉트론에서의 학습은 적정한 가중치의 값을 찾는 데 있습니다.

● 여기서 적정한 가중치란 손실 함수의 값을 최소가 되게 하는 가중치입니다.

 

● 이것이 퍼셉트론 학습의 기본원리입니다. 생각보다 이해하기에 나쁘지 않군요? 그나저나 연결주의가 일으킨 지각변동은 기존의 주류였던 기호 주의는 긴장하고 예민해지게 됩니다.

● 즉, 반격을 준비하고 있었던 것이죠. 다음 시간에는 기호주의의 반격에 대해 살펴보도록 하겠습니다.

 

기호주의

● 기호주의는 연결주의 반격을 개시합니다. 기호주의 반격의 선봉장은 바로 마빈 민스키였습니다.

● 마빈 민스키가 찌른 연결주의의 허는 바로 "하나의 뉴런만으로 복잡한 문제를 해결할 수 있을까?"라는?" 질문이었습니다.

 

선형과 비선형

● 위의 그림에서 보시는 바와 같이 선형 데이터 셋에서는 하나의 직선으로 데이터를 분류하는 것이 가능합니다.

● 하지만 비선형 데이터셋에서는 제대로 분류하려면 2개 이상의 직선이 필요함을 알 수 있습니다.

 

xor함수

● 논리 연산 중 배타적 논리합이라고 불리는XOR 문제가 있습니다. 입력 값이 다르면 1을 출력하고, 같으면 0을 출력하는 것이죠.

● 마빈 민스키와 시모어 페펏은 퍼셉 트론즈(1969)라는(1969) 책에서 단층 퍼셉트론, 즉 로젠블랏이 고안한 뉴런 하나 짜리 퍼셉트론으로는 XOR 문제를 해결할 수 없음을 수학적으로 증명해내 버리고 맙니다.

● 로젠블랏에게는 정말 안된 일이지만, MIT 교수이자 기호 주의의 수장이었던 민스키는 수학 천재답게 날카로웠고, 로젠블랏은 주위의 사람들에게 미안하다는 말을 전하며 자살로 추정되는 안타까운 죽음을 미국 동부 체서피크만의 요트 위에서 맞이합니다.