25번째 이야기 - 퍼셉트론, 가중치, 가중합, 바이어스, 활성화 함수

● 모든 지식은 연결에 있다.

● 사람의 뇌의 작동방식과 학습에 대한 관심과 연구는 자연스레 인간의 학습을 따라 하고 모방하는 기계를 연구하는 인공지능 분야에 있어서 강력한 영향을 미칩니다.

● 기존의 추상적 표현과 논리적인 수식, 기호로 대표되는 기호주의가 초기 인공지능을 이끌었다면,

● 뇌에 대한 관심과 연구는 본격적인 연결주의의 시작으로 이어집니다.

 

● 연결주의의 본격적인 포문을 연 사람은 바로 프랭크 로젠블랏이었습니다.

● 그는 최초의 신경망인 퍼셉트론(1958)을 세상에 발표합니다.

로젠블랏

 

 

● 여기 어지러운 선들이 이렇게 연결되어 있는 이 하드웨어가 바로 퍼셉트론의 모습입니다.

● 보통 퍼셉트론이 원리로만 존재한다 생각하는데, 이렇게 물리적인 형태이자 기계로 구현해 냈다는 점이 놀랍습니다.

● 그런 점에서 워렌 맥컬럭과 월터 피츠 연구와의 차이점이 있음을 알 수 있습니다.

 

신문기사

● 1958년 뉴욕 타임즈에 이 퍼셉트론이 실렸었습니다.

● 뉴욕 타임즈는 당시 퍼셉트론을 "사람의 훈련이나 통제 없이 인식하고, 인지하며, 식별할 수 있는 생명 없는 첫 번째 기계가 될 것으로 기대되고 있다"라고" 하였습니다.

● 물론 보기 좋게 이 예상은 빗나가고 말았지만 말입니다.

 

신문기사

● 퍼셉트론은 생물학적 신경계를 이렇게 수학적으로 모델링한 것입니다.

 

생물학적 신경계와 퍼셉트론 모델

 

가중치, 가중합, 바이어스, 활성화 함수

● 퍼셉트론을 구성하는 중요한 요소들의 개념들을 정리하고 넘어갑시다.

● 가중치는 입력 값의 중요도를 나타냅니다.

● 가중치의 합 즉, 가중합이라고 불리는 것은 입력 값에 각각의 가중치를 곱한 값들을 모두 더한 값입니다.

● 바이어스(편향)는 이 가중치의 합이 활성화 함수라는 것을 통과하기 전에 더하여지는 어떤 값으로 판정 기준이라 생각하시면 좋습니다. 자세한 것은 잠시 후에 다루도록 하겠습니다.

● 활성화 함수는 최종 출력을 결정하는 필터입니다.

● 로젠블랏의 퍼셉트론에서는 계단 함수를 사용합니다. 계단 함수를 통과한 값이 출력 값이 0 이상이면 1을 출력하고, 0 미만이면 0을 출력하게 됩니다. 그래서 이 출력 값을 실제 값과 비교하여 다를 경우, 다시 역으로 가중치를 조정합니다.

● 가중치를 재조정한다는 뜻은 학습을 의미합니다.

● 이것이 퍼셉트론의 학습 메커니즘입니다.

 

● 그런데 퍼셉트론에서 편향은 왜 필요한 것일까요?

 

편향

● 여기 직선의 방정식에서 편향은 y절편으로 y=ax+b에서 'b'를 의미합니다.

● 편향이 추가가 되면 y절편 값을 조정할 수 있기 때문에 기울기에 변화를 주지 않아도, 분류 결과를 개선하는 데 큰 도움을 줍니다. 즉, 편향만 잘 설정해줘도 성능 좋은 퍼셉트론을 만들 수 있다는 얘기입니다.

● 참고로, 1인 입력을 추가하면 편향이 추가된 효과가 납니다. 편향은 보통 가중치가 하나 추가된 것처럼 취급됩니다(1 * 가중치).

 

● 다음에는 퍼셉트론의 학습 메커니즘을 찬찬히 뜯어서 살펴보도록 하겠습니다.