43번째 이야기 - 데이비드 허블, 토르스텐 위젤, 네오코그니트론, neocognitron

● 사실, 합성곱 신경망의 아이디어는 1950년대 데이비드 허블과 토르스텐 위젤로 거슬러 올라갑니다.

 

증명사진

 

● 이 둘은 신경생리학자인 쿠플러 박사의 존스홉킨스 대학 연구실에서 만나게 되었고, 시각 피질에 관한 연구를 진행합니다. 고양이 뇌에 칩을 꼽아 시각 피질이 어떻게 반응하는지 연구하여 1981년 노벨 생리학상을 수상했습니다.

● 그들은 연구결과 도형의 모형에 따라 특정 부위의 시각피질이 각각 다른 부분들이 반응하는 것을 확인하게 됩니다. 즉, 동물의 시각피질은 망막에 맺히는 여러 상들을 다른 여러 신경 뇌세포들이 반응해서 합쳐져 시각을 이룬다는 점을 알게 된 것이죠.

● 즉, 분해해서 다르게 특징을 추출한 다음에 나중에 합해서 생성된 이미지를 보게 된다는 것입니다. 바로 이 지점이 합성곱 신경망의 지역적 연결(Locally Connected)이라는 아이디어로 이어집니다.

 

 

고양이 연결 예시 사진

 

 

● 딥러닝에서는 고양이, 뇌과학에서는 침팬치가 많이 희생하고 기여하였습니다.

● 이 신경생리학의 위대한 성과를 NHK의 쿠니히코 후쿠시마가 이어받습니다. 전자 공학을 전공한 후쿠시마는 생리학자와 함께 NHK에서 공동 신경망 연구를 진행합니다.

● 조금만 이미지를 이동, 회전하여도 invariance가 안되는 난관에 봉착한 후쿠시마(1975, 코그니트론)는 이를 보완한 네오코그니트론(1979)을 발표합니다. 허블과 위젤의 아이디어를 가져와서 심플 셀(CNN으로 치면 합성곱층)과 컴플렉스 셀(CNN으로 치면 풀링층)을 아래 그림과 같이 교차함으로써 invariance가 되는 능력을 갖게 하는데 성공합니다.

 

 

 

네오코그니트론 사진

 

● 이렇듯 위치, 크기, 기울기에도 invariance를 유지하는 네오코그니트론은 CNN의 특성을 고스란히 다 가지고 있습니다. 후쿠시마의 네오코그니트론은 얀 르쿤에 의해 완성된 이미지 인식 딥러닝 모델인 CNN(합성곱 신경망)으로 이어지게 됩니다.