평균제곱오차2 31번째 이야기 - 모의 담금질(Simulated Annealing) 알고리즘, 경사하강법, gradient descent ● 두 번째로 보폭을 넓게 해서 작은 봉우리를 뛰어넘어 혹시 있을지 모르는 더 낮은 최소점으로 향할 수 있는 여지를 남겨둡니다. ● 세 번째로, 출발점을 무작위로 여러 초기 값으로 세팅을 해 놓고 각기 시뮬레이션하여, 가장 최소점이 낮은 가중치의 값을 구하는 방법을 취하기도 합니다. 집단 지성의 힘입니다. ● 네 번째의 방법은 모의 담금질(Simulated Annealing) 알고리즘이라 불리는 것인데, 의도성을 가지고 나쁜 방향을 일부러 선택하게 하는 것입니다. 여기에서는 산을 올라가는 행위가 되겠군요. 되려 나쁜 행위가 작은 봉우리를 벗어날 여지를 줍니다. ● 탐색의 초반에는 일부러 나쁜 행동을 할 수 있는 확률을 높여서 탐색을 통해 전체 지형에 대한 이해를 높이고, 탐색의 후반으로 갈수록 나쁜 행동.. 2022. 11. 21. 30번째 이야기 - 오토인코더, autoencoder, 경사하강법, 평균제곱오차, mse ● 이번에는 이미지에 대한 잠재 공간을 생성하는 오토 인코더(AutoEncoder)에 대해 살펴봅시다. ● 오토 인코더의 구조는 아주 간단합니다. 입력 그대로를 출력하는 딥러닝 모델입니다. 우리는 여기서 은닉층을 주목할 필요가 있습니다. ● 여기서의 은닉층의 노드 수는 입력 값의 노드 수보다 적습니다. 즉, 한정된 은닉층을 갖기에 정보를 압축할 수밖에 없습니다. 병목(Bottleneck)이라고 불리는 이 곳에서 생성되는 벡터는 이미지 잠재 공간을 형성합니다. 즉, 워드투벡에서와 같이 계산을 가능하게 합니다. ● 사람의 얼굴에서 웃음끼를 -1, -2, -3 할 수 있으며, 역으로 더할 수도 있습니다. 아래와 같이 잠재 공간에서는 이미지 모핑 작업을 할 수도 있게 됩니다. ● 잠재공간을 정리해봅시다. 한마디.. 2022. 11. 21. 이전 1 다음
