머신러닝9 31번째 이야기 - 모의 담금질(Simulated Annealing) 알고리즘, 경사하강법, gradient descent ● 두 번째로 보폭을 넓게 해서 작은 봉우리를 뛰어넘어 혹시 있을지 모르는 더 낮은 최소점으로 향할 수 있는 여지를 남겨둡니다. ● 세 번째로, 출발점을 무작위로 여러 초기 값으로 세팅을 해 놓고 각기 시뮬레이션하여, 가장 최소점이 낮은 가중치의 값을 구하는 방법을 취하기도 합니다. 집단 지성의 힘입니다. ● 네 번째의 방법은 모의 담금질(Simulated Annealing) 알고리즘이라 불리는 것인데, 의도성을 가지고 나쁜 방향을 일부러 선택하게 하는 것입니다. 여기에서는 산을 올라가는 행위가 되겠군요. 되려 나쁜 행위가 작은 봉우리를 벗어날 여지를 줍니다. ● 탐색의 초반에는 일부러 나쁜 행동을 할 수 있는 확률을 높여서 탐색을 통해 전체 지형에 대한 이해를 높이고, 탐색의 후반으로 갈수록 나쁜 행동.. 2022. 11. 21. 29번째 이야기 - 머신러닝, 기계학습, 준지도학습, 자기주도학습 ● 머신러닝이란 용어가 이제는 낯설지만은 않습니다. 기계학습이라는 의미로 인공지능을 구현하기 위한 방법이죠. 컴퓨터가 학습하는 방식 혹은 그에 관한 연구를 총칭합니다. ● 현실 세계는 매우 복잡다단합니다. 그래서 모델이 필요합니다. 모델은 현실 세계의 본질이나 핵심을 나타내는 모형입니다. 이 모델을 만드는 작업을 모델링한다고 표현합니다. ● 단순화 즉, 모델링은 여러모로 유익이 있습니다. 물론 너무 단순화시키면 언더 피팅되어 현실을 충실히 반영하지 못하게 되지만, 적정하게 단순화한다면 계산 복잡도를 줄여주어 수학적인 해결을 가능하게 합니다. ● 결국, 모델을 만들 때 가장 중요한 것은 단순화하여 계산 복잡도를 줄여주면서도, 현실을 잘 반영하여 분제를 해결(분류, 예측, 최적화 등)할 수 있게 하는 것입니.. 2022. 11. 21. 28번째 이야기 - 비선형 데이터, 신경망의 구조, 마스터 알고리즘, ● 기존의 머신러닝 기법이 이미 발달했음에도 딥러닝이 각광받는 이유는 뭘까요? ● 그건 기존의 머신러닝보다 뛰어난 점이 있기 때문일 겁니다. ● 지난번 말씀드렸듯이 특징을 추출하는 단계를 사람이 하지 않아도 된다는 점, 그리고 데이터 전처리 시간 대비 비용과 성능도 괜찮은 점을 꼽을 수가 있겠습니다.(물론 일반론적으로 그렇단 얘기입니다) ● 뭐니뭐니해도 딥러닝의 진가는 활성화 함수와 깊은 층의 여러 개의 노드(퍼셉트론)들의 연결이 만들어내는 비선형 데이터의 분리에 있습니다. ● 감히 말하건대 딥러닝의 진가는 비선형 데이터를 분리하는 데 있습니다. ● 현실 세계의 문제 상황은 뭐하나 무 자르듯이 직선 하나로 해결되는 경우는 흔치 않기 때문입니다. ● 신경망은 구조가 중요합니다. ● 성능이 너무 낮다면 데이.. 2022. 11. 4. 22번째 이야기 - 무작위 대입법, 지능형 검색법, 무어의 법칙 ● 많은 사람들은 현실과 이상의 괴리에서 오는 어려움에 직면하곤 합니다. 생각하는 기계를 구현하고자 하는 사람들에게도 이러한 어려움은 늘 있어왔습니다. ● 인공지능의 선구자들은 다트머스 회의에서 자연어로 대화하고, 스스로 성능을 개선할 줄 알며, 추상적 개념을 이해하는 기계를 만들고자 했습니다. 그리고 상당 부분의 분야에서 그 해 여름이 가기 전, 진일보한 성과가 있을 것이라고 기대했습니다. ● 그러나 연결주의의 아성을 무너뜨린 기호 주의마저 인간처럼 생각할 줄 아는 기계를 만드는 데 한계를 드러냅니다. 세간의 거대한 관심은 이내 실망감으로 변하였고, 진정한 인공지능의 겨울이 시작되었습니다. 연구 자금은 끊기고, 연구의 동력이 소실된 것이죠. ● 이와 동시에 기초 과학에 대한 관심이 사그라들면서 응용과학.. 2022. 11. 4. 21번째 이야기 - 머신러닝의 다섯가지 종족, 기호주의, 연결주의, 진화주의, 베이즈주의, 유츄주의 ● "컴퓨터는 쓸모가 없는 놈이야. 질문 할 줄은 모르고 대답만 할 줄 아는 놈이라고!" 이 말의 주인공은 피카소였습니다. ● 과거의 컴퓨터는 사람이 프로그래밍을 통해 지시한 대로만 작동하기만 하였고, 현재도 그러한 소프트웨어의 기반 아래 수많은 기계 장치들이 작동하며 우리의 삶을 지탱해주고 있습니다. ● 하지만 이 말에 만족하지 못한다면(..) 즉, 컴퓨터가 피카소처럼 창의적이길 바란다면 그 해답은 어디에 있을까요? 바로 머신러닝에 있을겁니다. ● 사람이 물감으로 그림을 그리고, 벽돌로 그럴싸한 건물을 짓듯이 머신러닝은 데이터로 알고리즘을 만듭니다. 사람이 컴퓨터에게 일괄적으로 만들어 넣어주던 그 프로그램을 결과물로 산출해낸다 이 말입니다. ● 머신러닝이 그저 인공지능을 만드는 하나의 방법으로 우리에게.. 2022. 11. 4. 14번째 이야기 - 티칭머신, CAI, 컴퓨터 보조 수업(Computer-Aided Instruction) 사실 연결주의를 잠시 잠재운 마빈 민스키의 기호 주의도 인공지능의 겨울을 막지 못하면서부터 사람들의 관심사와 연구 투자가 확실히 줄어들었습니다. 그러자 이상에 치우친 인공지능보다는 현실에 도움이 되는 실용적인 인공지능 기술로 세간의 관심을 돌릴 필요가 생기게 됩니다. 생각하는 기계보다는 일하는 기계를 만들라!가 1970년 후반~80년 당시의 모토가 되었죠. 1980년대에 컴퓨팅 성능과 알고리즘의 향상이 '속도'에 대단한 향상을 미치기 시작했습니다. 데이터도 조금씩 쌓이게 되면서 머신러닝이 발전할 수 있는 토양이 만들어지게 됩니다. 기존의 사람의 사고방식을 포기하자 아이러니하게도 머신러닝을 통해 인공지능 연구에 봄이 찾아온 것이죠. 머신러닝은 그나마 특징 추출에서 사람의 손길이 닿지만, 정말 복잡한 비선형.. 2022. 9. 25. 이전 1 2 다음
