Attention vector1 11번째 이야기 - 언어모델, 트랜스 포머(Transformer), 어텐션 벡터(Attention vector) ● 최근 급속도로 발전하고 있는 언어 모델이 정교해지는 데 있어 결정적인 계기는 2017년 구글에서 발표한 트랜스포머(Transformer) 모델의 발표였습니다. ● 언어 모델은 트랜스포머의 전과 후로 나뉜다해도 과언이 아니니까요. 그렇다면 왜 그럴까요? ● 기존의 언어모델은 영어 문장을 순서대로 한 단어씩 읽고 학습합니다. 그러다보니 속도가 매우 느립니다. 또 아까 읽은 단어와 현재 읽고 있는 단어 간의 관계를 기억하는데 약점이 있습니다. 그러다보니 긴 문장이 들어오면 성능이 급속히 저하됩니다. 우리가 챗봇이나 인공지능 스피커와 대화하다 보면 길게 말하지 않게 되는 이유입니다. ● 이를 해결하기 위해 트랜스포머가 등장합니다. 트랜스포머의 특징은 단어마다 번호를 매겨서 순서를 기억합니다. 그래서 한번에 .. 2022. 9. 25. 이전 1 다음
