데이터 과학

BERT 원논문에는 사전학습과제 (MLM, NSP)와 파인튜닝 절차가 모두 정리되어 있습니다. 아래 링크를 참조하면 됩니다. https://arxiv.org/pdf/1810.04805 논문 내용을 요약하면 다음과 같습니다. BERT는 자연어를 이해하기 위해 고안된 딥러닝 모델로, Google AI Language 팀이 개발하였습니다. 기존의 언어 모델들은 문장을 왼쪽에서 오른쪽으로 읽거나, 오른쪽에서 왼쪽으로 읽는 식으로 한 방향만 고려하여 학습되었습니다. 그러나 자연어는 단어가 문장 속에서 어떤 의미를 가지는지 양쪽 문맥(all directions) 을 모두 보아야 정확하게 이해할 수 있습니다. BERT는 이러한 문제점을 해결하기 위해 Bidirectional Transformer(양방향 트랜스포..

제프리 힌튼(Jeffrey Hinton), 요슈아 벤지오(Yoshua Bengio), 얀 르쿤(Yann LeCun)은 현재 딥 러닝 분야에서 가장 영향력 있는 연구자 중 일부입니다. 이들은 각자의 분야에서 지속적인 연구와 개발로 딥 러닝 분야의 발전에 큰 영향을 미치고 있습니다. 제프리 힌튼은 딥 러닝 분야의 대표적인 연구자 중 한 명으로, 역전파(backpropagation) 알고리즘과 Boltzmann machine, deep belief networks, capsule networks 등 다양한 딥 러닝 모델의 개발에 큰 기여를 했습니다. 특히, 역전파 알고리즘을 이용한 딥 러닝 모델의 학습 방법을 개발하면서, 딥 러닝 분야의 대표적인 선구자 중 한 명으로 평가받고 있습니다. https://brun..

OpenAI 회사에 만든 챗GPT가 요즘은 매일 언론에 소개되고 있습니다. 관심도 많이 있고요. GPT는 예전부터 만들어져 있어서 구문해석과 학습방법에 대한 연구가 되었던 분야입니다. 여러 블로그에 GPT에 대한 이야기가 있는데 현재(2023.03.01) 챗GTP는 버전이 GPT3.5 입니다. 조만간 GPT4.0버전이 나온다고 하네요. GPT3.5 버전이 많이 사용되면서 일반인들에게 확산이 된 것이죠. 아래 openai.com이 홈페이지입니다. 최근에 이슈가 되니 자산가치가 급상승한 IT회사입니다. https://openai.com/blog/chatgpt Introducing ChatGPT We’ve trained a model called ChatGPT which interacts in a conver..