목록BERT (1)

데이터 과학

BERT 개요

BERT 원논문에는 사전학습과제 (MLM, NSP)와 파인튜닝 절차가 모두 정리되어 있습니다. 아래 링크를 참조하면 됩니다. https://arxiv.org/pdf/1810.04805 논문 내용을 요약하면 다음과 같습니다. BERT는 자연어를 이해하기 위해 고안된 딥러닝 모델로, Google AI Language 팀이 개발하였습니다. 기존의 언어 모델들은 문장을 왼쪽에서 오른쪽으로 읽거나, 오른쪽에서 왼쪽으로 읽는 식으로 한 방향만 고려하여 학습되었습니다. 그러나 자연어는 단어가 문장 속에서 어떤 의미를 가지는지 양쪽 문맥(all directions) 을 모두 보아야 정확하게 이해할 수 있습니다. BERT는 이러한 문제점을 해결하기 위해 Bidirectional Transformer(양방향 트랜스포..
인공지능/자연어 처리 2025. 11. 10. 14:36
이전 Prev 1 Next 다음