튼튼발자 개발 성장기🏋️

딥러닝 모델의 학습은 크게 프리트레이닝(Pre-training)과 파인튜닝(Fine-tuning)의 두 단계로 나뉜다. 이 글에서는 파인튜닝의 두 가지 접근 방식인 풀 파인튜닝과 PEFT의 특징과 효율적인 파인튜닝 기법을 살펴보자. 1. 딥러닝 모델의 학습 두 단계 프리트레이닝(Pre-training) 기본 지식을 학습하는 단계. 마치 학교에서 기초 교육을 받는 것과 같다. 파인튜닝(Fine-tuning) 특수 작업에 최적화하는 단계. 마치 대학 졸업 후 특정 직업을 위한 훈련을 받는 것과 비슷..

언어 모델의 이해 역사부터 거대 언어 모델(LLM)까지의 완벽 가이드 최근 ChatGPT의 등장으로 Large Language Model(LLM, 거대 언어 모델)이 대중에게 큰 충격을 주었다. 이 글에서는 언어 모델의 기본 개념부터 시작하여 트랜스포머, BERT, GPT 등의 핵심 모델들을 살펴 보자. 1. 언어 모델의 역사 언어 모델이란? 언어 모델(Language Model)은 가장 자연스러운 다음 단어(Token)를 예측하는 모델이다. 정의상 딥러닝일 필요는 없으며, 현재는 딥러닝으로 구현할 뿐이다. 통계적 언어 모델 ..