튼튼발자 개발 성장기🏋️

딥러닝 모델의 학습은 크게 프리트레이닝(Pre-training)과 파인튜닝(Fine-tuning)의 두 단계로 나뉜다. 이 글에서는 파인튜닝의 두 가지 접근 방식인 풀 파인튜닝과 PEFT의 특징과 효율적인 파인튜닝 기법을 살펴보자. 1. 딥러닝 모델의 학습 두 단계 프리트레이닝(Pre-training) 기본 지식을 학습하는 단계. 마치 학교에서 기초 교육을 받는 것과 같다. 파인튜닝(Fine-tuning) 특수 작업에 최적화하는 단계. 마치 대학 졸업 후 특정 직업을 위한 훈련을 받는 것과 비슷..

프롬프트 엔지니어링은 AI 언어 모델에게 원하는 결과를 얻기 위해 입력(프롬프트)을 설계하는 기술이다. 같은 요청이라도 물어보는 방식에 따라 답변 품질이 크게 달라지며, LLM 학습 데이터를 만들 때나 파인튜닝할 때 모두 중요한 역할을 한다. 1. 프롬프트 엔지니어링이 중요한 이유 LLM 엔지니어 관점에서의 중요성 학습 데이터 생성 GPT-4 API로 LLM 학습 데이터를 만들 때 품질 좋은 데이터를 얻기 위해 필수적이다. 파인튜닝 LLaMA나 Qwen으로 파인튜닝할 때도 프롬프트 ..