튼튼발자 개발 성장기🏋️

이론으로만 배운 파인튜닝을 실제로 적용해보자. 이 글에서는 금융 뉴스 분석기를 주제로, 합성 데이터 생성부터 멀티 GPU 학습, LoRA 병합, vLLM 서빙까지 전체 파이프라인을 단계별로 정리한다. 두 가지 학습 프레임워크(LLaMA-Factory와 Hugging Face TRL)를 모두 다루며, 각각의 특징과 사용법을 비교한다. 1. 프로젝트 개요: 금융 뉴스 분석기 이번 실습의 목표는 금융 뉴스를 입력받아 특정 종목에 영향을 주는지 자동으로 판별하는 LLM을 만드는 것이다. 모델이 해야 할 일 종목 연관 여부 판별: 뉴스가 특정 회사(종목)와 관련이 있는지 판단 (is_stock_related) 긍정 영향 종..

사전 학습된 거대 언어 모델(LLM)을 실무에 적용하려면 파인 튜닝(Fine-tuning)이 필수다. 하지만 수백억 개의 파라미터를 가진 모델을 어떻게 효율적으로 학습하고, 서빙할 것인가? 이 글에서는 LoRA, QLoRA, SFT, DPO의 핵심 원리부터 vLLM 기반의 멀티 LoRA 서빙 전략까지 알아보자. 1. 사전 학습(Pre-training)과 파인 튜닝(Fine-tuning) LLM의 탄생은 크게 두 단계로 나뉜다. 방대한 데이터로 언어 능력을 형성하는 사전 학습과, 특정 목적에 맞게 추가 조정하는 파인 튜닝이다. 사전 학습 (Pre-training) 정의: 대규모 ..

AI 엔지니어에게 가장 중요한 능력 중 하나는 문제를 정확히 정의하고 적합한 모델과 데이터 전략을 수립하는 것이다. 무작정 좋은 모델을 쓰는 것이 아니라, 주어진 제약 조건(인터넷 환경, GPU, 비용) 안에서 최적의 해법을 찾는 능력이 실력을 결정한다. 1. 기업에서 AI 엔지니어가 하는 일 AI 엔지니어는 단순히 모델을 학습시키는 것에 그치지 않는다. 비즈니스 문제를 기술 언어로 번역하고, 가능한 범위를 빠르게 판단하며, 전체 AI 개발 사이클을 이끌어 가야 한다. 1단계: 신규 서비스 기획 전사의 신규 서비스를 기획한다. 해당 서비스로 얻을 수 있는 기대 효과와 필요한 기..

Claude는 computer use tool을 통해 컴퓨터 환경과 상호작용할 수 있으며, 이는 스크린샷 기능과 마우스/키보드 제어를 제공하여 자율적인 데스크톱 상호작용이 가능하게 한다. 실제 웹사이트에서의 자율적인 웹 탐색을 위한 벤치마크인 WebArena에서 Claude는 단일 에이전트 시스템 중에서도 최첨단 결과를 달성하며, 종단 간 다단계 브라우저 작업을 완료하는 강력한 능력을 보여준다. Computer use는 베타 상태이며 beta header가 필요하다: - "computer-use-2025-11-24"는 Claude Opus 4.6, Claude Sonnet 4.6, Claude Opus 4.5용 - "computer-use-2025-01-24"는 Sonnet 4.5, Haiku 4...

딥러닝 모델의 학습은 크게 프리트레이닝(Pre-training)과 파인튜닝(Fine-tuning)의 두 단계로 나뉜다. 이 글에서는 파인튜닝의 두 가지 접근 방식인 풀 파인튜닝과 PEFT의 특징과 효율적인 파인튜닝 기법을 살펴보자. 1. 딥러닝 모델의 학습 두 단계 프리트레이닝(Pre-training) 기본 지식을 학습하는 단계. 마치 학교에서 기초 교육을 받는 것과 같다. 파인튜닝(Fine-tuning) 특수 작업에 최적화하는 단계. 마치 대학 졸업 후 특정 직업을 위한 훈련을 받는 것과 비슷..

프롬프트 엔지니어링은 AI 언어 모델에게 원하는 결과를 얻기 위해 입력(프롬프트)을 설계하는 기술이다. 같은 요청이라도 물어보는 방식에 따라 답변 품질이 크게 달라지며, LLM 학습 데이터를 만들 때나 파인튜닝할 때 모두 중요한 역할을 한다. 1. 프롬프트 엔지니어링이 중요한 이유 LLM 엔지니어 관점에서의 중요성 학습 데이터 생성 GPT-4 API로 LLM 학습 데이터를 만들 때 품질 좋은 데이터를 얻기 위해 필수적이다. 파인튜닝 LLaMA나 Qwen으로 파인튜닝할 때도 프롬프트 ..

채널을 통해 실행 중인 세션으로 이벤트 푸시하기 채널을 사용하면 MCP 서버에서 Claude Code 세션으로 메시지, 알림, 웹훅을 푸시할 수 있다. 사용자가 자리에 없을 때도 Claude가 반응할 수 있도록 CI 결과, 채팅 메시지, 모니터링 이벤트를 전달한다. 채널은 research 미리보기 상태이며 Claude Code v2.1.80 이상이 필요하다. claude.ai 로그인이 필요하며, 콘솔 및 API 키 인증은 지원되지 않는다. 팀 및 엔터프라이즈 조직은 명시적으로 활성화해야 한다.채널은 MCP 서버로 실행 중인 Claude Code 세션으로 이벤트를 푸시하여 사용자가 터미널에 없을 때도 Claude가 반응할 수 있게 한다. 채널은 양방향일 수 있다. Claude는 이벤트를 읽고 동..

언어 모델의 이해 역사부터 거대 언어 모델(LLM)까지의 완벽 가이드 최근 ChatGPT의 등장으로 Large Language Model(LLM, 거대 언어 모델)이 대중에게 큰 충격을 주었다. 이 글에서는 언어 모델의 기본 개념부터 시작하여 트랜스포머, BERT, GPT 등의 핵심 모델들을 살펴 보자. 1. 언어 모델의 역사 언어 모델이란? 언어 모델(Language Model)은 가장 자연스러운 다음 단어(Token)를 예측하는 모델이다. 정의상 딥러닝일 필요는 없으며, 현재는 딥러닝으로 구현할 뿐이다. 통계적 언어 모델 ..