튼튼발자 개발 성장기🏋️

RAG (Retrieval Augmented Generation)LLM의 한계 환각 지식 컷오프 보안 및 개인화 불가Retrieval (검색) 대규모 언어 모델(LLM)이 학습하지 않은 정보를 가져오는 것 질문과 가장 연관성이 높은 문서 조각들을 벡터 DB에서 찾음Augmented (증강) 검색된 문서 조각을 사용자의 원래 질문과 합쳐서 "이 문서를 참고해서 질문에 답해줘"라는 식의 확장된 프롬프트 생성Generation (생성) 제공된 확실한 증거 데이터를 바탕으로 왜곡 없는 정확한 답변을 생성 Caution RAG는 환각을 줄이는 방법이지 완전히 없애는 방법은 아니다. 검색된 문서가 부정확하거나 질문과 관련없는 문서가 들어가면 답변도 틀릴 수 있다.Vector DBEmbedding ..

코드 1도 모르는 비개발자가 회사 문서로 답하는 AI 만들기 ChatGPT는 우리 회사 정책을 모른다. 그런데 알게 만들 수 있다면? 이 글은 코드 한 줄 없이 회사 문서를 학습시킨 Discord AI 비서를 만들면서 겪은 모든 과정과 시행착오의 기록이다. PROLOGUE "우리 회사 휴가 정책 알려줘"라고 AI한테 묻고 싶었다 나는 개발자다. 언젠가 회사 내부 정책이나 내가 담당하는 서비스의 도메인 지식 또는 서비스 정책을 한 번에 알아낼 수 있는 방법을 생각했다. "우리 팀 OKR 진행 상황 정리해줘"라고 물으면 AI는 모른다. "지난주 회의록에서 결정된 사항만 추려줘"도 마찬가지. 우리 회사의 모든 지식은 Google ..

"말로 백 번 설명하는 것보다, 한 번의 강력한 시스템적 통제가 낫다." 바이브 코딩으로 짠 코드, 자꾸 에러가 나고 산으로 간다면 정답은 하네스(Harness)에 있다. 최근 개발 생태계는 '바이브 코딩(Vibe Coding)'이라는 새로운 패러다임에 열광하고 있다. 자연어로 "이런 기능 만들어줘", "이 페이지 디자인을 이렇게 바꿔줘"라고 말만 하면 AI가 뚝딱 코드를 만들어내는 시대다. 개발 속도는 이전과는 비교할 수 없을 정도로 비약적으로 빨라졌다. 하지만 실무 프로젝트에 AI를 본격적으로 도입해 본 사람이라면 깊이 공감할 것이다. AI는 강력하지만, 동시에 아주 위험하다. 기존 코드의 규칙을 무시하거나, 전혀 엉뚱한 아키텍처를 도입해 프로젝트 전체를 망가뜨리기도 한..

CLI에서 계획을 시작하고, 웹의 Claude Code에서 초안을 작성한 뒤, 원격으로 또는 터미널에서 실행한다 울트라플랜(Ultraplan)은 리서치 프리뷰 단계이며 Claude Code v2.1.91 이상이 필요하다. 피드백에 따라 동작 방식과 기능이 변경될 수 있다. 울트라플랜은 계획 작업을 로컬 CLI에서 웹의 Claude Code 세션으로 넘기며, 해당 세션은 플랜 모드로 실행된다. Claude가 클라우드에서 계획 초안을 작성하는 동안, 사용자는 터미널에서 계속 작업할 수 있다. 계획이 준비되면 브라우저에서 열어 특정 섹션에 댓글을 달고, 수정을 요청하고, 어디서 실행할지 선택한다. 울트라플랜은 터미널이 제공하는 것보다 더 풍부한 검토 화면이 필요할 때 유용하다. ..

이론으로만 배운 파인튜닝을 실제로 적용해보자. 이 글에서는 금융 뉴스 분석기를 주제로, 합성 데이터 생성부터 멀티 GPU 학습, LoRA 병합, vLLM 서빙까지 전체 파이프라인을 단계별로 정리한다. 두 가지 학습 프레임워크(LLaMA-Factory와 Hugging Face TRL)를 모두 다루며, 각각의 특징과 사용법을 비교한다. 1. 프로젝트 개요: 금융 뉴스 분석기 이번 실습의 목표는 금융 뉴스를 입력받아 특정 종목에 영향을 주는지 자동으로 판별하는 LLM을 만드는 것이다. 모델이 해야 할 일 종목 연관 여부 판별: 뉴스가 특정 회사(종목)와 관련이 있는지 판단 (is_stock_related) 긍정 영향 종..

사전 학습된 거대 언어 모델(LLM)을 실무에 적용하려면 파인 튜닝(Fine-tuning)이 필수다. 하지만 수백억 개의 파라미터를 가진 모델을 어떻게 효율적으로 학습하고, 서빙할 것인가? 이 글에서는 LoRA, QLoRA, SFT, DPO의 핵심 원리부터 vLLM 기반의 멀티 LoRA 서빙 전략까지 알아보자. 1. 사전 학습(Pre-training)과 파인 튜닝(Fine-tuning) LLM의 탄생은 크게 두 단계로 나뉜다. 방대한 데이터로 언어 능력을 형성하는 사전 학습과, 특정 목적에 맞게 추가 조정하는 파인 튜닝이다. 사전 학습 (Pre-training) 정의: 대규모 ..

AI 엔지니어에게 가장 중요한 능력 중 하나는 문제를 정확히 정의하고 적합한 모델과 데이터 전략을 수립하는 것이다. 무작정 좋은 모델을 쓰는 것이 아니라, 주어진 제약 조건(인터넷 환경, GPU, 비용) 안에서 최적의 해법을 찾는 능력이 실력을 결정한다. 1. 기업에서 AI 엔지니어가 하는 일 AI 엔지니어는 단순히 모델을 학습시키는 것에 그치지 않는다. 비즈니스 문제를 기술 언어로 번역하고, 가능한 범위를 빠르게 판단하며, 전체 AI 개발 사이클을 이끌어 가야 한다. 1단계: 신규 서비스 기획 전사의 신규 서비스를 기획한다. 해당 서비스로 얻을 수 있는 기대 효과와 필요한 기..

Claude는 computer use tool을 통해 컴퓨터 환경과 상호작용할 수 있으며, 이는 스크린샷 기능과 마우스/키보드 제어를 제공하여 자율적인 데스크톱 상호작용이 가능하게 한다. 실제 웹사이트에서의 자율적인 웹 탐색을 위한 벤치마크인 WebArena에서 Claude는 단일 에이전트 시스템 중에서도 최첨단 결과를 달성하며, 종단 간 다단계 브라우저 작업을 완료하는 강력한 능력을 보여준다. Computer use는 베타 상태이며 beta header가 필요하다: - "computer-use-2025-11-24"는 Claude Opus 4.6, Claude Sonnet 4.6, Claude Opus 4.5용 - "computer-use-2025-01-24"는 Sonnet 4.5, Haiku 4...