목록sLLM (1)

튼튼발자 개발 성장기🏋️

T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기를 읽고나서

오늘은 올리브영 기술 블로그에서 소개된 자체 sLLM 구축기를 읽고 느낀 점을 자유롭게 적어보려고 한다.나는 작년 4분기에 비슷한 구축기를 시도했었다. 팀 내에서 사용할 Ollama를 구축했었고 그 뒤에 여러 요청사항을 통해 vLLM을 새로 구축하였다. 이와 같은 경험을 했던 터라, 제목만 보고서도 호기심이 자극되었다.소형 LLM, 진짜 실용의 길을 찾다요즘 LLM이 핫하긴 한데, 대부분 서비스들은 상용 API나 엄청 비싼 GPU 자원을 쓰는 구조가 많다.그런데 올리브영 팀은 Tesla T4 16GB, 그러니까 렌탈비도 저렴하고 진입장벽이 낮은 하드웨어 환경 하나로 95% 상용 품질을 만들어냈다.LLM은 거대한 리소스가 필요하다고만 생각했었는데, 작은 모델과 현장 맞춤화로 실제 서비스까지 연결되는 과정을..
기타/타사 기술 블로그 읽기 2026. 1. 26. 13:09
이전 Prev 1 Next 다음