안녕하세요.|개발자 최민준입니다.

Gemini 대신 소형 모델을 쓰기까지: 파인튜닝이 바꾼 것과 못 바꾼 것

들어가기 전에 왜 작은 로컬 모델을 사용하나요 사내에서 내가 하는 일도 그렇고, 여기 ZZOL에서도 마찬가지로 보안과 비용 측면에서 Gemini 같은 상용 모델보다 직접 서빙해서 쓰는 로컬 모델에 관심을 갖고 있는데, 과연 이 차이가 얼마나 나고, 그 간격을 어떻게 메꿀 수 있을지 요즘 고민을 하고 있다. 지난 평가 하네스에서는 프롬프트와 입력을 고정한 …