안녕하세요.|개발자 최민준입니다.

ZzolBot에 자체 모델 붙이기: GPU 없는 서버에서 LLM 서빙하기

지난 글까지 해서 모델 쪽 작업은 얼추 마무리가 됐다. 그때까지는 모델은 노트북에만 있었고 실제 운영 환경에서 ZzolBot은 계속 Gemini API를 사용하고 있었다. 이번 글은 튜닝했던 그 모델을 ARM 서버에 올려 운영 봇 옆에 붙이기까지의 과정이다. 바로 올리면 안되나 옮기기 전에 확인할 게 셋이었다. 먼저 맥에서만 도는 학습 결과물을 서버용으로…