한 달 전부터 갑자기 AI 바람이 불어서 Google Cloud와 AI studio 등에 가입하고, 집에 있는 리눅스 서버에 Agent 프로그램인 OpenClaw를 설치해서 업무 자동화와 내 일상생활에 AI 비서(바비)를 활용하기 시작했다. 아직 사용한지 얼마되지 않아 많은 일들에 적용한 것은 아니지만, 그래도 일정이나 이메일 관리부터 가계부 작성 그리고 지난 3년간 상담 자료의 DB화 등 일상생활에 변화가 느껴질만큼 많은 도움을 받고 있다. 오늘은 구글 제미나이나 챗GPT 등과 같은 클라우드를 이용하지 않고 집에서 사용중인 Window PC에 Local LLM 모델을 설치하는 작업을 시도해 봤다. 유틸리티는 LM studio를 사용했고 모델은 알리바바에서 26년 초에 배포한 Qwen3.5 4B/9B 모델을 이용하였다.
물론 제미나이를 사용할 때에 비하면 확실히 속도는 늦지만, 질문에 대한 자세한 분석이나 스스로 웹검색을 통한 자료 보충 등 로컬 모델치고는 준수한 성능을 보여준다. 놀이방에 있는 게이밍 PC (Nvidia 4070Ti)에서는 속도도 많이 느리지 않고 실제로 업무에 적용할 만한 성능을 보여주었다. (Qwen3.5 모델은 2025년 초까지의 자료를 학습한 모델)
Local LLM 이라고 해서 사실 기대하지 않고 그냥 설치해 보았는데, 인터넷 연결 없이도 옛날 슈퍼컴퓨터 정도의 성능을 보여주는 것을 보니 정말 격세지감을 느낀다. 이런 속도로 AI가 계속 발전한다면 3년 후에 인간들은 무엇을 하고 있을까?
