Local LLM·오픈소스
오픈 웨이트 모델, 양자화, 추론 엔진, 온디바이스 AI, 파인튜닝처럼 직접 돌리는 AI의 소식입니다.
자주 나오는 말: GGUF, llama.cpp, vLLM, Ollama, MLX, LoRA
이번 주 주목할 것
타임라인
-
Baseten, 초저가·고성능 2B 의사결정 모델 'joey-1' 공개
Baseten의 Base Labs가 Qwen3.5-2B를 기반으로 한 2B 파라미터 모델 joey-1을 출시했습니다. 이 모델은 텍스트 생성 대신 라벨과 확률을 반환하며, 분류 및 가드레일 체크에 최적화되었습니다.
-
미스트랄 AI, '라지 4' 오픈웨이트 공개 및 정식 출시
미스트랄 AI가 성능을 개선한 '미스트랄 라지 4'의 가중치를 공개하며 정식 출시했다. 기존 API 방식에서 벗어나 기업이 모델을 직접 내려받아 자체 시스템에 구축할 수 있다.
-
IBM, 소프트웨어처럼 업데이트 가능한 Granite Switch 4.1.1 출시
IBM이 모듈형 아키텍처를 활용한 Granite Switch 4.1.1 패치 버전을 공개했습니다. 이번 업데이트는 베이스 모델 수정 없이 어댑터만 교체하여 효율적인 배포가 가능합니다.