노트북에서 ChatGPT 같은 AI를 로컬 모드로 돌리기 위한 방법을 기록합니다.
올라마 설치 명령어
윈도우즈 파워쉘에서 실행하였습니다.
PS C:\Users\noraboza> irm https://ollama.com/install.ps1 | iex
Downloading Ollama for Windows…
################################## 100.0%
Installing Ollama…
Install complete. Run ‘ollama’ from the command line.
개발자용
PS C:\Users\noraboza> ollama pull qwen2.5-coder:7b
pulling manifest
pulling 60e05f210007: 100% ▕██████████████████████████████████████████████████████████▏ 4.7 GB
pulling 66b9ea09bd5b: 100% ▕██████████████████████████████████████████████████████████▏ 68 B
pulling 1e65450c3067: 100% ▕██████████████████████████████████████████████████████████▏ 1.6 KB
pulling 832dd9e00a68: 100% ▕██████████████████████████████████████████████████████████▏ 11 KB
pulling d9bb33f27869: 100% ▕██████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
PS C:\Users\noraboza> ollama pull qwen2.5-coder:1.5b
pulling manifest
pulling 29d8c98fa6b0: 100% ▕██████████████████████████████████████████████████████████▏ 986 MB
pulling 66b9ea09bd5b: 100% ▕██████████████████████████████████████████████████████████▏ 68 B
pulling 1e65450c3067: 100% ▕██████████████████████████████████████████████████████████▏ 1.6 KB
pulling 832dd9e00a68: 100% ▕██████████████████████████████████████████████████████████▏ 11 KB
pulling 152cb442202b: 100% ▕██████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
PS C:\Users\noraboza> ollama pull nomic-embed-text
pulling manifest
pulling 970aa74c0a90: 100% ▕██████████████████████████████████████████████████████████▏ 274 MB
pulling c71d239df917: 100% ▕██████████████████████████████████████████████████████████▏ 11 KB
pulling ce4a164fc046: 100% ▕██████████████████████████████████████████████████████████▏ 17 B
pulling 31df23ea7daa: 100% ▕██████████████████████████████████████████████████████████▏ 420 B
verifying sha256 digest
writing manifest
success
PS C:\Users\noraboza> ollama list
NAME ID SIZE MODIFIED
nomic-embed-text:latest 0a109f422b47 274 MB 8 minutes ago
qwen2.5-coder:1.5b d7372fd82851 986 MB 8 minutes ago
qwen2.5-coder:7b dae161e27b0e 4.7 GB 9 minutes ago
PS C:\Users\noraboza>
올라마 모델 qwen2.5-coder:7b 버전은 내 노트북 스펙에서 돌리기가 부담스러운 부분이 있어
qwen2.5-coder:3b 버전으로 다운그레이드하여 설치
PS C:\Users\noraboza> ollama run qwen2.5-coder:3b
pulling manifest
pulling 4a188102020e: 100% ▕██████████████████████████████████████████████████████████▏ 1.9 GB
pulling 66b9ea09bd5b: 100% ▕██████████████████████████████████████████████████████████▏ 68 B
pulling 1e65450c3067: 100% ▕██████████████████████████████████████████████████████████▏ 1.6 KB
pulling 45fc3ea7579a: 100% ▕██████████████████████████████████████████████████████████▏ 7.4 KB
pulling bb967eff3bda: 100% ▕██████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
Send a message (/? for help)
올라마 모델 삭제 명령어
PS C:\Users\noraboza> ollama rm qwen2.5-coder:7b
deleted ‘qwen2.5-coder:7b’
PS C:\Users\noraboza> ollama rm qwen2.5-coder:1.5b
deleted ‘qwen2.5-coder:1.5b’
올라마 모델 리스트 확인 명령어
PS C:\Users\noraboza> ollama list
NAME ID SIZE MODIFIED
qwen2.5-coder:3b f72c60cabf62 1.9 GB 20 minutes ago
nomic-embed-text:latest 0a109f422b47 274 MB About an hour ago
PS C:\Users\noraboza>