요즘 ChatGPT 같은 AI 챗봇을 사용하시는 분들이 정말 많아졌습니다. 그런데 매번 인터넷에 접속해야 하고, 민감한 내용을 입력하기에는 살짝 꺼려지는 경우도 있죠. 또 유료 결제도 부담스럽고요. 이런 분들을 위한 완벽한 솔루션이 바로 Ollama입니다.
Ollama는 내 컴퓨터에 직접 AI 모델을 설치해서 인터넷 없이도 ChatGPT처럼 사용할 수 있게 해주는 무료 프로그램입니다. 오늘은 Ollama 설치 방법부터 폴더 구조까지 초보자분들도 쉽게 따라할 수 있도록 정리해 드리겠습니다.
Ollama가 뭔가요?
Ollama는 다양한 오픈소스 AI 언어 모델(LLM)을 내 컴퓨터에서 쉽게 실행할 수 있게 해주는 도구입니다. Meta의 Llama, Google의 Gemma, Microsoft의 Phi, 중국의 DeepSeek 등 유명한 AI 모델들을 명령어 한 줄로 다운받아 바로 사용할 수 있어요.
Ollama의 장점은 정말 매력적입니다.
- 완전 무료: 사용 횟수 제한이나 결제 없이 무제한 이용
- 오프라인 사용: 인터넷 없이도 작동
- 개인정보 보호: 모든 데이터가 내 컴퓨터에만 저장
- 빠른 응답 속도: 서버 대기 없이 즉시 답변
- 다양한 모델 선택: 수십 가지 AI 모델 중 골라서 사용
Ollama를 한 번 설치하면 ChatGPT 유료 결제 없이도 강력한 AI를 평생 무료로 사용할 수 있다는 점이 가장 큰 매력입니다.
다만 단점도 있습니다. 컴퓨터 사양이 어느 정도 받쳐줘야 한다는 점이에요. 특히 그래픽카드(VRAM)가 많을수록 더 큰 모델을 빠르게 사용할 수 있습니다. 그래도 요즘 일반적인 PC라면 작은 모델은 충분히 돌릴 수 있으니 너무 걱정하지 마세요.
Ollama 설치 방법
Ollama 설치는 정말 간단합니다. 일반 프로그램 설치하는 것과 거의 똑같아요. Windows 기준으로 설명드리겠습니다.
1단계: 다운로드
먼저 ollama.com 공식 사이트에 접속하셔서 Download 버튼을 눌러주세요. Windows, macOS, Linux 모두 지원하니 본인의 운영체제에 맞는 버전을 받으시면 됩니다. Windows 사용자라면 OllamaSetup.exe 파일이 다운로드 됩니다. 파일 크기는 약 700MB 정도이니 인터넷 속도에 따라 시간이 좀 걸릴 수 있어요.
2단계: 설치 실행
다운로드 받은 설치 파일을 더블클릭하면 설치가 시작됩니다. 별다른 옵션 선택 없이 ‘Install’ 버튼만 누르면 자동으로 설치가 완료돼요. 설치가 끝나면 자동으로 Ollama가 백그라운드에서 실행되며, 작업표시줄 우측 하단에 라마 모양 아이콘이 나타납니다.
3단계: 설치 확인 및 첫 모델 실행
설치가 제대로 됐는지 확인하려면 명령 프롬프트(cmd) 또는 PowerShell을 열고 ‘ollama –version’을 입력해 보세요. 버전 번호가 표시되면 성공입니다. 이제 첫 AI 모델을 실행해 볼까요? 명령 프롬프트에 ‘ollama run llama3.2’를 입력하면 자동으로 Llama 3.2 모델이 다운로드되고 바로 대화를 시작할 수 있습니다.
처음에는 모델 다운로드에 몇 분 정도 걸리지만, 한 번 받아두면 다음부터는 바로 실행됩니다. 가벼운 모델로 시작하시려면 ‘ollama run gemma2:2b’나 ‘ollama run phi3’을 추천드려요. 각각 2GB 정도라 부담 없이 사용할 수 있습니다.
Ollama 설치 경로와 디렉토리 구조
Ollama를 설치하면 어디에 어떤 파일들이 만들어지는지 궁금하실 거예요. 특히 AI 모델 파일은 용량이 크기 때문에 어디에 저장되는지 꼭 알아두셔야 합니다.
Windows에서 Ollama의 기본 설치 경로와 파일 위치는 다음과 같습니다.
- 프로그램 본체: C:\Users\사용자명\AppData\Local\Programs\Ollama
- 모델 저장 폴더: C:\Users\사용자명\.ollama\models
- 설정 및 로그: C:\Users\사용자명\.ollama
- 대화 기록: C:\Users\사용자명\.ollama\history
여기서 가장 중요한 건 .ollama\models 폴더입니다. AI 모델 파일들이 여기에 저장되는데, 모델 하나당 적게는 1GB, 크게는 30GB 이상까지 차지할 수 있어요. C 드라이브 용량이 부족하시다면 이 경로를 다른 드라이브로 변경하실 수도 있습니다.
모델 저장 경로를 변경하려면 시스템 환경변수에서 ‘OLLAMA_MODELS’라는 변수를 만들고 원하는 경로를 지정하시면 됩니다. 예를 들어 ‘D:\OllamaModels’ 이렇게요. 변경 후에는 Ollama를 재시작해야 적용됩니다.
AI 모델 파일은 용량이 매우 크기 때문에 가급적 SSD에 저장하시는 것이 응답 속도에 큰 영향을 미칩니다.
참고로 macOS는 ~/.ollama/models, Linux는 /usr/share/ollama/.ollama/models가 기본 경로입니다. .ollama 폴더 안에는 ‘models’ 폴더 외에도 ‘logs’, ‘history’ 같은 하위 폴더가 있는데, 이건 Ollama가 자동으로 관리하니 신경 쓰지 않으셔도 돼요.
꼭 알아둘 기본 명령어와 활용 팁
Ollama는 기본적으로 명령어로 동작하기 때문에 자주 쓰는 명령어 몇 개만 알아두시면 됩니다. 정말 간단해요.
가장 많이 사용하는 명령어들입니다.
- ollama run [모델명]: 모델 실행 및 대화 시작
- ollama pull [모델명]: 모델만 다운로드 (실행은 안 함)
- ollama list: 설치된 모델 목록 확인
- ollama rm [모델명]: 모델 삭제 (용량 정리 시 유용)
- ollama ps: 현재 실행 중인 모델 확인
- /bye: 모델과의 대화 종료
처음 시작하시는 분들에게 추천하는 모델은 다음과 같습니다. 본인 컴퓨터 사양에 맞게 선택하세요.
- RAM 8GB 이하: gemma2:2b, phi3:mini (가볍고 빠름)
- RAM 16GB: llama3.2, mistral (균형 잡힌 성능)
- RAM 32GB 이상 + 좋은 GPU: llama3.1:70b, qwen2.5:32b (고성능)
- 한국어 특화: EEVE-Korean, exaone (한국어 성능 우수)
명령어로만 사용하기 불편하시다면 OpenWebUI나 Msty 같은 GUI 프로그램을 추가로 설치하시는 것도 좋은 방법입니다. ChatGPT와 비슷한 웹 화면으로 Ollama를 사용할 수 있어서 훨씬 편리해요.
그리고 Ollama는 API도 제공하기 때문에 개발자라면 본인이 만드는 프로그램에 AI 기능을 쉽게 통합할 수도 있습니다. 기본적으로 11434 포트에서 API가 실행되니 참고하세요.
Ollama 설치는 생각보다 정말 간단합니다. 다운로드받고, 실행하고, 명령어 한 줄 입력하면 끝이에요. 한 번 설치해두시면 인터넷 없이도, 결제 걱정 없이도 강력한 AI를 마음껏 활용하실 수 있습니다. 본인 PC 사양에 맞는 모델로 시작해서 점점 더 큰 모델로 확장해 나가시면 됩니다. 지금 바로 Ollama로 나만의 AI 비서를 만들어 보세요!