Ollama를 설치는 했는데 어떻게 활용해야 할지 막막하신 분들 많으시죠? 명령 프롬프트에 검은 화면만 떠 있으면 살짝 당황스럽기도 하고요. 저도 처음에 그랬습니다. ‘이걸로 뭘 할 수 있지?’ 싶었는데, 알고 보니 정말 다양하게 활용할 수 있더라고요.
오늘은 Ollama를 설치하신 분들을 위해 실행 방법부터 실제로 잘 활용하는 노하우, 그리고 용도별 추천 LLM 모델까지 깔끔하게 정리해 드리겠습니다. 이 글 하나면 Ollama를 100% 활용하실 수 있을 거예요.
Ollama 실행 방법
Ollama를 실행하는 방법은 크게 두 가지가 있습니다. 명령 프롬프트로 직접 사용하는 방법과 GUI 프로그램을 통해 사용하는 방법인데요, 각각의 방법을 알려드릴게요.
명령 프롬프트로 실행하기
가장 기본적인 방법입니다. Windows 검색창에 ‘cmd’를 입력해서 명령 프롬프트를 열거나, PowerShell을 실행하세요. 그다음 ‘ollama run 모델명’을 입력하면 바로 AI와 대화를 시작할 수 있습니다.
예를 들어 ‘ollama run llama3.2’를 입력하면 Llama 3.2 모델이 실행됩니다. 처음 실행할 때는 모델을 자동으로 다운로드하기 때문에 몇 분 정도 기다려야 해요. 다운로드가 끝나면 ‘>>> ‘ 표시가 나타나고, 이제 ChatGPT처럼 질문을 입력하면 됩니다. 대화를 끝내고 싶으면 ‘/bye’를 입력하시면 돼요.
GUI 프로그램으로 편하게 사용하기
매번 명령 프롬프트를 여는 게 불편하시다면 GUI 프로그램을 추천드립니다. 가장 인기 있는 것은 OpenWebUI인데, ChatGPT와 거의 똑같은 웹 화면으로 Ollama를 사용할 수 있어요. 대화 기록도 저장되고 여러 모델을 쉽게 전환할 수 있습니다.
이 외에도 Msty, LM Studio, Chatbox AI 같은 프로그램들이 있으니 본인 취향에 맞는 걸 선택하시면 됩니다. 설치도 간단해서 다운로드 후 실행만 하면 자동으로 Ollama와 연결돼요.
초보자라면 명령 프롬프트보다는 OpenWebUI나 Msty 같은 GUI 프로그램으로 시작하시는 것이 훨씬 편하고 직관적입니다.
Ollama 활용 꿀팁
Ollama를 단순히 챗봇으로만 사용하면 그 진가를 모르고 지나가는 거예요. 실제로 Ollama는 정말 다양한 곳에 활용할 수 있습니다. 제가 실제로 사용하면서 느낀 활용 노하우를 공유해 드릴게요.
일상에서 활용할 수 있는 다양한 방법들입니다.
- 문서 작성 도우미: 이메일, 보고서, 블로그 글 작성 시 초안 만들기
- 코딩 보조: 코드 작성, 디버깅, 주석 작성, 리팩토링
- 번역 도구: 한국어, 영어, 일본어 등 다국어 번역 (개인정보 안전)
- 학습 보조: 어려운 개념 설명, 시험 문제 만들기, 요약 정리
- 창작 도구: 소설, 시나리오, 마케팅 문구 아이디어 생성
- 데이터 분석: 텍스트 분류, 감정 분석, 정보 추출
Ollama는 시스템 프롬프트를 활용하면 훨씬 강력해집니다. ‘Modelfile’이라는 설정 파일로 AI의 역할과 성격을 미리 정해둘 수 있어요. 예를 들어 ‘당신은 친절한 영어 선생님입니다’라고 설정해두면, 매번 그 역할로 답변해 줍니다. ‘ollama create 이름 -f Modelfile’ 명령어로 나만의 커스텀 모델을 만들 수 있어요.
Ollama의 가장 큰 강점은 개인정보를 외부로 전송하지 않기 때문에 회사 기밀 문서, 개인 일기, 민감한 의료 정보 등을 마음 놓고 다룰 수 있다는 점입니다.
또한 Ollama는 API를 제공하기 때문에 본인이 만드는 프로그램이나 자동화 스크립트에 AI 기능을 쉽게 추가할 수 있습니다. localhost:11434 주소로 API 요청을 보내면 끝이에요. n8n이나 LangChain 같은 도구와 연동하면 자동화 워크플로우도 만들 수 있습니다.
그리고 잘 알려지지 않은 꿀팁 하나 더 알려드리면, RAG(검색 증강 생성)라는 기능을 활용해 보세요. 내 PDF 문서나 텍스트 파일을 AI에게 학습시켜서 그 내용에 대해 질문할 수 있어요. AnythingLLM 같은 프로그램을 사용하면 클릭 몇 번으로 구현할 수 있습니다.
용도별 추천 LLM 모델
Ollama에는 정말 많은 모델이 있어서 어떤 걸 써야 할지 헷갈리실 거예요. 용도별로 추천 모델을 정리해 드릴게요. 본인의 사용 목적과 컴퓨터 사양에 맞춰 선택하시면 됩니다.
일반 대화 및 종합 활용
전체적으로 균형 잡힌 성능을 원하신다면 다음 모델들을 추천드립니다.
- llama3.2 (3B): 가볍고 빠른 Meta의 최신 모델, 일상 대화에 최적
- llama3.1 (8B): 더 똑똑한 답변을 원할 때 추천
- qwen2.5 (7B): 다국어 성능이 우수한 알리바바 모델
- gemma2 (9B): Google이 만든 효율적인 모델
- mistral (7B): 빠른 응답과 안정적인 성능
코딩 특화 모델
프로그래밍에 활용하실 분들에게 적합한 모델입니다.
- qwen2.5-coder: 현재 가장 강력한 오픈소스 코딩 모델
- codellama: Meta의 코드 생성 특화 모델
- deepseek-coder-v2: 다양한 프로그래밍 언어 지원
- codegemma: Google의 가벼운 코딩 모델
한국어 및 경량 모델
한국어를 잘하는 모델과 가벼운 모델도 알려드릴게요.
- EEVE-Korean: 한국어 특화 학습 모델, 자연스러운 한국어 대화
- exaone: LG가 만든 한국어 강력 모델
- phi3:mini (3.8B): Microsoft의 가벼운 고성능 모델
- gemma2:2b: 저사양 PC에서도 잘 돌아가는 모델
- tinyllama: 1GB 정도로 정말 가벼운 모델
참고로 모델 이름 뒤의 숫자(예: 7B, 8B, 70B)는 매개변수 개수를 의미합니다. 숫자가 클수록 똑똑하지만 그만큼 더 많은 메모리와 처리 능력이 필요해요. 본인 PC 사양을 고려해서 선택하세요.
일반적인 가이드라인을 드리면, RAM 8GB라면 3B 이하 모델, 16GB라면 7~9B 모델, 32GB 이상이면 13B~30B 모델이 적당합니다. 70B 같은 대형 모델은 전용 GPU와 충분한 VRAM이 필요해요. 처음에는 작은 모델로 시작해서 익숙해지면 점차 큰 모델로 옮겨가시는 걸 추천드립니다.
Ollama 활용 시 주의사항
Ollama가 강력한 도구인 것은 맞지만, 몇 가지 알아두셔야 할 주의사항이 있습니다. 이걸 모르면 답답함을 느끼실 수도 있거든요.
첫째, 로컬 AI는 ChatGPT나 Claude 같은 상용 AI보다 성능이 다소 떨어질 수 있습니다. 특히 작은 모델일수록 차이가 더 느껴져요. 복잡한 추론이나 최신 정보가 필요한 질문에는 한계가 있습니다. 다만 일반적인 작업에서는 충분한 성능을 보여주니 너무 걱정하지 마세요.
둘째, 인터넷 검색 기능이 기본적으로 없습니다. AI 모델이 학습한 시점 이후의 정보는 알지 못해요. 최신 정보가 필요하다면 OpenWebUI 같은 프로그램에 검색 플러그인을 추가하시거나, 별도로 정보를 찾아서 입력해 주셔야 합니다.
셋째, 한 번에 여러 모델을 동시에 실행하면 메모리 부족으로 컴퓨터가 느려질 수 있습니다. ‘ollama ps’ 명령어로 실행 중인 모델을 확인하고, 안 쓰는 모델은 종료해 주세요. 자동으로도 일정 시간이 지나면 메모리에서 내려가지만, 수동 관리가 더 효율적입니다.
마지막으로 모델 파일은 디스크 용량을 정말 많이 차지합니다. ‘ollama list’로 설치된 모델을 확인하고, 사용하지 않는 모델은 ‘ollama rm 모델명’으로 삭제해서 용량을 관리하세요. 한 번 써보고 안 맞는다 싶으면 과감하게 지워도 됩니다. 언제든 다시 다운로드 받을 수 있으니까요.
Ollama는 처음에는 어렵게 느껴질 수 있지만, 한 번 익숙해지면 정말 강력한 무기가 됩니다. 무료로, 무제한으로, 그리고 안전하게 AI를 활용할 수 있다는 건 정말 큰 장점이에요. 오늘 알려드린 활용 방법과 추천 모델로 여러분만의 AI 비서를 만들어 보세요. 분명 일상이 한결 편해지실 겁니다!