이미지 생성 AI를 매번 사이트에 접속해서 사용하다 보면 두 가지 고민이 생깁니다. 첫째는 비용이고, 둘째는 검열입니다. 그런데 이 두 가지를 한 번에 해결하는 방법이 있습니다. 바로 내 컴퓨터에 Stable Diffusion을 직접 설치해서 나만의 AI 이미지 생성 서버를 만드는 거죠. 한 번 설치해두면 이미지를 몇 만 장 만들어도 추가 비용이 0원이고, 인터넷 없이도 사용할 수 있습니다. 클로드코드와 연동하면 정말 강력한 자동화 도구가 되고요. 오늘은 컴퓨터를 잘 모르시는 분들도 따라하실 수 있도록 Stable Diffusion 설치의 모든 것을 자세히 알려드리겠습니다. AMD 그래픽카드 사용자분들이 궁금해하시는 호환성 문제까지 깔끔하게 정리해드릴게요.
Stable Diffusion이 뭔가요?
먼저 Stable Diffusion이 뭔지부터 알아야겠죠. 한마디로 말하면 “무료로 공개된 이미지 생성 AI”입니다. DALL-E나 Midjourney처럼 “고양이가 우주를 날아다니는 그림” 같은 글을 입력하면 그림을 만들어주는 AI인데, 가장 큰 차이점은 오픈소스로 공개되어 있어서 누구나 무료로 자기 컴퓨터에 설치해서 쓸 수 있다는 점입니다.
로컬 설치란 무슨 뜻인가요?
“로컬”이라는 말은 외부 서버가 아닌 “내 컴퓨터”를 의미합니다. 평소 우리가 챗GPT나 Midjourney를 쓸 때는 그 회사의 서버에 접속해서 사용하는 거잖아요. 그런데 Stable Diffusion을 로컬에 설치하면 내 컴퓨터의 그래픽카드(GPU)가 직접 이미지를 만들어냅니다. 인터넷이 없어도 작동하고, 만든 이미지는 외부로 전송되지 않으니 프라이버시도 안전합니다.
대표적인 설치 방식들
Stable Diffusion을 설치하는 방법은 여러 가지가 있는데 가장 많이 쓰이는 것들은 다음과 같습니다.
- AUTOMATIC1111 (A1111): 가장 유명한 웹 UI 버전, 기능이 풍부하고 자료가 많음
- ComfyUI: 노드 기반 인터페이스, 자동화와 정밀 제어에 강점, 클로드코드 연동에 최적
- Forge: A1111을 개선한 버전, 더 빠르고 메모리 효율적
- Stability Matrix: 위 도구들을 한 번에 관리할 수 있는 통합 관리 프로그램, 초보자에게 추천
처음 시작하시는 분들에게는 Stability Matrix를 추천드립니다. 클릭 몇 번으로 자동 설치가 가능해서 가장 쉽거든요.
로컬 설치의 장점
본격적인 설치 방법으로 들어가기 전에, 왜 로컬 설치를 해야 하는지 장점들을 정리해보겠습니다.
비용이 0원입니다
가장 큰 매력입니다. DALL-E로 이미지 1만 장 만들면 50~80만 원이 나오는데, 로컬은 전기세 정도만 들어요. 블로그를 운영하시거나 SNS 콘텐츠를 많이 만드시는 분들에게는 정말 큰 차이입니다. 한 번 설치해두면 평생 무제한 무료입니다.
검열이 없습니다
상업용 API들은 폭력적이거나 선정적인 이미지뿐 아니라 유명인 얼굴, 특정 브랜드, 심지어 평범한 단어도 막히는 경우가 많습니다. 로컬은 본인 책임 하에 자유롭게 사용할 수 있습니다. 물론 법적, 윤리적 책임은 본인에게 있다는 점은 명심하셔야 합니다.
무한한 커스터마이징
Civitai 같은 사이트에서 수만 개의 무료 모델과 LoRA(추가 학습 데이터)를 받을 수 있습니다. 애니메이션 스타일, 사진 스타일, 특정 화가 스타일 등 원하는 거의 모든 스타일을 사용할 수 있어요. 직접 학습시켜서 본인만의 스타일을 만들 수도 있습니다.
프라이버시 보호
내가 만든 이미지나 입력한 프롬프트가 외부 서버로 절대 전송되지 않습니다. 민감한 작업이나 회사 자료를 다룰 때 안심이 됩니다.
오프라인 작동
인터넷이 없어도 작동합니다. 비행기 안이든 어디든 사용 가능합니다.
로컬 설치의 단점
장점만 있는 건 아닙니다. 설치 전에 알아두셔야 할 단점들도 있습니다.
그래픽카드가 좋아야 합니다
이게 가장 큰 진입 장벽입니다. 일반 사무용 컴퓨터로는 거의 불가능하고, 게이밍 PC 정도는 되어야 합니다. 사양이 부족하면 아예 실행이 안 되거나 한 장 만드는 데 5분씩 걸립니다.
전기 요금과 발열
GPU를 풀로드로 돌리면 시간당 200~400W의 전력을 소모합니다. 하루 종일 돌리면 한 달 전기세가 만 원 이상 늘어날 수 있어요. 발열도 상당해서 여름에는 방이 더워지는 부작용도 있습니다.
디스크 용량 압박
모델 파일 하나가 보통 2~7GB입니다. 여러 모델을 받다 보면 금방 100GB가 넘어갑니다. SSD 여유 공간을 충분히 확보해두셔야 합니다.
최신 모델은 시간차
DALL-E 3나 Midjourney v6 같은 상업용 최신 모델은 로컬에서 못 씁니다. Stable Diffusion 계열의 오픈소스 모델만 사용 가능합니다. 다만 SDXL, FLUX 같은 최신 오픈 모델들도 품질이 매우 좋아서 큰 아쉬움은 없어요.
필요한 컴퓨터 사양 정리
가장 중요한 부분입니다. 본인 컴퓨터로 사용 가능한지 꼭 확인하세요.
최소 사양 (느리지만 작동은 함)
이 정도면 일단 돌아갑니다. 하지만 한 장 만드는 데 30초~1분 정도 걸려서 답답할 수 있어요.
- 그래픽카드: NVIDIA GTX 1060 6GB 또는 RTX 3050 8GB
- RAM: 16GB
- 저장공간: SSD 100GB 여유
- 운영체제: Windows 10/11, macOS, Linux
권장 사양 (쾌적하게 사용)
이 정도면 한 장 만드는 데 5~10초 정도라 진짜 쾌적하게 쓸 수 있습니다.
- 그래픽카드: NVIDIA RTX 3060 12GB 또는 RTX 4060 Ti 16GB
- RAM: 32GB
- 저장공간: NVMe SSD 500GB
고사양 (전문가용)
RTX 4070 Ti 이상이면 한 장에 2~5초, 고해상도와 영상 작업까지 가능합니다.
VRAM 용량별 가능한 작업
그래픽카드 메모리(VRAM) 용량에 따라 할 수 있는 작업이 다릅니다.
- 6GB: SD 1.5 모델만 가능, 512×512 정도
- 8GB: SDXL도 빠듯하지만 가능, 1024×1024 가능
- 12GB: SDXL 쾌적, ControlNet 여러 개 동시 사용
- 16GB: FLUX 모델, 고해상도 작업, LoRA 학습까지
- 24GB 이상: 거의 모든 작업 가능
AMD 그래픽카드도 설치 가능할까?
많은 분들이 궁금해하시는 부분입니다. 결론부터 말씀드리면 가능하긴 한데 NVIDIA보다 훨씬 까다롭습니다.
AMD 호환성 현황
Stable Diffusion은 원래 NVIDIA의 CUDA 기술을 기반으로 만들어졌습니다. AMD 그래픽카드는 ROCm이라는 다른 기술을 써야 하는데, 이게 NVIDIA만큼 안정적이지 않습니다. 그래도 최근에는 AMD 호환성이 많이 개선됐습니다.
AMD에서 사용하는 방법
AMD 그래픽카드에서 Stable Diffusion을 쓰는 방법은 몇 가지가 있습니다.
- DirectML 버전: 윈도우에서 가장 쉬운 방법, AUTOMATIC1111의 DirectML 포크 사용
- ROCm + Linux: 가장 좋은 성능을 내지만 리눅스 환경 필요
- ZLUDA: CUDA를 AMD에서 쓸 수 있게 해주는 프로젝트, 점점 인기
- SHARK 또는 Amuse: AMD 전용으로 만들어진 도구
AMD 사용 시 주의사항
AMD에서 사용할 때 알아두셔야 할 점들이 있습니다. 같은 가격대 NVIDIA 제품 대비 속도가 30~50% 정도 느린 경우가 많습니다. 호환성 문제로 어떤 모델은 작동이 안 되거나 에러가 나기도 합니다. 설치 과정도 NVIDIA보다 훨씬 복잡해서 초보자에게는 추천하지 않습니다. 라데온 RX 6000 시리즈 이상은 그나마 사용 가능하지만, 그 이하는 거의 어렵습니다.
솔직한 조언을 드리자면, AMD 그래픽카드를 가지고 계시다면 로컬 설치보다는 API나 클라우드 GPU를 쓰시는 게 정신 건강에 좋습니다. 굳이 AMD로 도전하시려면 RX 7000 시리즈 정도는 되어야 그나마 쾌적합니다.
맥(애플 실리콘)은 어떨까?
M1, M2, M3, M4 같은 애플 실리콘 맥은 의외로 잘 됩니다. 메모리 통합 구조 덕분에 16GB 통합 메모리 이상이면 사용 가능해요. NVIDIA보다 느리지만 AMD보다는 안정적입니다. M2 Pro 기준 한 장에 15~30초 정도 걸립니다.
가장 쉬운 설치 방법, Stability Matrix
이제 본격적인 설치 방법입니다. 가장 쉬운 Stability Matrix를 기준으로 설명드릴게요.
Stability Matrix 다운로드
구글에서 “Stability Matrix github”으로 검색하시면 공식 깃허브 페이지가 나옵니다. Releases 메뉴에서 본인 운영체제에 맞는 설치 파일을 받으세요. 윈도우는 .exe 파일, 맥은 .dmg 파일을 받으시면 됩니다.
설치 진행
받은 파일을 실행하면 일반 프로그램처럼 설치가 진행됩니다. 처음 실행하면 어떤 도구를 설치할지 묻는데, 초보자분들은 AUTOMATIC1111이나 ComfyUI를 선택하시면 됩니다. 클로드코드와 연동하실 거라면 ComfyUI를 추천드려요.
모델 다운로드
이미지를 만들려면 “체크포인트”라고 부르는 AI 모델 파일이 필요합니다. Stability Matrix 안에서 “Model Browser” 메뉴로 가시면 인기 모델들을 클릭 한 번으로 받을 수 있어요. 처음에는 “Realistic Vision” 같은 사실적인 모델이나 “DreamShaper” 같은 만능 모델을 받아보시면 좋습니다.
실행하고 첫 이미지 만들기
모델까지 받으셨으면 “Launch” 버튼을 눌러 실행합니다. 잠시 후 웹 브라우저가 열리면서 인터페이스가 나타납니다. 텍스트 박스에 “a beautiful autumn forest, sunlight, 4k, masterpiece” 같은 프롬프트를 영어로 입력하고 Generate 버튼을 누르면 첫 번째 AI 이미지가 만들어집니다. 신기하지 않나요?
클로드코드와 연동하면 진짜 강력해집니다
Stable Diffusion 자체로도 충분히 좋지만, 클로드코드와 연동하면 진짜 자동화 머신이 됩니다.
ComfyUI API 활용
ComfyUI는 기본적으로 API 서버를 함께 실행해줍니다. 이걸 클로드코드와 연결하면 “가을 풍경 50장 만들어줘” 같은 명령으로 한 번에 50장을 자동 생성할 수 있습니다. 클로드코드한테 “ComfyUI API와 연동하는 스크립트 만들어줘”라고 하면 알아서 다 해줍니다.
설치 도움받기
설치하다가 막히는 부분이 있으면 클로드코드에게 그냥 물어보세요. 에러 메시지를 그대로 복사해서 “이 에러 어떻게 고쳐?”라고 하면 단계별로 해결 방법을 알려줍니다. 저도 처음 설치할 때 클로드코드 도움을 정말 많이 받았어요.
이런 분들에게 추천드립니다
마지막으로 누구한테 추천하고 누구한테는 추천하지 않는지 정리해드릴게요.
로컬 설치를 추천하는 경우
- 이미지를 매월 수백~수천 장씩 만드시는 분
- 이미 게이밍 PC가 있고 NVIDIA 그래픽카드를 사용하시는 분
- 다양한 스타일을 자유롭게 실험하고 싶은 분
- 민감한 작업이나 회사 자료를 다루시는 분
- AI 이미지 생성에 깊이 빠지고 싶은 분
로컬 설치를 추천하지 않는 경우
- 그래픽카드가 없거나 사양이 부족한 분
- AMD 그래픽카드 중에서도 구형 모델 사용자
- 가끔 몇 장씩만 필요한 분
- 설치와 관리 부담을 피하고 싶은 분
- 최신 최고 품질 모델만 사용하고 싶은 분
절충안: 클라우드 GPU 대여
“로컬은 좋은데 GPU가 없어요” 하시는 분들을 위한 절충안도 있습니다. RunPod, Vast.ai 같은 서비스에서 시간당 천 원 정도에 RTX 4090을 빌릴 수 있어요. 필요할 때만 켜서 쓰고 끄면 비용도 합리적입니다.
처음 설치할 때는 좀 막막하실 수 있지만 한 번만 세팅해두면 진짜 평생 자산이 됩니다. 클로드코드 같은 AI 비서와 함께 진행하시면 어려운 부분도 잘 넘길 수 있어요. 매달 이미지 생성 비용으로 돈 쓰지 마시고, 본인 컴퓨터를 활용해서 무료 무제한 AI 이미지 생성 환경을 만들어보세요. 한 번 해보시면 “왜 진작 안 했지?” 하는 생각이 드실 거예요.