Windows에 Ollama 설치하고 CMD에서 로컬 AI 첫 답변 받기
Windows PC에서 직접 AI를 실행해 보려면 Ollama 프로그램과 사용할 모델을 준비하세요. 이 글에서는 공식 경로로 Ollama를 설치하고 gemma3:1b 모델을 내려받은 뒤, 명령 프롬프트(CMD)에서 짧은 질문을 보내는 순서를 설명합니다. ChatGPT 웹사이트에 로그인하거나 OpenAI API 키를 만드는 작업과는 별개입니다.
작은 모델도 PC 메모리와 저장 공간을 사용합니다. 모델을 내려받을 때는 인터넷이 필요하며, 다운로드 크기와 실행 중 필요한 메모리는 같은 값이 아닙니다. 업무 PC라면 설치 허용 여부와 모델 라이선스를 먼저 확인하세요.
준비할 것과 확인 범위
이 글의 명령문은 Windows의 명령 프롬프트(CMD) 기준입니다. PowerShell의 환경 변수 설정 예문을 CMD에 섞지 않습니다. 설치 파일은 Ollama 공식 Windows 다운로드에서 찾습니다. 광고나 이름이 비슷한 제3자 설치 파일은 사용하지 않습니다.
공식 Windows 문서는 지원 조건, 설치 위치, 추가 모델 저장 공간을 안내합니다. 현재 PC가 지원 조건에 맞는지 먼저 읽으세요. 기본 사용자 설치에는 관리자 권한이 필요 없다고 설명하지만, 회사의 설치 정책까지 없다는 뜻은 아닙니다. Ollama Windows 공식 문서
여기서는 웹 문서와 명령문의 의미를 확인했습니다. 실제 Windows에 설치하거나 모델 응답을 받지는 않았습니다. 아래 기대 결과는 독자가 자신의 환경에서 확인할 기준입니다.
1. 프로그램 설치와 모델 설치 구분하기
공식 설치 파일을 실행해 프로그램 설치를 마칩니다. 예상하지 않은 권한 요청이나 조직 차단이 나타나면 안내를 읽고 중단할 수 있어야 합니다. 보안 경고를 우회하거나 설치 정책을 변경하지 않습니다.
설치가 끝난 뒤 새 CMD 창을 열고 다음을 실행합니다.
ollama --version
ollama ls첫 줄에서는 설치된 프로그램의 실제 버전을 기록합니다. 두 번째 줄은 로컬 모델 목록을 확인하는 용도이며 Ollama CLI 안내의 ls 명령을 사용합니다. 아직 모델이 없다면 목록이 비어 있을 수 있습니다. 프로그램 설치 성공과 모델 준비 완료를 따로 적어야 합니다.
버전 확인부터 실패한다면 모델 다운로드로 넘어가지 않습니다. “명령을 찾을 수 없음”은 먼저 설치 위치와 새 CMD 창의 경로 인식 상태를 확인할 문제입니다. 정확한 오류 문구를 남기고 PATH 전체를 덮어쓰지 마세요.
2. 예제 모델의 태그와 조건 확인하기
공식 gemma3:1b 모델 페이지는 이 태그를 텍스트 모델로 안내하고, 조사 시점에 약 815MB의 모델 항목을 표시했습니다. 이 수치는 2026-10-04 KST에 확인한 표시값입니다. 추가 저장 공간과 실제 메모리 요구를 모두 포함한 값은 아니며 이후 달라질 수 있습니다.
같은 페이지의 더 큰 멀티모달 모델 설명을 이 1b 태그에 그대로 적용하면 안 됩니다. 이 실습은 이미지 입력을 사용하지 않습니다. 모델 라이선스 링크를 읽고, 사용할 수 있는 조건에 맞을 때만 진행합니다.
이 태그를 선택한 목적은 명령 흐름을 확인하는 것입니다. 모든 업무에 적합하다거나 더 큰 모델과 같은 답변 품질을 낸다는 평가를 붙이지 않습니다.
모델을 실행하기 전에 앞에서 기록한 ollama --version 값을 확인합니다. 공식 Gemma 3 모델 안내의 최소 조건은 Ollama 0.6 이상입니다. 버전이 이보다 낮다면 모델 이름을 바꾸거나 반복 다운로드하지 말고, 공식 설치 경로와 회사의 업데이트 허용 여부를 먼저 확인하세요. 이 조건은 2026-10-14 KST에 다시 확인했으며, 설치 성공이나 해당 PC에서의 실행 속도를 보장하는 값은 아닙니다.
3. 로컬 모델 실행하고 한 문장 입력하기
새 CMD에서 다음을 실행합니다.
ollama run gemma3:1b모델이 준비되어 있지 않으면 다운로드가 진행될 수 있습니다. 프로그램 존재, 다운로드 완료, 대화 입력 상태를 순서대로 확인하세요. Ollama CLI 안내에서 모델 실행과 다운로드 명령을 확인할 수 있습니다. 대화 종료 명령 /bye는 Ollama 공식 대화 처리 소스에서도 확인할 수 있습니다.
대화 입력 상태가 되면 개인정보가 없는 다음 문장을 입력합니다.
한국어로 인사 한 문장만 써 주세요.확인할 것은 응답이 돌아오는지와 어떤 문장이 나왔는지입니다. AI 문장은 매번 같다고 보장할 수 없으므로 “안녕하세요”라는 특정 글자와 정확 일치해야 설치 성공이라는 기준을 쓰지 않습니다. 입력한 문장·실제 응답·모델 태그를 함께 남깁니다.
대화를 마칠 때는 다음을 입력합니다.
/byeCMD 프롬프트로 돌아왔는지 확인합니다. 프로그램 종료와 모델 삭제를 혼동하지 않습니다. 이 예제는 다운로드한 모델을 자동 삭제하지 않습니다.
단계별 오류를 복구할 때
ollama를 인식하지 못함: 프로그램 설치 단계와 새 CMD의 경로 인식을 확인합니다. 모델명 오류와 섞지 않습니다- 모델 다운로드 실패: 정확한 태그, 오류 문구, 남은 저장 공간과 연결 상태를 확인합니다. TLS 검증이나 보안 기능을 끄지 않습니다
- 서버 연결 실패: 명령어는 존재해도 백그라운드 프로그램 상태가 다를 수 있습니다. 공식 Windows 문서의 로그 위치와 현재 실행 상태를 확인합니다
- 응답이 느림: 실제 PC 사양·메모리·모델 태그와 실행 조건을 기록합니다. 이 글에는 속도 측정값이 없습니다
한 번에 설치 위치, 모델 저장 경로, 드라이버를 모두 바꾸지 않습니다. 확인한 원인에 해당하는 한 단계만 다시 시험해야 전후 차이를 알 수 있습니다.
명령을 찾지 못하면 설치 파일과 경로 검색을 나누어 확인합니다
새 CMD에서 아래 두 줄을 각각 실행해 결과를 기록합니다. 첫 줄은 현재 폴더와 PATH에서 찾은 경로를, 둘째 줄은 공식 사용자 설치의 기본 위치에 실행 파일이 있는지를 확인하는 조회입니다.
where ollama
dir "%LOCALAPPDATA%\Programs\Ollama\ollama.exe"where가 찾지 못했지만 dir에 파일이 나온다면 기본 위치에 파일은 있고 명령 검색은 실패한 상태입니다. 파일이 보인다는 사실만으로 정상 설치나 실행 성공까지 확정하지 않습니다. 둘 다 찾지 못해도 사용자 지정 설치 위치가 있을 수 있으므로 곧바로 재설치하지 않습니다. 설치할 때 선택한 위치를 확인하고, 예상하지 않은 경로나 여러 경로가 나오면 그 경로부터 확인하세요. PATH를 통째로 바꾸거나 출처가 불명확한 실행 파일을 열지 않습니다. Microsoft의 where 설명, dir 설명과 Ollama의 기본 설치 위치를 참고했습니다.
서버 연결 오류는 기존 로그에서 실패 시점을 찾습니다
명령은 인식되는데 서버 연결에 실패했다면 같은 CMD에서 기존 서버 로그를 읽습니다.
type "%LOCALAPPDATA%\Ollama\server.log"오류가 발생한 시각과 가까운 항목을 대조합니다. 파일이 없거나 접근이 거부되면 그 메시지를 그대로 기록하고 중단합니다. 이 조회가 서버를 시작하거나 오류를 복구하는 것은 아닙니다. Ollama Windows 문서는 이 위치의 server.log를 최근 서버 로그로 안내하며, Microsoft의 type 설명은 텍스트 파일을 변경하지 않고 읽는 명령이라고 설명합니다. 문의할 때는 필요한 오류 부분만 남기고 사용자 이름·개인 경로 등은 가리세요.
추가한 조회 명령과 조건은 공식 문서 기준이며 실제 Windows 실행은 아직 확인하지 않았습니다. 이 글의 미검증 범위는 그대로 유지합니다.
로컬과 클라우드 선택 확인하기
Ollama의 현재 시작 안내에는 클라우드 모델을 쓰는 경로도 있습니다. Ollama를 설치했다는 이유만으로 모든 요청이 무료이거나 오프라인에서 처리된다고 단정할 수 없습니다. 이 글의 명령은 공식 페이지에서 확인한 로컬 gemma3:1b 태그를 대상으로 합니다. 다른 태그·연결 서비스로 바꿀 때는 전송 대상과 이용 조건을 다시 확인합니다.
실제 회사 자료는 이 첫 실행 시험에 넣지 않습니다. 로컬 처리 여부와 데이터 보관·접근 범위도 이 명령 하나만으로 완전히 인증되는 것은 아닙니다.
업무 입력은 정답을 따로 준비하기
첫 인사 응답을 확인한 다음에도 실제 회사 자료로 곧바로 넘어가지 않습니다. AI가 계산식이나 자동화 코드를 제안할 때는 가상 입력과 기대값을 먼저 갖춰 대조해야 합니다. AI에 Excel 수식·VBA를 요청하기 전 검산하는 실습에서 입력 계약을 따로 연습할 수 있습니다. 설치 성공과 업무 결과의 정확성은 각각 확인합니다.
기록과 적용 한계
아래 기록 양식을 복사해 OS 버전, Ollama 버전, 태그, 다운로드 상태, 실제 응답과 종료 결과를 적습니다. 아직 관찰하지 않은 칸은 비워 둡니다. 설치가 됐다는 추측으로 성공 값을 미리 채우지 않습니다.
실제 시험일:
Windows 버전:
Ollama 버전:
모델 태그: gemma3:1b
다운로드 상태:
실제 입력:
실제 응답:
/bye 뒤 상태:
오류와 복구:공식 문서와 모델 페이지를 2026-10-04 KST에 확인했으며 Windows 설치·모델 다운로드·CPU/GPU 실행·한국어 응답은 미검증입니다. 이 글은 현재 공식 설치 절차를 소개하는 설명용 가이드입니다. 실제 성공 사례나 속도 측정 기록이 필요할 때는 Windows에서 같은 흐름을 직접 확인해야 합니다.
작성자 소개
