Ollama: 내 PC에서 LLM을 돌리는 가장 쉬운 방법

클라우드 AI를 쓰다 보면 매달 나가는 API 비용이 은근히 부담될 때가 있죠. 특히 보안 때문에 민감한 데이터를 외부 서버로 보내는 게 꺼려지는 상황이라면 더 고민이 깊어집니다.

저도 비슷한 고민을 하다가 로컬 환경에서 모델을 돌려보려고 여러 번 시도했는데요, 설정이 너무 복잡해서 포기하고 싶을 때가 많았습니다. 하지만 Ollama와 OpenClaw를 조합해 보니 정말 간단하게 해결되더라고요. 복잡한 설정 없이 내 컴퓨터의 자원을 활용해 강력한 LLM을 사용하는 방법을 공유해 드릴게요.

필요한 것

시작하기 전에 다음 두 가지만 준비해 주세요.

• 로컬 컴퓨터에 설치된 Ollama
• 최신 버전의 OpenClaw

빠른 시작

딱 5분 만에 설정을 끝내고 모델을 실행해 보겠습니다.

1. Ollama 설치: https://ollama.ai에서 운영체제에 맞는 버전을 내려받아 설치하세요.

2. 모델 다운로드: 터미널을 열고 원하는 모델을 가져옵니다.

ollama pull gpt-oss:20b
# 또는
ollama pull llama3.3
# 또는
ollama pull qwen2.5-coder:32b
# 또는
ollama pull deepseek-r1:32b

3. OpenClaw 연결: 환경 변수를 설정하여 Ollama를 활성화합니다. 실제 키가 아니어도 상관없으니 아무 값이나 입력하면 됩니다.

# 환경 변수 설정
export OLLAMA_API_KEY="ollama-local"

# 또는 설정 파일에서 직접 수정
openclaw config set models.providers.ollama.apiKey "ollama-local"

4. 모델 사용: 이제 설정 파일에서 Ollama 모델을 지정하기만 하면 됩니다.

{
  agents: {
    defaults: {
      model: { primary: "ollama/gpt-oss:20b" },
    },
  },
}

자동 모델 탐색 (Implicit Provider)

OLLAMA_API_KEY를 설정하고 별도의 models.providers.ollama 항목을 정의하지 않으면, OpenClaw가 알아서 http://127.0.0.1:11434에 접속해 모델을 찾습니다.

• /api/tags와 /api/show를 통해 로컬 모델을 조회합니다.
• 도구(tools) 사용이 가능한 모델만 필터링해서 가져옵니다.
• 모델이 thinking 기능을 보고하면 reasoning 기능을 활성화합니다.
• 모든 비용은 로컬 자원을 쓰기 때문에 0으로 처리됩니다.

현재 어떤 모델을 쓸 수 있는지 궁금하다면 아래 명령어를 입력해 보세요.

ollama list
openclaw models list

Configuration

수동 설정 (Explicit Setup)

Ollama가 다른 호스트에서 돌아가거나, 도구 기능이 없는 모델을 강제로 추가하고 싶을 때는 직접 설정을 작성해야 합니다.

{
  models: {
    providers: {
      ollama: {
        // OpenAI 호환 API를 위해 /v1을 포함한 주소를 사용하세요
        baseUrl: "http://ollama-host:11434/v1",
        apiKey: "ollama-local",
        api: "openai-completions",
        models: [
          {
            id: "gpt-oss:20b",
            name: "GPT-OSS 20B",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 8192,
            maxTokens: 81920
          }
        ]
      }
    }
  }
}

스트리밍 설정

Ollama의 응답 형식 특성상, 도구 사용 모델에서 출력이 깨지는 현상이 발생할 수 있습니다. 그래서 OpenClaw는 Ollama 모델에 한해 스트리밍을 기본적으로 비활성화했습니다.

만약 출력이 조금 늦더라도 안정적인 결과를 원한다면 기본 설정을 유지하는 것이 좋습니다. 그래도 스트리밍을 꼭 써야겠다면 아래처럼 개별 모델 설정에서 켤 수 있습니다.

{
  agents: {
    defaults: {
      models: {
        "ollama/gpt-oss:20b": {
          streaming: true,
        },
      },
    },
  },
}

문제 해결

Ollama를 찾지 못할 때

Ollama가 실제로 실행 중인지 확인해 보세요. 터미널에서 다음 명령어로 응답이 오는지 체크하면 됩니다.

curl http://localhost:11434/api/tags

응답이 없다면 ollama serve 명령어로 서비스를 다시 시작하세요.

모델 목록이 비어 있을 때

OpenClaw는 기본적으로 도구(tool) 기능을 지원하는 모델만 자동으로 가져옵니다. 사용하려는 모델이 이 기능을 지원하는지 확인하거나, 수동 설정(Explicit setup)을 통해 모델을 직접 등록해 주세요.

응답 텍스트가 깨질 때

응답에 sessions_send 같은 도구 이름이 섞여 나오거나 글자가 파편화되어 보인다면 스트리밍 문제입니다. 설정에서 streaming: false로 되어 있는지 다시 한번 확인해 보세요. 최신 버전의 OpenClaw를 사용하면 이 문제는 자동으로 해결됩니다.

로컬 LLM 설정이 생각보다 어렵지 않죠? 이제 비용 걱정 없이 마음껏 모델을 테스트해 보세요. 설정하다가 막히는 부분이 있다면 언제든 도움을 드릴게요.

도움이 더 필요하신가요? AI Setup Assistant에게 물어보세요!

다음 단계

• Model Providers - 다른 서비스 제공자 알아보기
• Model Selection - 나에게 맞는 모델 고르는 법
• Gateway Configuration - 상세 설정 가이드
• Agent Settings - 에이전트 최적화하기