1nfratech1nfra Tech

Ollama는 내 PC나 GPU 서버에서 오픈 웨이트 LLM을 내려받아 실행하고 API로 제공하는 도구이고, Open WebUI는 그 API에 붙는 ChatGPT 형태의 웹 화면입니다. 둘을 함께 쓰면 데이터를 외부로 보내지 않는 사내용 챗봇을 몇 개의 명령으로 만들 수 있습니다. 다만 작은 모델은 질문이 모호하면 엉뚱하게 답하고, 버전과 설정에 따라 동작이 달라지므로 모델 크기와 설정을 직접 확인하며 쓰는 것이 중요합니다. 이 글에서는 Ollama와 Open WebUI의 구성을 정리하고, M1 Pro 맥북에서 gemma4와 qwen3.5를 실행해 속도, 메모리, API 호출, 웹 화면까지 확인합니다.1. 로컬 LLM을 쓰는 이유ChatGPT나 Claude 같은 서비스는 성능이 가장 좋지만, 입력한 데이..

Claude Code에 MCP 서버를 연결하면 사내 DB 조회나 사내 API처럼 기본 도구로 할 수 없던 일을 도구로 추가할 수 있습니다. 서버는 claude mcp add 명령 한 줄로 등록하며, 설정을 어디에 저장할지(scope)에 따라 나만 쓰는 서버가 될 수도 있고 git으로 팀과 공유하는 서버가 될 수도 있습니다. 연결된 서버의 도구는 mcp__서버__도구 형식의 이름을 가지며, 이 이름으로 권한 규칙과 hook을 걸어 실행 범위를 제한하고 호출 기록을 남깁니다. 이 글에서는 서버 등록 방법과 scope, 권한 규칙을 정리하고, AI 에이전트와 MCP 개념 정리에서 만든 읽기 전용 디스크 조회 서버를 Claude Code에 연결해 권한과 감사 로그가 어떻게 동작하는지 확인합니다.1. Claude..

하네스(harness)는 AI 에이전트에서 모델을 뺀 나머지 전부입니다. 모델에 무엇을 보여 줄지 정하는 컨텍스트, 모델이 요청한 도구를 실행하는 루프, 무엇을 허용하고 막을지 정하는 권한, 결과를 확인하는 검증이 모두 하네스에 속합니다. 같은 모델이라도 하네스에 따라 결과가 크게 달라지기 때문에, 에이전트가 처음부터 맞게 일하고 틀리면 스스로 고치도록 이 환경을 설계하는 일을 하네스 엔지니어링이라고 부릅니다. 이 글에서는 하네스의 구성 요소와 가이드, 센서 개념을 정리하고, Claude Code에서 CLAUDE.md와 hook으로 kubectl 삭제 명령을 막았을 때 결과가 어떻게 다른지 확인합니다.1. 하네스란harness는 원래 말에 채우는 마구를 뜻합니다. 말의 힘은 그대로 두고 그 힘이 원하는 ..

Claude는 Anthropic이 만든 대규모 언어 모델(LLM) 제품군이자, 그 모델을 쓰는 앱과 개발 도구를 함께 부르는 이름입니다. 같은 모델을 웹과 데스크톱 앱, 터미널의 Claude Code, API, 그리고 AWS, Google Cloud, Microsoft Foundry 같은 클라우드에서 쓸 수 있어서, 무엇을 쓸지보다 어떤 경로로 쓸지를 먼저 정하는 편이 이해가 빠릅니다. 이 글에서는 Claude의 모델 라인업과 쓰는 방법, 다른 LLM과 다른 점을 정리하고 Claude Code로 Pod 로그를 분석하는 과정을 확인합니다.1. Claude란Claude를 이야기할 때는 두 가지를 구분해야 합니다. 하나는 텍스트와 이미지를 입력받아 텍스트를 생성하는 모델 자체이고, 다른 하나는 그 모델 위에 ..

양자화(Quantization)는 모델의 숫자를 더 적은 비트로 줄여 저장하는 기술입니다. 이 글에서는 FP16, INT8, INT4, FP8이 어떻게 다른지, GPTQ와 AWQ 같은 방식이 오차를 어떻게 줄이는지, 그리고 A100 40GB 1장에 7B 모델을 올릴 때 메모리와 속도가 얼마나 달라지는지를 계산으로 정리합니다.1. 양자화란LLM의 가중치(Weight, 학습으로 정해진 숫자)는 보통 FP16이나 BF16으로 저장해서 숫자 하나에 2바이트를 씁니다. 7B 모델이면 가중치만 약 15GB입니다. 양자화는 이 숫자를 8비트나 4비트 같은 더 작은 형식으로 바꿔 저장하는 것입니다. 1mm 눈금 자 대신 5mm 눈금 자로 재는 것과 비슷해서, 적어 둘 칸은 줄지만 눈금 사이 값은 가장 가까운 눈금으로 ..

MIG(Multi-Instance GPU)는 GPU 한 장을 하드웨어 수준에서 최대 7개의 작은 GPU로 나누는 기능입니다. 나뉜 인스턴스마다 SM(연산 코어 묶음), 메모리, L2 캐시, 메모리 대역폭을 따로 갖기 때문에 한 인스턴스의 작업이 다른 인스턴스의 속도나 메모리에 영향을 주지 않습니다. A100 40GB는 1g.5gb부터 7g.40gb까지 정해진 프로필로만 나눌 수 있고, 작은 모델 추론이나 개발용 실험처럼 여러 작업이 GPU 한 장을 서로 방해 없이 나눠 써야 할 때 효과가 큽니다.1. MIG란A100 40GB 한 장을 작은 추론 서비스 하나가 쓰면 GPU 대부분이 놀게 됩니다. 여러 작업을 같이 올리면 이번에는 한 작업이 메모리를 다 차지하거나 연산을 몰아 써서 다른 작업이 느려집니다. ..

LLM 추론에 필요한 GPU 메모리는 모델 가중치, KV 캐시, 계산 중에 잠깐 쓰는 공간으로 나뉩니다. 가중치는 모델을 올리는 순간 크기가 정해지지만, KV 캐시는 요청에 들어 있는 토큰 수에 비례해서 요청이 길어지고 동시 요청이 많아질수록 계속 커집니다. 그래서 GPU를 고를 때는 모델이 들어가는지만 보지 말고, 가중치를 올리고 남은 메모리에 토큰을 몇 개나 저장할 수 있는지까지 계산해야 합니다.1. 추론 메모리의 구성GPU 개념 정리 글에서는 70B 모델의 가중치 메모리만 계산하고, 실제로는 KV 캐시와 실행 공간이 더 필요하다고 적었습니다. 이번 글에서는 그 나머지를 계산해서, GPU 한 장에 어떤 모델을 몇 개의 요청과 함께 올릴 수 있는지 어림하는 방법을 정리합니다. 구성크기를 정하는 값과 특..

NVLink는 GPU를 잇는 고속 연결(선과 포트)이고, NVSwitch는 NVLink 여러 개를 받아 모든 GPU를 같은 속도로 이어 주는 스위치 칩입니다. 네트워크로 치면 NVLink는 랜선과 포트, NVSwitch는 스위치입니다. GPU 2~4개는 NVLink만으로 직접 이을 수 있지만, 8개 이상을 모두 최대 속도로 묶으려면 NVSwitch가 필요하고, Blackwell부터는 이 스위치를 랙 단위로 키워 GPU 72개를 하나로 묶습니다.1. 한눈에 보기GPU 서버 자료에는 NVLink, NVSwitch, NVLink Switch가 섞여 나와서 같은 것처럼 보이기 쉽습니다. 둘은 역할이 다른 짝입니다. NVLink가 GPU에 달린 고속 포트와 선이라면, NVSwitch는 그 선들을 한곳에 모아 누구..

프롬프트, RAG, 파인튜닝은 서로 대신하는 관계가 아니라 해결하는 문제가 다릅니다. 모델이 필요한 정보를 모르는 지식 문제라면 프롬프트에 직접 넣거나 RAG로 검색해 넣고, 정보는 있는데 답의 형식이나 판단이 일관되지 않은 행동 문제라면 프롬프트를 다듬고 그래도 부족할 때 파인튜닝을 검토합니다. 어느 경우든 평가 세트를 먼저 만들고 프롬프트부터 시작하는 것이 시간과 비용이 가장 적게 듭니다.1. 세 방법이 바꾸는 것세 방법은 모델의 어디를 바꾸느냐가 다릅니다. 프롬프트와 RAG는 매 요청마다 모델에 들어가는 입력을 바꾸고, 파인튜닝은 추가 학습으로 모델의 가중치 자체를 바꿉니다.프롬프트와 RAG는 요청마다 입력을 구성하고, 파인튜닝은 모든 요청에 적용되는 모델을 바꿉니다 방법바꾸는 곳과 특징프롬프트지시..

AI 에이전트는 LLM이 도구를 골라 호출하고, 그 결과를 보고 다음 행동을 다시 정하는 과정을 목표를 이룰 때까지 반복하는 시스템입니다. MCP(Model Context Protocol)는 AI 애플리케이션이 이런 도구와 데이터를 연결하는 방식을 표준화한 개방형 프로토콜로, 도구를 MCP 서버로 한 번 만들어 두면 MCP를 지원하는 여러 애플리케이션에서 쓸 수 있습니다. 모델은 도구 호출을 요청할 뿐이고 실제 실행은 MCP 서버가 자신의 계정과 토큰으로 하기 때문에, 에이전트가 할 수 있는 일의 한계는 서버에 준 권한이 정합니다.1. AI 에이전트란LLM 자체는 텍스트를 입력받아 텍스트를 생성할 뿐, 서버에 접속하거나 명령을 실행하지 못합니다. 여기에 검색, 도구, 메모리를 붙이면 할 수 있는 일이 늘..