1nfratech1nfra Tech

프롬프트, RAG, 파인튜닝은 서로 대신하는 관계가 아니라 해결하는 문제가 다릅니다. 모델이 필요한 정보를 모르는 지식 문제라면 프롬프트에 직접 넣거나 RAG로 검색해 넣고, 정보는 있는데 답의 형식이나 판단이 일관되지 않은 행동 문제라면 프롬프트를 다듬고 그래도 부족할 때 파인튜닝을 검토합니다. 어느 경우든 평가 세트를 먼저 만들고 프롬프트부터 시작하는 것이 시간과 비용이 가장 적게 듭니다.1. 세 방법이 바꾸는 것세 방법은 모델의 어디를 바꾸느냐가 다릅니다. 프롬프트와 RAG는 매 요청마다 모델에 들어가는 입력을 바꾸고, 파인튜닝은 추가 학습으로 모델의 가중치 자체를 바꿉니다.프롬프트와 RAG는 요청마다 입력을 구성하고, 파인튜닝은 모든 요청에 적용되는 모델을 바꿉니다 방법바꾸는 곳과 특징프롬프트지시..

AI 에이전트는 LLM이 도구를 골라 호출하고, 그 결과를 보고 다음 행동을 다시 정하는 과정을 목표를 이룰 때까지 반복하는 시스템입니다. MCP(Model Context Protocol)는 AI 애플리케이션이 이런 도구와 데이터를 연결하는 방식을 표준화한 개방형 프로토콜로, 도구를 MCP 서버로 한 번 만들어 두면 MCP를 지원하는 여러 애플리케이션에서 쓸 수 있습니다. 모델은 도구 호출을 요청할 뿐이고 실제 실행은 MCP 서버가 자신의 계정과 토큰으로 하기 때문에, 에이전트가 할 수 있는 일의 한계는 서버에 준 권한이 정합니다.1. AI 에이전트란LLM 자체는 텍스트를 입력받아 텍스트를 생성할 뿐, 서버에 접속하거나 명령을 실행하지 못합니다. 여기에 검색, 도구, 메모리를 붙이면 할 수 있는 일이 늘..

LLM은 글자가 아니라 토큰 단위로 입력을 읽고 출력을 만들며, 요금과 한도도 모두 토큰으로 계산합니다. 긴 입력은 첫 응답을 늦추고, 긴 출력은 전체 응답 시간을 늘립니다. 컨텍스트 윈도우는 모델이 한 번에 볼 수 있는 토큰 한도인데, 한도 안에 들어가더라도 입력이 길수록 정보를 찾아내는 정확도가 떨어지고 중간에 있는 내용을 놓치기 쉽습니다. 그래서 긴 로그는 통째로 넣기보다 필요한 구간을 잘라 집계한 뒤 넣는 편이 비용과 정확도 모두에 유리합니다.1. 토큰이란토큰은 모델이 텍스트를 처리하는 단위입니다. OpenAI 도움말은 토큰이 글자 하나일 수도, 단어의 일부나 단어 전체, 문장 부호일 수도 있고, 같은 텍스트라도 모델과 언어에 따라 토큰 수가 달라진다고 설명합니다. 모델에 텍스트를 보내면 토크나이..

생성형 AI를 업무에 쓸 때 보안 문제는 넣은 데이터가 어디에 남는지, 받은 답을 검증 없이 쓰는지, AI에게 준 권한이 외부 입력과 섞이는지 세 곳에서 생깁니다. 개인 플랜은 학습 설정을 확인하되 학습을 꺼도 대화가 일정 기간 저장된다는 점을 알고 써야 하며, 회사 데이터는 학습에서 제외되는 업무용 플랜에서만 다룹니다. 받은 코드와 명령은 검토한 뒤 실행하고, 에이전트에는 필요한 최소 권한만 줍니다.1. 입력한 데이터가 가는 곳채팅 창에 붙여 넣은 내용은 답을 만드는 데만 쓰이고 사라지지 않습니다. 서비스는 대화를 기록으로 저장하고, 플랜과 설정에 따라 모델 학습이나 사람의 품질 검토에 쓰기도 하며, 학습에서 제외해도 악용 방지를 위해 일정 기간 보관합니다.프롬프트는 답변 생성 외에 저장, 안전 목적 ..

에러 로그만 붙여 넣고 "원인이 뭐야?"라고 물으면 생성형 AI는 누구에게나 맞는 일반론을 답합니다. 환경, 증상이 시작된 시각과 직전 변경, 이미 확인한 것, 원하는 답의 형식을 함께 주면 원인 후보가 좁혀지고 바로 실행할 확인 명령까지 받을 수 있습니다. 로그는 필요한 구간만 잘라 민감 정보를 가린 뒤 넣고, 받은 답은 읽기 전용 명령으로 검증한 다음에 조치합니다.1. 로그만 붙여 넣으면 생기는 일같은 "502 Bad Gateway"라도 원인은 백엔드 프로세스가 죽었는지, 포트가 바뀌었는지, 방화벽이 막았는지, 타임아웃인지에 따라 전혀 다릅니다. 로그 한 줄에는 이 구분에 필요한 정보가 대부분 빠져 있어서, 모델은 가능한 원인을 모두 나열하는 답을 할 수밖에 없습니다. 구분로그만 넣었을 때맥락을 함께..

ChatGPT, Gemini, Claude는 모두 무료로 시작할 수 있고, 개인 기본 유료 플랜은 월 3만 원 안팎입니다. 세 서비스 모두 최신 모델과 코딩 도구, 팀 플랜을 갖추고 있어서 실제 차이는 이미 쓰는 업무 도구와의 연결, 요금제 구성, 데이터 정책에서 더 크게 납니다. 업무에 쓴다면 모델 순위보다 이 세 가지를 먼저 보고 고르는 편이 실용적입니다.1. 한눈에 보기세 서비스의 플랜을 비슷한 단계끼리 나란히 놓은 구성 구분ChatGPTGeminiClaude만든 곳OpenAIGoogleAnthropic개인 기본 유료Plus₩29,000/월Google AI Pro₩29,000/월Pro$22/월(연간 $18/월)업무 도구 연결Excel, Word, PowerPoint,Google Sheets 확장Gm..

AI는 사람이 하던 복잡한 판단을 프로그램이나 모델이 대신하게 만드는 기술 전체를 말하고, 그중 규칙을 사람이 짜는 대신 데이터로 학습시키는 방법이 머신러닝입니다. 딥러닝은 층이 여러 개인 신경망을 쓰는 머신러닝이고, 요즘 말하는 생성형 AI와 LLM은 대부분 딥러닝 모델입니다. 인프라 입장에서는 학습과 추론을 나눠서 보는 것이 자원 설계의 출발점입니다.1. AI란AI(인공지능, Artificial Intelligence)는 번역이나 영상 판독처럼 사람의 판단이 필요했던 복잡한 작업을 처리하는 프로그램이나 모델을 넓게 가리키는 말입니다. 그래서 사람이 조건문을 직접 짠 규칙 기반 프로그램도 넓은 의미의 AI에 들어가고, 판단 기준을 데이터에서 배우는 머신러닝은 그 안의 한 방법입니다. 구분규칙 기반 프로..

Microsoft Foundry(구 Azure AI Foundry)는 모델, Agent, 도구를 Foundry 리소스 하나와 그 아래 프로젝트로 묶어 관리하는 Azure의 AI 플랫폼입니다. 모델 배포와 보안, 네트워크는 리소스에서 한 번 정하고, 팀별 작업은 프로젝트로 나눕니다. Private Endpoint를 붙이고 Public Network Access를 끄면 VNet과 VPN, ExpressRoute로 연결된 곳에서만 모델을 호출할 수 있습니다.1. Microsoft Foundry란Microsoft Foundry는 Azure AI Studio에서 Azure AI Foundry를 거쳐 지금의 이름이 된 AI 개발 플랫폼입니다. 이름은 바뀌었지만 Azure 리소스 유형은 계속 Microsoft.Cog..