AI/AI Technology

에이전트가 잘하고 있는지 어떻게 확인할까, 평가 공부 노트

예약 시스템에 AI 에이전트를 붙이는 설계를 공부하다가 계속 같은 질문에서 막혔습니다."그래서 이 에이전트가 잘하고 있는지는 어떻게 알지?"데모를 몇 번 돌려보면 대체로 잘 되는 것처럼 보입니다.그런데 몇 번 잘 되는 것과 믿고 맡길 수 있는 것은 전혀 다른 이야기더라고요.그래서 평가(Eval)라는 주제를 따로 공부하고 정리해봤습니다.특정 도구나 벤치마크 이야기는 일부러 빼고, 기획자 입장에서 이해한 개념 위주로 적어요.틀린 부분이 있을 수 있어서 계속 고쳐 나갈 노트라고 생각해주세요. 기존 소프트웨어는 입력이 같으면 출력도 같습니다.그래서 "이 입력에는 이 결과가 나와야 한다"는 테스트를 한 번 써두면 됩니다.에이전트는 사정이 다릅니다.같은 질문에도 답이 조금씩 달라지고, 중간에 어떤 도구를 부를지도 ..

MCP와 도구 호출, 서비스 기획자 관점으로 정리

AI 이야기를 따라가다 보면 요즘 "MCP"라는 단어를 자주 만납니다.도구 호출이라는 말과 함께 나오는 경우가 많은데, 처음에는 개발자들만 쓰는 용어 같아서 그냥 지나쳤어요.그런데 예약 시스템 기획을 하면서 "서비스의 기능을 AI가 쓸 수 있게 열어두면 어떨까?"라는 질문이 자꾸 나오다 보니, 기획자도 어느 정도는 이해하고 있어야겠다는 생각이 들었습니다.이번 글은 제가 이해한 만큼을 기획자 눈높이로 정리한 노트입니다.개발 세부 사항이나 특정 제품의 사양은 단정하지 않고, 개념과 기획할 때 필요한 판단 위주로 적었어요. 먼저 도구 호출부터 이야기해보겠습니다.언어 모델은 기본적으로 글을 받아서 글을 내놓는 존재입니다.그래서 "내일 오후 3시에 빈 자리 있어?" 같은 질문을 받아도, 실제 예약 시스템에 접속해..

임베딩과 벡터 검색, 따라 해본 기록

RAG를 공부하다 보면 어느 설명에서나 "임베딩"이라는 단어가 먼저 튀어나옵니다.처음에는 용어만 익숙해지고 실제로 무슨 일이 일어나는지는 와닿지 않았어요.그래서 개념 설명을 읽고, 작은 예제를 따라 해보고, 그 내용을 기획자가 이해할 수준으로 다시 적어보기로 했습니다.개발자가 아니라서 코드를 깊게 다루지는 않았고, 어떤 입력이 들어가서 어떤 출력이 나오는지 흐름을 확인하는 데 집중했습니다. 임베딩을 한 문장으로 말하면, 글의 의미를 숫자들의 나열(벡터)로 바꾸는 것입니다.모델에 문장을 넣으면 수백에서 수천 개 정도의 숫자가 나오는데, 이 숫자들이 그 문장의 의미를 좌표처럼 나타냅니다.핵심은 의미가 비슷한 문장일수록 좌표가 가깝게 놓이도록 만들어진다는 점이에요.예를 들어 아주 단순하게 숫자를 세 개로 줄여..

RAG 개념 공부, 문서 검색과 생성을 붙이는 구조

요즘 AI 관련 글을 읽다 보면 RAG라는 말이 정말 자주 나옵니다.Retrieval-Augmented Generation, 우리말로 하면 "검색으로 보강한 생성" 정도가 되겠네요.처음에는 이름이 어렵게 느껴졌는데, 공부해 보니 아이디어 자체는 꽤 단순했어요.모델이 모르는 내용을 찾아서 읽게 한 뒤에 답하게 하는 구조입니다.예약 서비스에 자주 묻는 질문(FAQ) 응답을 붙인다면 어떻게 쓸 수 있을지를 떠올리며 공부한 내용을 정리해 봅니다.직접 서비스에 적용해 본 이야기가 아니라, 개념을 이해하고 아이디어를 그려본 기록이라는 점을 먼저 말씀드려요. ChatGPT 같은 모델은 학습한 데이터를 바탕으로 답합니다.그래서 아무리 똑똑해도 모르는 것이 두 종류 있어요.하나는 학습 이후에 생긴 새로운 정보이고, 다른..

프롬프트 엔지니어링 공부 노트, 자주 쓰는 패턴 정리

ChatGPT를 쓰기 시작한 지 몇 달이 지나면서, 같은 질문인데도 결과가 들쭉날쭉한 경험을 자주 하게 됐어요.어떤 날은 놀랄 만큼 정리가 잘 되어 나오고, 어떤 날은 엉뚱한 방향으로 흘러갑니다.그래서 "내가 뭘 다르게 썼지?"를 되짚어 보다가 프롬프트 작성법을 따로 공부하기 시작했습니다.이번 글은 공부하면서 정리한 패턴 다섯 가지와, 제가 직접 써본 예, 그리고 한계를 적어둔 노트입니다.전문가가 쓴 글은 아니고, 기획 일을 하면서 써보고 남긴 기록이라고 생각해 주세요. 공부하다 보니 좋은 프롬프트의 조건이 좋은 요구사항 정의서와 비슷하다는 생각이 들었어요.누가 읽는지, 무엇을 원하는지, 어떤 형식으로 받고 싶은지, 하지 말아야 할 것은 무엇인지가 빠지면 결과가 흔들립니다.사람 개발자에게 "예약 알림 좀..

ChatGPT API가 열렸다, 간단한 호출 직접 해보기

3월 초에 ChatGPT를 만든 곳에서 API를 공개했다는 소식을 봤습니다.지금까지는 대화창에서 쓰는 도구였다면, 이제는 내가 만드는 프로그램 안에서 같은 계열의 모델을 불러 쓸 수 있게 된 거예요.저는 개발자가 아니라서 망설였지만, "기획자가 한 번쯤 직접 해보면 감이 달라진다"는 말에 용기를 내서 간단한 호출을 해봤습니다.이 글은 그 기록이에요.코드는 최소한만 넣고, 개념과 흐름 위주로 정리하겠습니다.대화창에서 쓸 때는 모델이 어떻게 동작하는지 상상만 할 수 있었습니다.그런데 서비스 안에 AI를 붙이는 기획을 하려면, 입력이 어떤 모양으로 들어가고 결과가 어떤 모양으로 나오는지 알아야 해요.이를테면 "예약 문의에 자동 답변 초안을 만들어주자"는 아이디어가 나왔을 때, 그게 어떤 데이터를 모델에 보내야..

챗봇 NLU 엔진 선택 기준 (오픈소스 vs 상용)

챗봇 프로젝트에서 가장 먼저, 그리고 가장 오래 고민하게 되는 결정이 NLU(자연어 이해) 엔진을 뭘로 쓸지입니다.저희도 이 결정을 내리기까지 두 달 가까이 걸렸어요.오픈소스 엔진과 상용 서비스를 각각 파일럿으로 붙여보면서 비교했는데, 이 과정에서 정리한 선택 기준을 공유해봅니다. 처음엔 단순하게 "어떤 엔진이 의도(intent) 분류를 더 정확히 하는가"만 비교하려고 했습니다.그런데 막상 테스트를 해보니, 정확도는 학습 데이터의 양과 질에 크게 좌우되어서 엔진 자체의 우열보다 저희가 얼마나 좋은 학습 데이터를 준비했는지가 더 중요한 변수였어요.오픈소스 엔진에 저희가 직접 정성껏 라벨링한 데이터 800건을 넣었을 때가, 상용 엔진에 대충 만든 데이터 300건을 넣었을 때보다 정확도가 더 높게 나왔습니다...

AI 모델 성능과 사용자 경험, 균형 잡기

얼마 전에 팀 내부 회의에서 좀 민망한 상황이 있었습니다.추천 모델 정확도를 12%나 개선했다고 보고했는데, 정작 사용자 만족도 조사 결과는 거의 그대로였거든요.데이터 사이언티스트는 "지표상으로는 확실히 좋아졌는데 왜 반응이 없냐"고 물었고, 저도 딱히 명쾌한 답을 못 했습니다.그날 이후로 몇 주간 이 문제를 계속 붙잡고 있었는데, 결국 "모델 성능"과 "사용자 경험"이 같은 방향을 보고 있지 않을 수도 있다는 결론에 도달하게 되었어요. 저희가 개선한 건 추천 알고리즘의 클릭률 예측 정확도였습니다.숫자로는 분명히 좋아졌어요.그런데 사용자 입장에서는 "이전보다 더 마음에 드는 추천이 나온다"고 느끼려면, 정확도뿐 아니라 다양성, 신선함, 그리고 무엇보다 응답 속도까지 같이 좋아져야 했습니다.저희 모델은 정..