AGENT BOX

상세 설명

1. 추진 배경 연구소의 핵심 자산인 실험 데이터와 기밀 문서는 보안상 외부 클라우드 AI에 올릴 수 없습니다. ChatGPT나 Claude 같은 서비스는 기밀 유출 위험이 있어 사용이 어렵고, 특히 민감한 자료일수록 사내 보안 정책에 따라 외부 환경에서 다루는 데 제약이 큽니다. 결국 가장 도움이 필요한 데이터일수록 외부 AI를 활용할 수 없다는 모순이 있습니다. 그래서 발상을 바꾸어, AI를 데이터가 있는 곳으로 가져오기로 하였습니다. 외부와 분리된 통제된 환경에서 로컬 AI가 연구소 지식 위에서 직접 일하는 방식입니다. 단순한 대화형 챗봇이 아니라, 사내 자료를 검색하고 분석하며 검증하여 실제 결과물을 만들어 내는 에이전트를 지향합니다. 하드웨어는 에어갭을 공식 지원하는 MSI EdgeXpert(DGX Spark, 128GB)를 이미 공용 자산으로 확보하여 즉시 구현이 가능합니다. 목적물은 데이터베이스 검색, 분석과 토론, 인사이트 도출, 문서 작성까지 아우르는 범용 에이전트입니다. 2. 핵심 원칙 글은 AI가 쓰고, 검색·계산·검증·파일 생성은 코드가 담당합니다. LLM은 그럴듯하게 지어낸 오답(환각)을 낼 수 있는데, 연구 데이터에서는 이것이 가장 위험합니다. 따라서 사실과 수치, 검증은 결정론적인 코드가 책임지고, 모델은 문장 작성과 판단에 집중하도록 설계합니다. 3. 동작 방식 <구성 요소> - 지식 기반(LLM wiki): 검증된 사내 위키와 원본 문서(실험데이터, 회의록 등)를 2층 구조로 관리합니다. - 검색(RAG): 의미 검색과 키워드 검색을 결합해 필요한 근거를 찾아냅니다. - 두뇌(오픈웨이트 LLM): 찾은 근거를 바탕으로 초안을 작성하고 판단·해석을 맡습니다. - 실행 엔진(에이전트 하네스): 도구 호출의 전체 흐름을 관장하고, 결과에 검증 게이트를 적용합니다. - 계산·문서 생성(코드): 수치 계산과 문서 생성을 코드가 담당해 정확성을 보장합니다. 요청 → RAG가 사내 자료를 검색 → 로컬 AI가 근거를 인용하며 초안 작성 → 코드가 정해진 템플릿으로 문서 생성 → 검증 게이트 통과분만 반출하는 순서로 동작합니다. <검증 게이트(3종)> 작성된 결과물은 반출 전에 세 가지 검사를 거칩니다. 첫째 필수 서식이 갖춰졌는지, 둘째 모든 수치가 실제 근거와 일치하는지, 셋째 인용한 문서가 실제 검색된 자료에 포함 되는지를 확인합니다. (실제 테스트 검증에서 로컬 AI가 근거 없이 지어낸 임상 수치를 이 게이트가 정확히 포착한 바 있습니다.) 4. 설계 근거 로컬 AI가 복잡한 작업에서 약한 이유는 지능이 아니라 단계별 오류가 누적되기 때문입니다. 한 단계의 신뢰도가 조금만 낮아도 여러 단계를 거치면 성공률이 급격히 떨어집니다. 이를 해결하기 위해 작업의 흐름은 코드가 관장하고, 모델은 매 단계 한 번씩만 답하도록 구조를 잡았습니다. 존재하지 않는 항목이나 데이터 간 모순, 현황 파악처럼 실수가 잦은 부분은 코드가 계산하고, 모델은 그 결과를 해석하는 역할만 맡습니다. 다만 한계도 분명히 인식하고 있습니다. 정형화된 업무는 높은 수준까지 끌어올릴 수 있으나, 완전히 새로운 문제나 전문가 수준의 통찰은 로컬 모델의 영역 밖입니다. 따라서 '환각 실수'는 최대한 제거하되, 반드시 사람의 검토로 보완하는 것을 원칙으로 합니다. 5. 현황 - 소형 모델을 이용하여 개념 검증(PoC)을 완료 (검색·초안 작성·검증·문서 생성까지 전 과정이 오프라인에서 실제로 동작가능) - AI가 근거 없이 지어낸 수치를 검증 게이트가 잡아내는 것을 확인함 - 전용 하드웨어(EdgeXpert, 128GB) 기 확보 이번 100일의 도전(AX) 기간에는 실장비(EdgeXpert) 위에서 더미데이터(가상)을 이용한 본격적인 구축과 성능 측정을 진행할 예정입니다. 실데이터 적용은 보안팀과의 협의를 거쳐 단계적으로 확대할 계획입니다.

Q&A · 댓글 0