외부 서버 없이 사내 연구 데이터와 문서 위에서 검색·분석·검증하며 일하는 AI 에이전트 플랫폼
1. 못 찾고, 잊습니다 — 실험이 쌓일수록 과거 결과를 찾지 못하고, 늘 최근 것만 봅니다. 2. 기억으로 다툽니다 — 근거가 없으니 서로의 기억에 의존해 논쟁합니다. 3. 데이터가 넘칩니다 — 쌓이는 자료가 이미 사람이 감당할 수준을 넘었습니다. 4. 보고서는 수작업입니다 — 매번 같은 양식을 손으로 다시 채웁니다. 5. 클라우드 AI도 무력합니다 — 외부 AI는 사내 자료에 접근조차 못 해, 물을 때마다 처음부터입니다.
1. 추진 배경 연구소의 핵심 자산인 실험 데이터와 기밀 문서는 보안상 외부 클라우드 AI에 올릴 수 없습니다. 그래서 AI를 데이터가 있는 곳으로 가져오기로 하였습니다. 사내망 안에서 완결되는 통제된 환경에서 로컬 AI가 연구소 지식 위에서 직접 일하는 방식입니다. 단순한 대화형 챗봇이 아니라, 사내 자료를 검색·분석·검증하여 실제 결과물을 만들어 내는 에이전트를 지향합니다. 하드웨어는 제조사가 로컬 운용을 공식 지원하는 MSI EdgeXpert MS-C931(NVIDIA DGX Spark 플랫폼 기반, 128GB 통합 메모리)를 이미 공용 자산으로 확보하였습니다. 2. 핵심 원칙 글은 AI가 쓰고, 검색·계산·검증·파일 생성은 코드가 담당합니다. AI가 그럴듯하게 지어낸 오답은 연구 데이터에서 가장 위험하므로, 사실과 수치는 결정론적인 코드가 책임지고 모델은 문장 작성과 판단에 집중하도록 설계합니다. 3. 동작 방식 자료를 찾아 읽고 비교하는 조사, 수치를 계산하고 서로 대조하는 분석, 근거를 들어 따져 보는 토론과 판단 지원, 흩어진 자료에서 인사이트를 끌어내는 일, 그리고 문서·자료 작성까지 아우릅니다. 특정 업무에 고정된 도구가 아니라, 사내 지식 위에서 폭넓게 일하는 범용 에이전트입니다. 기본 흐름 : 요청 → 사내 자료 검색(뜻·키워드·링크 구조) → 근거를 인용해 분석·검증 → 묻고 답하며 함께 판단 · 검색 : 의미 검색과 키워드 검색을 결합하고, 여기에 위키의 링크 구조를 함께 이용합니다. 문서 사이의 연결을 따라가 관련 문서를 함께 찾고, 목차 성격의 노트를 구분해 다루며, 필요하면 원문을 직접 열어 확인합니다. · 산출물 : 보고서(Word), 발표자료(PowerPoint·PDF), 데이터 시트(Excel), 웹 문서. 모든 산출물에 근거 출처가 함께 표기됩니다. · 검증 게이트 : 결과물은 세 가지 검사를 거칩니다. ①수치 — 답변의 모든 숫자가 실제 계산·검색 결과와 일치하는지 코드가 대조합니다. ②인용 — 수치가 아닌 주장이 근거 문서에 실제로 있는지 판정 전담 모델이 확인합니다. ③서식 — 산출물이 필수 항목을 갖췄는지 검사합니다. · 지식 기반 갱신 : 전용 사내 메일 사서함 계정을 두고, 사용자가 업무 메일을 보낼 때 이 계정을 참조에 넣기만 하면 해당 메일과 첨부가 지식 기반으로 자동 축적됩니다. · 사용 방식 : ①장비 앞에서 — 큰 화면으로 지식 그래프 전체를 펼쳐 보고, 여러 자료를 나란히 놓고 교차 대조합니다. ②회사 노트북에서 — 사내망에 연결된 브라우저로 접속합니다. 두 방식은 같은 데이터와 대화 이력을 공유하며, 사내망 밖에서는 접속되지 않습니다. · 사용 기술과 라이선스 : 상업적 이용이 가능한 라이선스(MIT, Apache 2.0 등)의 오픈소스와 오픈웨이트 모델만 사용합니다. · 보안 설계 : 사내망과 외부가 방화벽으로 분리되어 자료가 밖으로 나갈 물리적 경로가 없습니다. 4. 설계 근거 AI의 답은 틀려도 맞을 때와 똑같이 그럴듯합니다. 그래서 정답이 하나로 정해지는 일과 그렇지 않은 일을 나눴습니다. 검색·계산·대조처럼 답이 정해지는 일은 코드가 맡고, 모델은 문장 작성·해석·판단에 집중합니다. 검증에도 같은 원리를 적용합니다. 판정 성능을 모델별로 비교한 결과 체급이 클수록 오히려 판정력이 떨어지는 역상관이 확인되어, 판정은 별도의 작은 모델로 분리했습니다. 5. 현황 개념 검증 단계를 지나 실제 동작하는 애플리케이션을 갖춘 상태입니다. · 데스크톱 애플리케이션 구축 — 하이브리드검색 · 검증 · 지식그래프 시각화 기능 통합, 자동화 테스트 약 4,500여 건 통과 · 검색 성능 검증 — 자체 평가 30문항 기준, 기존 키워드 검색이 한 건도 찾지 못하던 질문을 의미 검색 결합 후 21건까지 확보 · 수치 검증 게이트 동작 확인 · 판정 모델 비교 완료 · 전용 하드웨어 — NVIDIA DGX Spark 플랫폼 기반의 MSI EdgeXpert MS-C931(128GB 통합 메모리) 확보 이번 기간에는 실장비 위에서 더미데이터를 이용한 본격적인 구축과 성능 측정을 진행합니다.
1. 보안을 지키며 AI를 활용합니다 — 데이터를 외부로 내보내지 않고, 그동안 보안 때문에 포기했던 사내 자료까지 안전하게 다룹니다. 2. 찾는 시간이 사라집니다 — 과거 실험데이터, 참고문헌, 회의록 등 자료를 기억에 의존하지 않고 즉시 검색해 꺼내 씁니다. 3. 근거로 판단합니다 — 기억이 아니라 출처와 데이터에 기반해, 소모적인 논쟁 없이 결정합니다. 4. 흩어진 자료가 한자리에 모입니다 — 폴더와 파일, 형식이 달라도 한 번의 질문으로 관련 자료를 함께 찾아 정리합니다. 5. 숫자를 눈으로 대조하지 않아도 됩니다 — 답변에 실린 수치가 실제 데이터와 맞는지 시스템이 구분해 표시합니다. 6. 쌓인 데이터가 자산이 됩니다 — 감당하기 어렵던 데이터를 활용 가능한 지식으로 바꿉니다. 7. 반복 업무가 줄어듭니다 — 보고서·발표자료·데이터 시트를 업무 서식에 맞춰 자동 작성합니다. 8. 지식이 저절로 쌓입니다 — 메일 참조 한 번으로 자료가 축적되어, 관리 담당자 없이도 최신 상태가 유지됩니다. 9. 자리에서 바로 씁니다 — 별도 설치나 장비 이동 없이 쓰던 노트북에서 접속해, 필요한 순간에 곧바로 활용합니다.