온프레미스 sLLM

ChatGPT는 데이터가 외부 서버로 전송되지만, 온프레미스 sLLM은 기업 내부망에서만 운영됩니다. 민감한 사내 문서, 고객 정보, 영업 데이터를 외부 유출 걱정 없이 AI로 활용할 수 있습니다.

네, 고객사의 내부 문서, 업무 매뉴얼, 규정집 등을 기반으로 파인튜닝하여 기업 특화 AI를 구축합니다. 일반 모델 대비 업무 정확도가 크게 향상됩니다.

중소기업부터 대기업까지 서버 규모에 맞게 모델 크기를 조정할 수 있습니다. 초기 PoC(파일럿)부터 시작해 단계적으로 확장하는 방식을 지원합니다.

그룹웨어, ERP, 사내 위키 등 기존 시스템과 API를 통해 연동할 수 있습니다. AXworks 플랫폼을 통해 다양한 업무 환경에 맞춤 통합이 가능합니다.

ChatGPT 자체를 폐쇄망에 들여오는 것은 아닙니다. gpt-oss 같은 오픈웨이트 모델을 사내 서버에 올려, 대화형으로 쓰는 구조입니다. 사용 경험은 비슷하지만 데이터가 외부로 나가지 않는다는 점이 다릅니다.

모델 크기에 따라 다릅니다. 소형 모델은 GPU 1장으로도 운영 가능하고, 큰 모델일수록 메모리가 더 필요합니다. 서버 사양에 맞춰 모델 크기를 조정하는 방식이라, 보유하신 하드웨어를 먼저 확인한 뒤 적정 구성을 제안드립니다.

오픈웨이트 모델을 사용하므로 특정 벤더에 묶이지 않습니다. 업무 성격과 서버 사양에 맞는 모델을 선택하고, 더 나은 모델이 나오면 교체할 수 있습니다.

사내 문서를 근거로 답하도록 구성하고, 답변에 출처 문서를 함께 제시합니다. 근거를 찾지 못하면 모른다고 답하도록 설정하는 것이 폐쇄망 업무 환경에서는 더 중요합니다. 도입 시 이 기준을 함께 정합니다.

가능합니다. 사용자 권한에 따라 참조 가능한 문서 범위를 나누어 구성합니다. 인사·재무 문서처럼 접근이 제한된 자료가 다른 부서 질문에 인용되지 않도록 하는 것이 도입 시 주요 설계 항목입니다.

서버 준비 상태와 학습에 쓸 문서의 양·정리 수준에 따라 달라집니다. 먼저 소규모 PoC로 실제 업무 질문에 어느 정도 답하는지 확인한 뒤 일정을 협의하는 방식을 권장합니다.