[오픈소스컨설팅] 기업 맞춤형 On-Premise LLM Solution
0 likes418 views
오픈소스컨설팅의 기업 맞춤형 온프레미스 LLM 솔루션을 소개합니다.
![4
사내 On-premise LLM의 필요성
기업의 업무 프로세스를 완전히 혁신하는 LLM (Large Language Model, 거대언어모델)
업무 자동화 및 효율화를 통해 사무 생산성을 극대화 기존에는 실현 불가했던 작업들을 가능하게 하여 새로운 가치를 창출
오늘날 생성형AI(LLM) 기술은 사무 생산성을 극대화하고 새로운 가치를 창출하며 현대 기업의 필수적인 전략적 요소로 자리매김하고 있습니다.
MIT는 작년, ‘ChatGPT(LLM)를 사용할 경우 화이트칼라(White-collar)
직업군의 생산성이 약 37%나 더 증가한다’는 연구 결과를 발표한 바 있습니다.
출처: Shakked Noy&Whitney Zhang, 2023, Experimental Evidence on the Productivity Effects ofGenerative Artificial Intelligence, [MIT]
: 소요 시간
작업 퀄리티
실제로 소매업 및 전자상거래업 경영진의 90%가 업무
보조용으로 생성형 AI를 사용하고 있으며, 이러한 규모는 점차
증가할 것입니다.
출처: FutureCommerce
: LLM 시장이
2030년까지
연평균 33.2%
성장할 것으로
전망
출처: MarketsandMarkets
업무 자동화 : 단순 반복적인 사내 업무를 자동화하여 시간과
비용을 절감
정확도 향상 : 인적 오류를 최소화하고 일관된 메시지를 전달
솔루션 제공 : 다각적인 솔루션을 제공하며 업무를 효율적으로 보조
데이터 관리 : 수많은 문서 작성과 관리, 검색을 총괄 지원
혁신적인 고객 경험 제공: 24시간/365일 즉각적인 CS 대응과, 고객 행동 분석 및
예측 기반 마케팅을 통한 고객 만족도 증대
업무 품격 향상: 직원들이 보다 고차원적인 업무에 집중할 수 있도록 지원](https://image.slidesharecdn.com/llm202411-241111013615-47e5c81c/85/On-Premise-LLM-Solution-4-320.jpg)
![9
사내 On-premise LLM의 필요성
고객 1:1 문의에 즉각적인 자동 답변 제공 고객 예약 全과정 자동화
▲ 1:1 문의에 대한 답변을 자동으로 제공하여 즉각적인 고객 상담
지원
[예약 불가 시 대안 제시]
[예약에 필요한 데이터
수집]
[예약 확정 및 예약금
안내]
▲ 중복 예약/오류에 대한 우려 없이 빠르고 쉬운 예약 서비스 지원
▲ 민감한 고객 개인정보를 사내 서버 안에서 안전하게 다룰 수 있음
LLM은 각 기업의 고객들에게 24시간/365일 혁신적인 맞춤형 서비스를 제공하며 기업의 경쟁력을 강화하고 있습니다.
사무 생산성을 극대화하는 LLM Usecases](https://image.slidesharecdn.com/llm202411-241111013615-47e5c81c/85/On-Premise-LLM-Solution-9-320.jpg)
![13
어플라이언스형태로제공되는MAAL기반All-in-one제품
On-premise LLM은 소프트웨어 및 하드웨어를 묶은 하나의 패키지로 제공됩니다. 즉, 추가적인 RAG 구축이나 개발에 시간을 들일 필요 없이
즉시 회사 서버 내 가져다 사용하실 수 있습니다.
[On-premise LLM 제품 아키텍처]
Server
고객사 내부 망
*API 활용을 통한
서비스 개발 가능
LLM API
Vector DB
RAG
Chatplay
Task UI
챗봇
LLM Engine
Service
Application
Back-end
API
Engine
오픈소스컨설팅의On-premise LLM 솔루션](https://image.slidesharecdn.com/llm202411-241111013615-47e5c81c/85/On-Premise-LLM-Solution-13-320.jpg)
![14
오픈소스컨설팅의On-premise LLM 솔루션
Large Language Model
Agent
RAG
고객사
내부
시스템
고객사
Knowledge Base
내부 서비스 (직원 사무 생산성 향상) 외부 서비스(업무 무인화 + 고객 만족도 향상)
문서 요약
번역
보고서 첨삭
단위 통일
코드 작성
홍보 문구 생성
고객 상담 예약 접수 제품 추천
*외부 유출이
불가한 자료는
Data Base에 적재
Service
System
AI 제공 솔루션
가드레일
[On-premise LLM 서비스 프로세스]
오픈소스컨설팅의 MAAL 솔루션은 기업(고객사) 내부 망에 탑재되어 다양한 대내/대외 서비스를 구현해드립니다.
고객사 내부 망 (On-premise)](https://image.slidesharecdn.com/llm202411-241111013615-47e5c81c/85/On-Premise-LLM-Solution-14-320.jpg)
![22
오픈소스컨설팅 LLM의 차별성
글로벌 최고 수준의 ChatGPT 사용을 무리 없이 대체할 수 있을 만큼 탁월한 성능과 차별적인 기능을 보유하고 있습니다.
차별성 1 – 독보적인 성능
오픈소스가 기존에 보유한 영어에 대한 최상급 언어 능력을 한국어로 치환하는 CoIT 학습
방식을 적용하여 한국어 능력이 떨어지던 기존 LLM의 고질적인 문제를 해결하였습니다.
특히 최근 Vocab 확장을 통해 한국어 생성 속도 및 context length가 약 1.3배 증가하는 등
한국어 성능을 점차 고도화하고 있습니다.
2. Catastrophic Forgetting 문제 해결
1. CoIT 학습 방식을 적용하여 한국어로도 최상급 성능 보유
단계별 학습 진행 등 Catastrophic Forgetting*을 완화하기 위한
학습법을 끊임없이 연구하여 높은 모델 안정성을 확보하고 있습니다.
* Catastrophic Forgetting: 새로운 데이터를 학습하며 이전 학습 정보를 잃는 현상
3. 자체 필터링 시스템을 통한 고품질 학습 데이터 보유
자체 필터링 시스템을 기반으로 학습 데이터의 품질을 관리하고 있으며,
사람이 검수하여 정교함이 높은 고품질의 SFT 데이터를 보유하고 있습니다.
LLM ‘MAAL’은 모델 별 한국어 문장 이해 능력 향상 평가(KoBEST)를 통해
한국어 성능을 입증했으며,, ‘MAAL-albatross 70B’을 LogicKor 프롬프트 및
gpt-4-turbo로 채점한 결과, ChatGPT 못지 않은 점수를 기록했습니다.
[자체 필터링 시스템 예시]
[MAAL의 뛰어난 한국어 성능]](https://image.slidesharecdn.com/llm202411-241111013615-47e5c81c/85/On-Premise-LLM-Solution-22-320.jpg)
![24
차별성 3 – 맞춤형 서비스로 확장 지원
오픈소스컨설팅 LLM의 차별성
LLM을 튜닝하여 실제 서비스에 맞춘 커스터마이징을 지원해드립니다.
1. Domain Adaptation 방법으로 전문성 보장
2. Function Call 방법으로 Agent로서의 AI 지원
Domain Adaptation 방법으로 LLM에게 도메인 데이터를 학습시켜 각 도메인에 높은 전문성을 갖도록 지원합니다.
LLM이 충분한 Value를 갖게 하기 위하여 단순히 질문에 대한 답변을 제공하는 것을 넘어, 직접 업무까지 수행할 수 있게끔 내˙외부 서비스나
데이터베이스와 상호작용하여 Agent로서의 AI 서비스를 이용하실 수 있도록 지원합니다.
[예시: Function Call 방법을 통한 캘린더 내 자동 일정 추가]
[Function Call 구조도]
[예시: Agent 구조도]](https://image.slidesharecdn.com/llm202411-241111013615-47e5c81c/85/On-Premise-LLM-Solution-24-320.jpg)
[오픈소스컨설팅] 기업 맞춤형 On-Premise LLM Solution
- 1. 1 오픈소스컨설팅 - On-premiseLLM 구축 2024. 11 yhlee@osci.kr
- 2. 2 INDEX 제품의 차별성 I 사내 On-premise LLM의 필요성 II III On-premise LLM 솔루션
- 3. 3 I. 사내 On-premise LLM의 필요성 업무 프로세스를 완전히 혁신하는 LLM LLM을 활용한 Usercases On-premise LLM, 왜 필요한가
- 4. 4 사내 On-premise LLM의 필요성 기업의 업무 프로세스를 완전히 혁신하는 LLM (Large Language Model, 거대언어모델) 업무 자동화 및 효율화를 통해 사무 생산성을 극대화 기존에는 실현 불가했던 작업들을 가능하게 하여 새로운 가치를 창출 오늘날 생성형AI(LLM) 기술은 사무 생산성을 극대화하고 새로운 가치를 창출하며 현대 기업의 필수적인 전략적 요소로 자리매김하고 있습니다. MIT는 작년, ‘ChatGPT(LLM)를 사용할 경우 화이트칼라(White-collar) 직업군의 생산성이 약 37%나 더 증가한다’는 연구 결과를 발표한 바 있습니다. 출처: Shakked Noy&Whitney Zhang, 2023, Experimental Evidence on the Productivity Effects ofGenerative Artificial Intelligence, [MIT] : 소요 시간 작업 퀄리티 실제로 소매업 및 전자상거래업 경영진의 90%가 업무 보조용으로 생성형 AI를 사용하고 있으며, 이러한 규모는 점차 증가할 것입니다. 출처: FutureCommerce : LLM 시장이 2030년까지 연평균 33.2% 성장할 것으로 전망 출처: MarketsandMarkets 업무 자동화 : 단순 반복적인 사내 업무를 자동화하여 시간과 비용을 절감 정확도 향상 : 인적 오류를 최소화하고 일관된 메시지를 전달 솔루션 제공 : 다각적인 솔루션을 제공하며 업무를 효율적으로 보조 데이터 관리 : 수많은 문서 작성과 관리, 검색을 총괄 지원 혁신적인 고객 경험 제공: 24시간/365일 즉각적인 CS 대응과, 고객 행동 분석 및 예측 기반 마케팅을 통한 고객 만족도 증대 업무 품격 향상: 직원들이 보다 고차원적인 업무에 집중할 수 있도록 지원
- 5. 5 개인정보 데이터 마스킹 사내 On-premise LLM의 필요성 LLM은수치적연구결과에서머무르는것이아니라현실에서실질적으로사무생산성을높이며,그놀랄만한효과를입증하고있습니다. ▲ 고객 개인정보가 담겨있는 부분을 마스킹 처리 후 파일로 반환 ▲ 민감한 개인정보를 사내 서버 안에서 안전하게 다룰 수 있음 ▲ 다양한 규격을 지정한 하나의 규격으로 통일하여 파일로 반환 ▲ 전화번호, 날짜, 주소 등 필요한 규격에 맞게 설계 지원 사무 생산성을 극대화하는 LLM Usecases 규격 통일 자동화
- 6. 6 직원들에게 업무 처리 가이드를 제공하는 챗봇 구현 사내 On-premise LLM의 필요성 LLM은수치적연구결과에서머무르는것이아니라현실에서실질적으로사무생산성을높이며,그놀랄만한효과를입증하고있습니다. ▲ 사내 업무 지침을 Rag 로 검색하여 즉각적인 업무 가이드 검색 가능 회사 소개 제공하는 챗봇 구현 ▲ 사내 업무 지침을 Rag 로 검색하여 즉각적인 업무 가이드 검색 가능 사무 생산성을 극대화하는 LLM Usecases
- 7. 7 코드 작성 지원 사내 자료 내 필요한 정보 검색 사내 On-premise LLM의 필요성 LLM은수치적연구결과에서머무르는것이아니라현실에서실질적으로사무생산성을높이며,그놀랄만한효과를입증하고있습니다. ▲ 코딩 언어(Python/Java/Javascript)를 선택 후 원하는 내용 입력 시 코드 결과물이 제공됨 ▲ 챗봇에게 대화 형식으로 질문을 던지면, RAG 기술에 의해 기존 사내 문서들로부터 필요한 정보가 빠르고 쉽게 탐색되어 제공됨 사무 생산성을 극대화하는 LLM Usecases
- 8. 8 인게임 Chatbot 상담 지원 실시간 AI 증권 뉴스 요약 사내 On-premise LLM의 필요성 LLM은각기업의고객들에게24시간/365일혁신적인맞춤형서비스를제공하며기업의경쟁력을강화하고있습니다. ▲ 고객 대상 인게임 chatbot 상담 등의 차별적인 서비스를 제공 ▲ 게임사의 내부 지식과 히스토리를 누적적으로 학습 ▲ 실시간으로 증권 관련 뉴스를 기반으로 고객에게 유용한 증권 정보를 제공 (자동 pdf 리포팅까지 가능) 종목 : XXXXX (00000) 상반기 호주 스마트팜 진출 동사는 호주 스마트팜 공급 계약 체결이 임박했다. 올해……. 시공진행률에 따라 매출이 인식되며, 이번 수주금액의 약 50%가 올해 매출에 반영될 것으로 보인다. 이에 2024년 해외 스마트팜 매출은 약 350억원으로 예상된다. 시공…. 호주 프로젝트, 4년간 5,000억원 규모 3Q24에도 추가적인 호주 스마트팜 수주가 기대된다. 동사는 3분기에 호주 퀸즐랜드 대학교와 2개 캠퍼스 내 연구용 …… • 생성형 AI를 이용해 방대한 양의 뉴스를 요약 • 핵심 키워드 정보 제공 뉴스 요약 호재/악재 분류 뉴스 분류 • 종목 뉴스가 호재인지 악재인지 구분 • 호재/악재 정도를 수치화 • 분류 대상 뉴스 정의 • 언론사 뉴스 중복 식별 • 유형별 분류 사무 생산성을 극대화하는 LLM Usecases
- 9. 9 사내 On-premise LLM의 필요성 고객 1:1 문의에 즉각적인 자동 답변 제공 고객 예약 全과정 자동화 ▲ 1:1 문의에 대한 답변을 자동으로 제공하여 즉각적인 고객 상담 지원 [예약 불가 시 대안 제시] [예약에 필요한 데이터 수집] [예약 확정 및 예약금 안내] ▲ 중복 예약/오류에 대한 우려 없이 빠르고 쉬운 예약 서비스 지원 ▲ 민감한 고객 개인정보를 사내 서버 안에서 안전하게 다룰 수 있음 LLM은 각 기업의 고객들에게 24시간/365일 혁신적인 맞춤형 서비스를 제공하며 기업의 경쟁력을 강화하고 있습니다. 사무 생산성을 극대화하는 LLM Usecases
- 10. 10 On-premise LLM, 왜 필요한가? 사내 On-premise LLM의 필요성 망 분리로 인하여 사내 ChatGPT 사용이 불가한 공공기관 민감한 사내 정보 유출에 대한 우려가 있는 기업 조직 내 AI 전문성이 부족하고, 방법을 몰라 업무에 AI를 적절히 활용하지 못하는 기업 On-premise LLM은 클라우드 환경이 아닌 기업의 자체적인 서버 내 구축하여 망 분리 이슈와 데이터 유출에 대한 우려 X 안전한 LLM 솔루션 맞춤형 AI 솔루션 제시 이렇듯 LLM의 활용성을 무궁무진하지만, 망 분리∙정보 유출 문제로 인하여 사내에서 ChatGPT 등 AI 서비스를 제대로 활용하지 못하는 기업들이 다수 존재합니다. ‘안전하고 커스터마이징이 용이한 On-premise LLM 구축’을 제안합니다. 대안으로 떠오른 On-premise LLM 각 기업에 맞춰 LLM 솔루션을 구축하는 과정에서 기업 니즈에 맞는 최적의 AI 솔루션 도입 가능 기반 On-premise 패키지 LLM 챗봇 RAG 챗봇 제작 툴 Chatplay 업무 효율화 툴 Task UI ChatGPT를 업무에 활용하지 못하는 기업들
- 11. 11 II. 오픈소스컨설팅의 On-premise LLM 솔루션 MAAL (Multilingual Adaptive Augmentation Language-model) MAAL 기반 On-premise 패키지 - 챗봇 - Chatplay - LLM Task UI
- 12. 12 오픈소스컨설팅의On-premise LLM 솔루션 (Multilingual Adaptive Augmentation Language-model) 한국어에 강한 언어 생성 모델 MAAL을 기반으로 On-premise LLM 솔루션을 제공합니다. 다양한 파라미터 수의 모델(8B-70B)을 기반으로 기업의 니즈에 맞는 모델을 지원합니다. On-premise용으로는 성능이 뛰어나며 범용적으로 사용하기 좋은 MAAL-albatross(70B)를 권장하고 있습니다. MAAL-hummingbird* MAAL-albatross 특징 가장 가볍고 빠름 특정 Task 특화 가장 성능이 우수 범용적 사용 가능 주요 용도 On-device AI ChatGPT와 같은 범용적인 활용 모델 사이즈 8B 70B 최소 GPU 사양 L40S 1EA (혹은 이하) A100 2EA Max Token Length 8k 8k 응답 속도 ~200ms ~700ms
- 13. 13 어플라이언스형태로제공되는MAAL기반All-in-one제품 On-premise LLM은 소프트웨어 및 하드웨어를 묶은 하나의 패키지로 제공됩니다. 즉, 추가적인 RAG 구축이나 개발에 시간을 들일 필요 없이 즉시 회사 서버 내 가져다 사용하실 수 있습니다. [On-premise LLM 제품 아키텍처] Server 고객사 내부 망 *API 활용을 통한 서비스 개발 가능 LLM API Vector DB RAG Chatplay Task UI 챗봇 LLM Engine Service Application Back-end API Engine 오픈소스컨설팅의On-premise LLM 솔루션
- 14. 14 오픈소스컨설팅의On-premise LLM 솔루션 Large Language Model Agent RAG 고객사 내부 시스템 고객사 Knowledge Base 내부 서비스 (직원 사무 생산성 향상) 외부 서비스(업무 무인화 + 고객 만족도 향상) 문서 요약 번역 보고서 첨삭 단위 통일 코드 작성 홍보 문구 생성 고객 상담 예약 접수 제품 추천 *외부 유출이 불가한 자료는 Data Base에 적재 Service System AI 제공 솔루션 가드레일 [On-premise LLM 서비스 프로세스] 오픈소스컨설팅의 MAAL 솔루션은 기업(고객사) 내부 망에 탑재되어 다양한 대내/대외 서비스를 구현해드립니다. 고객사 내부 망 (On-premise)
- 15. 15 오픈소스컨설팅의On-premise LLM 솔루션 자유로운 채팅을 통해 질문에 대한 답변을 제공받을 수 있습니다. 2. Task UI Task UI는 31개 이상의 사내 업무 (생성/요약/첨삭/번역/분석/코드) 를 자동화 할 수 있도록 사전 제작된 툴입니다. 기업에 맞는 커스터마이징이 가능합니다. *어떤 프롬프트를 넣을 지의 고민/노하우 없이 ‘빈칸을 채워 넣는’ 간단한 방식으로 높은 퀄리티의 결과물 획득 가능 1. MAAL 챗봇
- 16. 16 3. Chatplay – 내부 문서 기반 RAG 챗봇 오픈소스컨설팅의On-premise LLM 솔루션 대화를 통한 편리한 검색 사내 지식 기반의 검색 / 대화를 가능하게 만드는 툴입니다. 원하는 정보를 얻기 위해 방대한 양의 회사 문서를 일일이 찾아야 했던 기존의 검색 방식과 달리, LLM 검색 툴을 활용하면 ‘단 한 마디의 질문’만으로 쉽고 빠르게 필요한 정보를 찾을 수 있습니다. 파일 업로드를 통한 RAG 구현 .pdf, .doc, .txt 형식의 문서를 업로드하여 RAG 챗봇을 구축할 수 있습니다. 답변과 함께, 답변의 근거로 정보를 가져온 문서와 페이지까지 제시하기 때문에 할루시네이션(거짓 정보)의 우려 없이 활용이 가능합니다.
- 17. 17 오픈소스컨설팅의On-premise LLM 솔루션 ‘MAAL’을 바탕으로 보안에 대한 걱정 없이 최상의 업무 효율성을 달성할 수 있도록 다양한 업종별 기업에게‘안전하고 커스터마이징이 용이한 On-premise LLM 구축’ 서비스를 제공하고 있습니다. 맞춤형 AI 솔루션 제시 기업 니즈에 맞는 최적의 AI 솔루션 도입이 가능하며, 소프트웨어 및 하드웨어를 묶은 하나의 패키지로 제공되어 추가적인 RAG 구축이나 개발에 시간을 들일 필요 없이 즉시 회사 서버 내 가져다 사용하실 수 있습니다.
- 18. 18 오픈소스컨설팅의On-premise LLM 솔루션 자체 챗봇 서비스 개발을 위한 Chatplay를 제공합니다. 파일을 첨부하는 방식으로 자신만의 LLM/RAG 챗봇을 제작 할 수 있습니다. 생성된 답변 로그를 통해 성능 테스트도 진행하며 프롬프트 엔지니어링 실험용 툴로도 활용 가능합니다.
- 19. 19 오픈소스컨설팅의On-premise LLM 솔루션 Chatplay를 통한 RAG Chatbot 생성 과정
- 20. 20 오픈소스컨설팅의On-premise LLM 솔루션 자체 챗봇 Task UI는 생성/요약/첨삭/번역/코드 등 다양한 사내업무를 자동화할 수 있도록 제작된 툴입니다. Task UI Builder를 사용하여 원하는 Task를 직접 생성하고, 기업의 요구에 맞게 커스터마이징할 수 있으며, 프론트 엔드나 백엔드 개발 없이도 손쉽게 업무를 관리할 수 있습니다.
- 21. 21 III. 제품의 차별성 차별성 1 – 독보적인 기술력 차별성 2 – 획기적인 가격 경쟁력 차별성 3 – 맞춤형 서비스로 확장 지원 차별성 4 – 원활한 고객 지원
- 22. 22 오픈소스컨설팅 LLM의 차별성 글로벌 최고 수준의 ChatGPT 사용을 무리 없이 대체할 수 있을 만큼 탁월한 성능과 차별적인 기능을 보유하고 있습니다. 차별성 1 – 독보적인 성능 오픈소스가 기존에 보유한 영어에 대한 최상급 언어 능력을 한국어로 치환하는 CoIT 학습 방식을 적용하여 한국어 능력이 떨어지던 기존 LLM의 고질적인 문제를 해결하였습니다. 특히 최근 Vocab 확장을 통해 한국어 생성 속도 및 context length가 약 1.3배 증가하는 등 한국어 성능을 점차 고도화하고 있습니다. 2. Catastrophic Forgetting 문제 해결 1. CoIT 학습 방식을 적용하여 한국어로도 최상급 성능 보유 단계별 학습 진행 등 Catastrophic Forgetting*을 완화하기 위한 학습법을 끊임없이 연구하여 높은 모델 안정성을 확보하고 있습니다. * Catastrophic Forgetting: 새로운 데이터를 학습하며 이전 학습 정보를 잃는 현상 3. 자체 필터링 시스템을 통한 고품질 학습 데이터 보유 자체 필터링 시스템을 기반으로 학습 데이터의 품질을 관리하고 있으며, 사람이 검수하여 정교함이 높은 고품질의 SFT 데이터를 보유하고 있습니다. LLM ‘MAAL’은 모델 별 한국어 문장 이해 능력 향상 평가(KoBEST)를 통해 한국어 성능을 입증했으며,, ‘MAAL-albatross 70B’을 LogicKor 프롬프트 및 gpt-4-turbo로 채점한 결과, ChatGPT 못지 않은 점수를 기록했습니다. [자체 필터링 시스템 예시] [MAAL의 뛰어난 한국어 성능]
- 23. 23 차별성 2 – 타사 대비 획기적인 가격 오픈소스컨설팅 LLM의 차별성 양자화 기술과 Serving 최적화 등 뛰어난 기술력을 바탕으로, 타사 유사 모델 대비 ⅕~⅒ 가량의 획기적인 가격으로 서비스를 제공합니다. 2. vLLM을 통한 Serving 최적화 Quantization(양자화) 학습 방식을 통해 용량과 연산량을 줄이는 모델 초경량화에 성공했습니다. 하드웨어에 드는 원가가 저렴하다 보니, 타사 대비 경제적인 가격으로 고성능 서비스를 제공할 수 있습니다. *현재 MI210 / 가우디 등 더 저렴한 서버에 탑재하고자 최적화를 진행하고 있으며, 향후 더 가볍게 사용하실 수 있도록 최적화해드립니다. 1. 초경량화를 통한 모델 경량화 최소한의 인프라 투자로, 최대한의 사용자에게 서비스를 동시에 serving할 수 있도록 지원합니다. * MAAL-albatross 70B 기준, 현재 약 30채널 동시 사용 가능 타사 타사는 유사한 성능의 제품을 가격이 높은 H100 서버 또는 A100 서버 4장으로 구현하고 있어, 기본적인 원가가 높습니다. 초경량화를 통해 70B모델이 A100 서버 2장 만으로 구동이 가능하게끔 지원합니다.
- 24. 24 차별성 3 – 맞춤형 서비스로 확장 지원 오픈소스컨설팅 LLM의 차별성 LLM을 튜닝하여 실제 서비스에 맞춘 커스터마이징을 지원해드립니다. 1. Domain Adaptation 방법으로 전문성 보장 2. Function Call 방법으로 Agent로서의 AI 지원 Domain Adaptation 방법으로 LLM에게 도메인 데이터를 학습시켜 각 도메인에 높은 전문성을 갖도록 지원합니다. LLM이 충분한 Value를 갖게 하기 위하여 단순히 질문에 대한 답변을 제공하는 것을 넘어, 직접 업무까지 수행할 수 있게끔 내˙외부 서비스나 데이터베이스와 상호작용하여 Agent로서의 AI 서비스를 이용하실 수 있도록 지원합니다. [예시: Function Call 방법을 통한 캘린더 내 자동 일정 추가] [Function Call 구조도] [예시: Agent 구조도]
- 25. 25 차별성 4 – 원활한 고객 지원 오픈소스컨설팅 LLM의 차별성 LLM을 최대한으로 활용할 수 있게끔 지속적인 관리와 지원 서비스를 제공합니다. 1. LLM 파트너 커뮤니티 초대 2. 업데이트 지원 제품을 구매하시면, LLM 파트너 커뮤니티에 초대됩니다. MAAL 제품의 최적 활용을 위한 가이드를 홈페이지에서 제공받을 수 있으며, 문의나 개선 요청을 남겨 주시면 담당부서에서 신속히 대응해 드립니다. 주요 업그레이드는 즉시 적용해드리며, 새로운 오픈소스 버전 출시 시 유상 업데이트 옵션을 제공하여 최신 기능과 보안 패치를 빠르게 반영할 수 있도록 지원합니다. *학습 최적화 기술(Distributed Learning)을 통해 새로운 모델을 빠르게 제품화 할 수 있습니다. (약 2-3주 소요) *별도로 제한 없이 100% 대응 해드리며, 원하실 경우 따로 미팅을 가질 수도 있습니다. 3. 전문 파트너사를 통한 Vertical Service 지원 기본적인 파인 튜닝을 위한 매뉴얼을 제공하고 있습니다. 그러나 GUI를 통해 파인 튜닝을 더욱 쉽게 수행하거나, 전문적인 RAG 구축 및 관리 서비스를 원할 경우, 각 분야의 전문 파트너사와 연결해 드립니다.
- 26. 26 www.osci.kr T. 02-516-0711 E. yhlee@osci.kr