3. GAI Security Copilot
업무 애로사항
보안관제 요원 지원 업무에도 많은 애로사항이 존재합니다.
컴플라이언스
&
보안 업무지식 공유
수많은 보고서 검색, 작성
및
물리적인 한계
다양하고 엄청난
보안 분석 업무
4. GAI Security Copilot
업무 애로사항
CYBER
CRIMINALS
MALICIOUS
INSIDERS
NATION
STATES
이 경우, 빠른 대응 으로 조치를 취해야 합니다.
5. GAI Security Copilot
업무 애로사항
여기서 잠깐!
모든 매뉴얼과 시스템을 일일이 외워야 할까요?
수많은 보고서를 모두 다 봐야 할까요?
Servers
Service
Desk
Storage
Desktops
Email Web
Call
Records
Network
Flows
DHCP/ DNS
Hypervisor
Custom Ap
ps
Industrial Con
trol
Badges
Databases
Mobile
Intrusion
Detection
Firewall
Data Loss Preve
ntion
Anti-Malwar
e
Vulnerability
Scans
Traditional
Authentication
6. -전세계적으로 하루에 초당 4천건의 패스워드 공격이 일어나고 있고, 피싱메일을 받고 클릭했을 때
공격자가 내부에 침투하기까지 걸리는 시간이 평균 72분이라고 하며 대용량으로, 그리고 엄청 빠르게
벌어지는 공격에 대응하는 보안 인력의 수나 여력은 그를 따라가지 못하는게 현실임
-시큐리티 코파일럿은 사람을 대체하는 AI가 아니라, 그야말로 부조종사로서 보안분석가의 업무를
지원하는 역할”이라며 “보안은 잘 막는 것도 중요하지만, 빨리 감지해서 해결하는게 중요한데, AI가
이를 도와줄 수 있음"
-보안 이슈에 수분 이내 대응가능하도록 지원하고, 자연어 프롬프트와 간단한 보고로 복잡한 업무를
단순화하며 심도 있는 이해를 바탕으로 누락없는 탐지를 실현하고, 보안 전문성을 학습한 생성 AI를
통해 보안 전문 인력의 역량도 향상됨
- 사이버 보안 리포트 , 보안운영 보고서 초안을 잡아주고 리포트 검색 및 요약, 프로세스 안내를 즉각적
으로 수행하여 보안관제 요원의 보안 업무를 획기적으로 경감하고 본연의 업무에 충실하게 함
업무 애로사항
7. GAI Security Copilot
업무 애로사항
LLM 기반의 사이버보안 KMS를 구축하여 Security Co-Pilot을 두시면,
보안관제업무가 더욱 수월해집니다.
포인트 보안 장비와
보안관제
매뉴얼 학습
자연어 기반
로그 분석
실시간 KMS로
보고서 작성 대응 및
절차 신속화
9. GAI Security Copilot
관제요원
질문
대답
웹 상담
감사
전용기기
APP 챗봇 + 채팅
(STT, TTS)
라벨링
학습 / 재학습
모델 추론
질문
대답
요약 기록
FAQ 업데이트
▪ SOC
▪ ITO
▪ Compliance
▪ Log Analsys
▪ Log Query
안내 시나리오
• 단어/문장 추출
• 제품판단 ( 반복질문 )
• 기술판단(반복질문)
• GPT-J, H2OGPT 등
• Semantic tokenize
질의응답
추론이력
(MongoDB)
지식 베이스
(MariaDB)
Socket서버
JSI.ai
Legacy I/F
보안 문서 DATA
장비/관제 매뉴
얼 ( PDF )
FAQ
분석/대응이력
- SOC 업무 효율 제고
- 보안 대응 지식 고도화
- 보고서 작성 및 검색 시간 절감
도입 시 효과
LLM 기반의 사이버 보안 보조 솔루션 – Security Co-Pilot
10. GAI Security Copilot
LLM 은 무엇인가?
LLM 이란?
Large Language Model ( 대형 언어 모델 )
- 아주 큰 모델과 아주 많은 양의 텍스트를 사용해서 자연어를 이해하고 생성할 수 있도록 학습된 모델
- attention과 transformer를 기반으로 한 BERT, ELMo, GPT 시리즈 등
- 언어 모델링, 문장 생성, 질의응답, 요약, 번역 등 다양한 자연어 처리 작업을 수행
- 상용, 오픈소스 LLM 버전을 단독 또는 융합하여 사이버보안관제센터내에 사이버보안 KMS를 구축
11. GAI Security Copilot
사이버보안관제센터의 KMS 구축을 위한 사전 준비사항
Check항목 내 용 비 고
목적 어떤 서비스를 LLM으로 구현하려고 하나요?
- Q&A, 분류, 요약 등
- 정답을 요구하는 분야는 맞지 않고 자문형에 적합
문서 등 데이터 보유하고 있는 데이터 양과 형식
- csv, pdf, 워드, 한글, json 등
- 문서개수와 평균 페이지수로 단어개수 산정
(1페이지 글자수는 평균 1,800~2,000, 단어는 500개 내외)
- 백만개 이상의 단어가 있어야 구축 효과 있음.
- 데이터 갯수, 데이터의 질, 편협되지 않아야함.
- 정확한 단어가 쓰여야 함.
- 다양한 주제여야 함
- 한글에 맞는 토크나이징이 되어야 함
사용자 - 보안관제 센터
- IT관제센터
기타 요구사항
13. 13
GAI Security Copilot
• Info는 현재 사용자가 원하는 문서를 업로드하고 학습시키는 기능입니다. info에 사용자의 파일을 넣고 훈련 버튼을 누르면 5분이내의
시간안에 훈련이 완료되며 챗봇에 적용할 수 있습니다. 현재 속도는 PDF 한장당 1초정도 걸리며 PDF 500장 기준 500초입니다.
X-Chat for SOC UI
14. 14
GAI Security Copilot
• Interpreter는 파이썬을 기반으로 계산, 표, 그래프 출력, 파이썬 코드작성 및 API 연결과 같이 자동으로 동작하는 AI 에이전트입
니다.
X-Chat for SOC UI
15. 15
GAI Security Copilot
사용자 관리
문서 관리
프롬프트 관리
API 관리
관리자, 사용자 등록, 조회, 삭제
원본 버전 관리, 업무별 관리, 일자별 관리, 주제별 관리
수정본 내역 관리
내부 연결 API, 솔루션 관리
사용자별 프롬프트 관리
업무별 프롬프트 관리
프롬프트 가이드(업무별 우수 프롬프트, 보고서별 우수 프롬프트)
X-Chat for SOC Admin
16. 16
GAI Security Copilot
프롬프트 생성
• 클릭하고 LLM에 프롬프트 생성 요청
• 생성 페이지에서 사용자 가이드라인(2줄)
• 안내 및 적용하기 버튼 클릭 시
• 사용자별 개인화된 프롬프트를 만들 수 있음
X-Chat for SOC Prompt Guide
17. GAI Security Copilot
- RAG 정보 검색 개념:
RAG는 LLM에 도메인 지식을 갖추는 데 널리 사용되는 접근 방식으로, 하기에 4단계로 질문에 답합니다
그림1) RAG 워크플로우
https://medium.com/@chatdocai/revolutionizing-rag-with-enhanced-pdf-structure-recognition-22227af87442
17
① 사용자가 쿼리를 제안하고,
② 시스템이 개인 지식 기반에서 관련 콘텐츠를
검색하고,
③ 이를 사용자 쿼리와 컨텍스트로 결합하고,
④ 마지막으로 LLM에 답변 생성을 요청한다
<RAG 프레임워크(4단계)>
사이버보안관제센터의 KMS 구축
18. GAI Security Copilot
- RAG 데이터 처리 프로세스 :
PDF 파일을 검색하는 과정에서 일반적인 문제는 텍스트 추출의 부정확성과 PDF 파일 내 테이블의 행-열
관계의 혼란이 포함됩니다. 따라서 RAG 이전에 대용량 문서를 검색 가능한 컨텐츠로 변환 합니다
그림2) PDF를 검색 가능한 콘텐츠 변환 과정
https://medium.com/@chatdocai/revolutionizing-rag-with-enhanced-pdf-structure-recognition-22227af87442
▪ 문서 구문 분석 및 chunking. 여기에는 단락, 표 및
기타 콘텐츠 블록을 추출한 다음,
▪ 추출된 콘텐츠를 후속 검색을 위해 Chunk로 나누는 작
업
• 임베딩. 텍스트 Chunk를 실제 값의
벡터로 변환하여 벡터 데이터베이스에
저장
18
사이버보안관제센터의 KMS 구축
19. GAI Security Copilot
▪ 임베딩 하고자 하는 문서를 업로드
- 문서인식 후 사용자가 원하는 사이즈에 맞게 split
- 해당 split 한 데이터를 임베딩
- 임베딩한 데이터를 Vector 형태로 DB 저장
질의한 내용과 가장 유사도가 높은 데이터를 저장했
던 Vector DB 안에서 찾음
-> (질의 시 미리 입력해둔 프롬프트를 통해 챗봇의
역할을 부여하거나 목적에 맞는 답변을 구체화
-> 유사도 가 높은 답변을 보여줌
- RAG 정보 검색 프로세스:
RAG는 크게, 데이터 전처리(Pre-Processing)과 벡터 DB를 검색하는 정보검색 프로세스 2가지 프로세스로 정의할 수 있습니다
그림3) LLM RAG 프로세스 개요
19
사이버보안관제센터의 KMS 구축
20. GAI Security Copilot
- LLM 데이터 추출 및 처리 : 구조화되지 않은 다양한 문서에서 효율적인 데이터 추출과 처리 및 RAG 쿼리 서비스를 위해 RAG와
프로세스를 융합하는 프로세스 자동화 솔루션이 필요합니다.
+
그림64 RAG 프로세스와 R 프로세스 통합
20
① RAG 전처리 프로세스
② RAG 검색 서비스 프로세스
RAG 데이터 전처리
프로세스 RPA 적용
사이버보안관제센터의 KMS 구축
21. GAI Security Copilot
BOT
업무 설명
LLM 전처리: 전자문서 변환 및 저장 - 저장된PDF파일들을다운받아임베딩처리후, 신규벡터DB로저장
임베딩 하고자 하는 문서를 업로드
- 문서 인식 후 사용자가 원하는 사이즈
에
맞도록 split
- 해당 split 한 데이터를 임베딩
- 임베딩한 데이터를 Vector DB에 저장
Query 내용과 가장 유사도가 높은 데이터를
Vector DB에서 정보검색(Information Retrieval)
- 질의 시, 미리 입력해둔 프롬프트로 Chatbot에
역할을 부여하거나 목적에 맞는 답변을 구체화
- 유사도가 높은 답변을 보여줌(TopK, TopP 등)
LLM RAG 프로세스
시
작
Load SPLIT Embedding 종료
Vector
Store
문서
전처
리
Retrieve
21
사이버보안관제센터의 KMS 구축
22. GAI Security Copilot
LLM-powered 지능형 IT Monitoring
▪ 자동화된 로그 분석: 로그 데이터, 경고 및 시스템
메시지를 분석하여 문제의 원인을 식별하고, 가능
한 해결책을 제안
▪ 예측 분석: 과거 데이터를 분석하여 미래의 시스템
성능 문제나 장애를 예측
▪ 고급 분석 기능: 복잡한 패턴을 인식하고 비정형 데
이터에서 유의미한 인사이트를 추출
▪ 사용자 경험 개선: 사용자의 질문에 자연어로 답변
하여 IT 모니터링 정보를 더 쉽게 액세스 가능
▪ 지속적인 학습과 개선: 지속적으로 학습하고 새로
운 데이터로부터 학습 능력 제공
https://chatdemo-itm.streamlit.app/
“Splunk 플랫폼의 관리자용
매뉴얼의 종류를 알려줘”
- 구축사례_1: LLM-powered IT Monitoring 정보검색 Demo
국내 선도 데이터센터 IT 문서들 (매뉴얼, 기술 사양서, 로그 데이터 등) LLM RAG 기반의 보안관제 수행
22
사이버보안관제센터의 KMS 구축
23. GAI Security Copilot
❖ IT 관제 정보검색 Demo: https://chatdemo-itm.streamlit.app/
<질문 예시들>
- Splunk 플랫폼의 관리자용 매뉴얼의 종류를 알려줘
- Splunk 플랫폼의 관리자용 매뉴얼의 종류를 표로 작성해줘
- Splunk 작업에서 *nix와 Windows 의 차이점을 알려줘
- Splunk에서 발생할 수 있는 일반적인 문제와 이를 해결하
기 위한 기본적인 접근 방법을 말해줘
- Splunk Enterprise 를 최적화 할 때의 주의사항을 알려줘
- RedHat 특정 버전 이상에서만 사용할수 있는 멀티패스 속
성을 알려줘
- RedHat의 queue_if_no_path 기능의 문제를 알려줘
23
사이버보안관제센터의 KMS 구축
24. GAI Security Copilot
24
사이버보안관제센터의 KMS 구축
1. 보안 운영 보고서 :
“보안관제요원들이 매주, 매월, 매분기,
매반기 보안운영보고서(취약점 대응, 보
안대응 , 보안 점검)를 작성해야 하고 특
히 매년 연간보고서를 4Q에 작성해서
국정원 등 상위기관이나 국회에 제출
해야 합니다.
보안관제요원들이 특히 매년 하는 1년
보안 운영보고서를 4Q에 작성해야 하
는데 10여명이 2개월 작업을 해야 해서
애로사항이 많습니다.
이에 LLM으로 기존 문서들을 학습 해
놓으면 2-3명이 2주내에 작업을 마무리
할 수 있습니다.”
https://www.dsdata.co.kr/pen-testing
① 보안운영보고서를
학습하여 벡터DB로
적재하고
LLM으로 검색한다
☞ 난이도: 중
② 보안로그 데이터를
LLM으로 학습하여
쿼리 검색 또는 쿼리
추천을 검색한다
☞ 난이도: 중상
③ 보안운영보고서를
학습하여 벡터DB로
적재하고
LLM으로 검색한다
☞ 난이도: 중
25. GAI Security Copilot
25
사이버보안관제센터의 KMS 구축
2. 보안 로그 분석 :
보안관제요원들이 로그 분석 솔루션
을 이용해 보안 로그를 분석해야 하는
데 로그분석제품의 전용 쿼리를 일일히
다 배워서 해야 해서 애로사항이 많습
니다.
이에 LLM 학습을 통해 자연어로 대화
하듯이 보안로그를 분석하고 결과를 얻
을 수 있습니다...
① 보안로그 데이터를
LLM으로 학습하여
쿼리 검색 및 쿼리
추천을 한다
☞ 난이도: 상
26. GAI Security Copilot
26
사이버보안관제센터의 KMS 구축
3. 보안 제품 매뉴얼 검색 및 요약
“보안관제센터에 수십, 수백가지의 보
안제품이 있는데 보안관제요원이 보안
제품의 설치, 에러 대응, 이벤트 대응,
운영을 위해 모든 제품의 정보를 다 알
수가 없어서 보안대응작업에 시간이 많
이 소요됩니다.
이에 LLM을 통해 미리 보안 매뉴얼을
학습하면 모든 보안 제품 매뉴얼을 검
색, 요약해 주어서 보안 대응작업이 훨
씬 빨라지게 됩니다”
① 보안매뉴얼을
LLM으로 학습하여
정보검색 한다
☞ 난이도: 중
27. GAI Security Copilot
27
사이버보안관제센터의 KMS 구축
4. 일반 IT 제품매뉴얼 검색〮요약
“일반 IT 제품 매뉴얼 검색 및 요약 :
보안제품외에도 서버, 윈도우, 리눅스,
웹, WAS, DB 등의 제품 메뉴얼과 에러
대응내역 등을 학습해서 에러나 이벤트
발생시에 신속히 대응이 가능해지게 됩
니다.
특히 공공기관은 담당자가 주기적으로
로테이션되기때문에 IT대응지식이 내부
에 쌓이지 않는 경우가 많은데 이를
해결할 수 있습니다...
”
① IT제품 매뉴얼을
LLM으로 학습하여
정보검색 한다
☞ 난이도: 중
28. GAI Security Copilot
28
LLM
Splunk 쿼리 생성
생성된 SLP 쿼리
보안 담당자
평가 점수
사이버보안관제센터의 KMS 구축
LLM을 통한 Query 검색 및 추천 보안 아키텍쳐 (To-Be)
Xpert: Empowering Incident Management with Query Recommendations via Large Language Model, Yuxuan Jiang∗, dec. 2023
“Splunk 설치 후
Query 개발이 어려워
서 현재는 사용 못하고
있음”
29. GAI Security Copilot
29
LLM
Splunk 쿼리 생성
생성된 SLP 쿼리
보안 담당자
평가 점수
사이버보안관제센터의 KMS 구축
Xpert: Empowering Incident Management with Query Recommendations via Large Language Model, Yuxuan Jiang∗, dec. 2023
“ 비용이 많이 드는 사전 훈련, 미세 조정 및 기존 NLP 모델의 빈번한 업데이트로 인해 발생하는 문제를 완화하기 위해 Xpert는
LLM(대형 언어 모델)의 탁월한 몇 번의 학습 기능을 활용하여 몇 가지 예만 제공되는 사건별 KQL 쿼리를 생성합니다. ,
매개변수 튜닝이 필요하지 않습니다. LLM은 복잡한 데이터 구문 분석, 필수 정보 추출, 자연어 및 코드 도메인 모두에서 간결하고
통찰력 있는 출력 생성에 있어 놀라운 능력을 입증했습니다.
이는 사건 설명이 종종 복잡하고 구조화되지 않아 전통적인 소규모 언어 모델에 문제를 제기하는 Xpert의 맥락에 매우 적합합니다.
또한 특정 영역에서 LLM의 몇 번의 학습 능력을 통해 온라인 방식으로 과거 데이터를 활용하여 새롭고 진화하는 사건 유형에 신속하
게 적응할 수 있습니다. 이러한 적응성은 생성된 KQL 쿼리의 품질을 크게 향상시켜 LLM을 이 작업에 이상적인 솔루션으로 만듭니다.”
- 선진 사례 벤치마크 Microsoft Xpert LLM 기반 보안관제 시스템
31. GAI Security Copilot
31
사용자(보안관제)
Splunk Enterprise
Chatbo
t
기능 개요
• 사용자(보안관제)가 한국어로 시나리오 작성
• Chatbot이 사용자가 질의한 내용을 기반으로
Splunk Splunk Query 작성
• Splunk Co-Pilot가 Chatbot이 생성한 Splunk Query
를 Splunk 에 전송
• Splunk가 Splunk Co-Pilot에게 Splunk Query 결과
값이 포함된 text 데이터와 결과 화면을 볼 수 있는
URL을 전달
장점
1. 시간과 비용 절감
Splunk query 사용이 미숙한 보안 운영팀의 데이터
수집, 분석, 변환 작업을 자동화하여 운영 자원을 크
게 절감
2. 폐쇄망에서 사용 가능한 Chatbot
외부와 통신이 단절되어 있는 고객사 내부망에 구축
가능, 고객사 내부 데이터 유출 걱정 없음
Splunk Co-Pilot
사이버 보안 보조 사례
32. GAI Security Copilot
01 기능 개요
32
Splunk Co-Pilot 내부 logic
Splunk
REST
APIs
(POST)Splunk Query,
(GET)Splunk Query
결과값,
(GET)Splunk URL
REST
APIs
(GET)Chatbot생성
Query
(POST)Splunk
Query 결과값,
(POST)Splunk URL
Chatbo
t
Splunk Enterprise
Splunk Co-Pilot
내부 logic 개요
① Chatbot이 생성한 Query 수신
② 수신한 Query를 Splunk에 송신
③ Splunk에서 Query 결과 값 생성
④ Splunk에서 생성한 결과 값, 결과 URL 수신
⑤ 수신한 결과 값과 URL을 Chatbot에 송신
38. GAI Security Copilot
X - C h a t f o r S O C : 도입/운영ㅣ문서&답변 생성 사례
Demo 환경 구성
구성
구분
LLM
SPEC
데모 주제
학습 문서
38
39. GAI Security Copilot
X - C h a t f o r S O C : 도입/운영ㅣ문서&답변 생성 사례
QA(질의답변)
인터넷 VDI에서 VM 연결 시 연결에 실패하였다고 나오고 관리자에게 문의하라는데 어떻게 해결하는지 알려주고 다음과 같이 정리해줘.
"""
1. 현상
2. 조치
3. 원인
4. 향후대책 및 대응방안
"""
이 에러는 어느 고객사에서 발생한 케이스야?
고객사 에서 발생한 다른 장애 처리, 기술 지원, 현상, 패치 등의 지원내용을 연도별로 시간의 흐름에 따라 표로 정리해. 표는 다음의 항목으로 정리해.
"""
연도
이슈번호
문제요약
발생원인
조치방법
"""
39
40. GAI Security Copilot
X - C h a t f o r S O C : 도입/운영ㅣ문서&답변 생성 사례
QA(질의답변) 상세 또는 심플 (cont.)
step 1. 문제. 어떻게 해결해?
step 2. 현상, 조치, 원인을 최대한 상세하게 작성해.
step 3. 답변은 불렛 포인트로 정리해주고 다음 포맷으로 정리해.
"""
1.고객명:
2.현상:
3.조치:
4.원인:
5.대책:
"""
40
step 1. 문제. 어떻게 해결해?
step 2. 조치한 것만 최대한 심플하게 알려줘.
step 3. 답변은 불렛 포인트로 정리해주고 다음 포맷으로 정리해.
"""
다음과 같이 조치하세요:
조치의 문구는 "-하세요"와 같이 표현한다.
"""
41. GAI Security Copilot
X - C h a t f o r S O C : 도입/운영ㅣ문서&답변 생성 사례
장애보고서 작성
한국전자인증에서 발생한 장애에 대한 VDI 장애보고서를 작성해줘.
장애보고서의 형태는 다음 포맷으로 작성해줘.
"""
1. 개요
2. 상세진행내역
3. 장애원인분석
4. 조치방법
5. 고객제안
"""
41
고객제안항목을 조금 더 상세하게 적어.
42. GAI Security Copilot
X - C h a t f o r S O C : 도입/운영ㅣ문서&답변 생성 사례
이메일, 매뉴얼 참조, 경쟁사 비교, 홍보기사, 문제출제, 코딩 … so many cases …
쓰리에스소프트의 NetDesktop 의 기능을 요약, 정리해서 고객에게 간략하게 브리핑할 메일을 작성해. 항상 한국어로 답변해.
관리자 포탈의 대시보드에서 조회 가능한 정보는 어떤 것이 있어?
관리자 포탈에서 사용자를 추가하는 방법을 알려줘
관리자 포탈의 주요 기능을 5가지로 분류하고 각각의 특징을 정리하고 각 특징에 대해 경쟁사의 제품과 비교해줘.
비교대상 제품으로는 CISCO, VMWARE, AMAZON, MICROSOFT, CITRIX이 제품과 비교해줘.
쓰리에스소프트 NetDesktop과 NetDesktop의 경쟁사 제품과의 비교 시, NetDesktop의 약점을 를 중점적으로 얘기해봐.
VDI 제품인 NetDesktop의 홍보를 위한 브로셔를 만들거야. 목차를 만들어주고 각 목차에 채울 수 있는 내용을 만들어줘
쓰리에스소프트의 NetworkBridge Suite 을 홍보하려고 하는데 전문 it 기자처럼 홍보기사를 써봐. 한국어로 작성해줘.
팀원들이 VDI NetDesktop을 잘 이해하고 있는지 평가하기 위한 문제를 만들어줘 문제를 해결하기 위해 다음 단계를 수행한다.
– 먼저 문제에 대한 자신만의 해결책을 찾아낸다. – 그런 다음 자신의 솔루션을 직원의 솔루션과 비교한다. - 이 후 직원의 솔루
션이 올바른지 평가한다. 직원들의 VDI 수행능력을 평가하는 문제를 5문제 출제해줘.
MYSQL쿼리 중 수행시간 기준 TOP-5 쿼리를 KILL해주는 JAVA 프로그램을 작성해.
42