[25D2S09]_Amazon Nova팀이 선택한 Amazon SageMaker HyperPod 활용하기.pdf

© 2025 Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DATA & AI ROADSHOW 2025
1
Amazon Nova팀이 선택한
Amazon SageMaker HyperPod 활용하기
임연욱
솔루션즈 아키텍트, AWS
조소현
솔루션즈 아키텍트, AWS

2

3
대규모 모델
트레이닝
모델
양자화
모델
검증
고객
유스케이스
다양한 지식
Amazon Data
Premier Pro
Lite Micro Lite
Fine Tuning
Nova
Teacher FM

4
Inception
ResNet-50
ResNext-101
BERT
GPT-2
Megatron-LM
Baidu-RecSys-2T
Baidu-RecSys-10T
Turing-NGL
GPT-3
PaLM
GPT-4
Llama 3.1
Nvidia P100 (12GB)
TPUv2 (8GB)
Nvidia V100 (32GB)
TPUv3 (16GB) Nvidia A100
(40GB)
TPUv4 (32GB)
Nvidia H100 (80GB)
TRN1 (32GB)
TPUv5 (95GB)
TRN2 (96GB)
1M
100M
10B
1T
100T
2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025
PARAMETERS
Models
Accelerators
Memory
Wall
Memory Wall (https://ayarlabs.com/glossary/memory-wall/)

5
Memory Wall을 넘어서
개별 레이어들을
가속기들 간에 분할함
Wide layer (MLP) 또는
계산 비용이 큰 레이어
(Attention layer)
Tensor parallelism
여러 가속기에 걸쳐
레이어 그룹들을
파이프라인 방식으로 처리
심층 모델
Pipeline parallelism
모델이 단일 GPU에
탑재 가능한 상황
Single accelerator

6
Memory Wall을 넘어서
Replica 1 Replica 2 Replica 3 Replica 4
데이터가 분할된 다수의 모델 복제본
Data parallelism

7
피할 수 없는 엔트로피의 법칙
수만 개의 가속기 수천 대의
서버
3-4개월
연속 운영

8
수천 개의 AI 가속기에서
생성형 AI 모델 개발을 확장하고 가속화하는
최고의 선택
Amazon SageMaker
HyperPod
− 컴퓨팅 리소스 활용 극대화
− 규모에 맞게 설계됨
− 모델 학습 시간 40% 단축
− 탄력적인 환경
− 관찰 가능성 및 제어 향상

9
HyperPod 클러스터 구성
.py
.py
.py
.sh
.sh
.sh
Service
Lifecycle Scripts
Compute Nodes
Controller node
Login nodes
.
.
.
..
..
..
.. .. .. ..
.. .. .. ..
.. .. .. ..
..
..
..
..
Lifecycle
scripts
.
.
LCS
.
.
LCS
Instance Groups

10
SageMaker HyperPod 아키텍처
Customer Account
Engineers &
Researchers
FSxL
Datasets &
checkpoints
Endpoint
AWS Cloud
Service
Compute Nodes
Head
Node
jobs,
ssh
ssh
Login
Node
Admin &
Ops
AWS IAM
Identity Center
Amazon
Managed
Grafana
Amazon
Managed Service
for Prometheus
DCGM_exporter
EFA_node_exporter
awscli, AWS console
ssh via ssm

11
Nova팀이 HyperPod를 선택한 이유
2. 운영 관리 용이성
3. 유연하고 확장성 있는 학습 환경
1. 높은 회복 탄력성

12
이유 1. 높은 회복 탄력성
체크포인트
생성
복원 체크포인트
생성
노드
장애
인스턴스
복원
자동 노드 교체
트레이닝

13
클러스터에 문제가 생겼을 때
Compute Nodes
A A A A
A A A A
… … … …
… … … …
소프트웨어 스택이나 파라미터
문제인가요?
인스턴스에 이슈가
생긴 건가요?
프로젝트 결과물을
날리게 되나요?

14
직접 해결을 해야 한다면…
사용자
작업 큐
A
A
A
A
A
Training
job 제출 실행
Exit
Code
완료
성공
실패
에러
사용자
디버깅
모델
이슈
트러블슈팅
재제출,
체크포인트부터
재시작
yes
노드 이슈
조사
no
관리자
인스턴스 복원
또는 교체
수시간에서 수일 소요

15
작업 실패 시 자동 복구 로직
Compute Nodes
A A A A
A A A A
A
B B
B B
B
C
C C
C C
실패 원인
소프트웨어
잘못된 구성,
모델/코드 이슈
네트워크, 가속기,
인프라…
하드웨어
× 전체 작업 유실
× 유휴 자산 확보
× 시간 (디버깅, 체크포인팅, 운영)
Fix 및 할당
업데이트

16
이유 2. 운영 관리 용이성
동적 리소스 할당 유휴 자원 활용 작업 대기 시간 단축 실시간 작업
우선순위 조정
실시간
관측용이성

18
리소스 할당 관리: Task Governance 동작 방식
관리자
P4 인스턴스 50개 할당
Team 2
P5 인스턴스 100개 할당
Team 1
T1 T2
클러스터 Queue
T3 T4 T5
클러스터 Queue
공유된 HyperPod 클러스터
T7
동적 할당
유휴 컴퓨팅 사용량
선점
클러스터 정책
T6
클러스트 정책
작업 유형별
우선순위 정책
유휴 컴퓨팅 자원의
공정한 할당
보장된 컴퓨팅

19
리소스 할당 자동화: Training plans
Today
(12/5)
Segment 1
10 instances
7 days
Segment 2
10 instances
7 days
“12월 10일부터 14일간 ml.p5.48xlarge 10개의 인스턴스로 Training Plans을 생성”
12/10 12/16 12/20 12/26

20
뛰어난 관찰 가능성 (Observability)
HyperPod
cluster
Compute Nodes
Job queue
Accelerator 관찰성
클러스터 관찰성

21
HyperPod on EKS 관찰성
A M A Z O N C L O U D W A T C H C O N T A I N E R I N S I G H T S
SageMaker HyperPod EKS cluster node
LLM 또는 ML 모델 Pod
모델
컨테이너
Amazon
CloudWatch
Container
Insights
Fluent Bit
daemon set
CloudWatch
daemon set
CloudWatch 대시보드

22
이유 3. 유연하고 확장성 있는 학습 환경

23
최적화를 위한 유연한 선택지
FSxL
S3 EFS EFA
COMPUTE NETWORKING
STORAGE
JOB SUBMISSION
MLOPS
OBSERVABILITY DEV, TRAINING AND TUNING
Prometheus CloudWatch
Grafana
Amazon EKS Slurm
DLAMI DL Containers
DEVICE DRIVERS TOOLKITS
PREBUILT IMAGES
Lifecycle Scripts
FRAMEWORKS
Helm Charts
DeepSpeed
SMP
SMDDP
FSDP
DDP MegatronLM
DISTRIBUTED TRAINING STRATEGIES
Weights & Biases MLFlow
KubeFlow
Studio Kubeflow Notebooks
Ray Run.ai Kubectl Composer
Pytorch TensorFlow JAX
CUDA DCGM EFA Driver
NCCL Python
오케스트레이션
툴
학습 라이브러리
소프트웨어 &
드라이버
하드웨어
trn1.32xlarge p5.48xlarge p4de.24xlarge g5.48xlarge g6e.48xlarge
p5e.48xlarge
trn2.48xlarge
NEMO

24
구성 템플릿: Recipes
런처 및 레시피 컬렉션을 포함하는 오픈 소스
NeMo 기반 (Launcher, Configuration 구조)
다양한 구성의 30개 이상의 레시피
SageMaker optimized
models (GPU)
AWS Neuron optimized
models (Trainium)
Native NeMo models Custom models
L L M 사 전 학 습 및 파 인 튜 닝 을 위 한 최 적 화 된 구 성 템 플 릿

25
HyperPod Recipes 동작 방식
작 업 제 출 워 크 플 로 우
https://github.com/aws/sagemaker-hyperpod-recipes

27
AWS GPU에 최적화된 ML 소프트웨어 스택 구성
• DLAMI (Deep Learning AMI) 에서 기본 제공
• On-AMI 학습 작업
• 컨테이너 기반 학습 작업
성능 최적화를 위한 ML 소프트웨어 제공
유용한 Toolkits
• SageMaker Model Paralle (SMP) https://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/model-parallel-v2.html
• SageMaker Data Parallel (SMDDP) https://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/data-parallel-intro.html
• SageMaker Profiler https://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/train-use-sagemaker-profiler.html
• Nvidia Profiler https://docs.nvidia.com/cuda/profiler-users-guide/
• PyTorch profiler https://pytorch.org/tutorials/recipes/recipes/profiler_recipe.html

28

29
핵심 정리
인프라 관리에
소요되는 시간 절감
HyperPod의 장애
복원력
선택의 유연성 비용 절감
최신 하드웨어 접근성 상세 상태 점검
조직에 맞는 도구
선택의 유연성
활용도 극대화
클러스터 설정 및
확장 용이성
장애 자동 감지,
자가 복구 클러스터
커스터마이징 가능한
클러스터
분산 학습
라이브러리로 빠른
시작 가능
수천 개 가속기까지
확장 가능
운영자 개입 없이
작업 자동 재개

30
Thank you!

[25D2S09]_Amazon Nova팀이 선택한 Amazon SageMaker HyperPod 활용하기.pdf

More Related Content

Similar to [25D2S09]_Amazon Nova팀이 선택한 Amazon SageMaker HyperPod 활용하기.pdf (20)

More from Amazon Web Services (8)

[25D2S09]_Amazon Nova팀이 선택한 Amazon SageMaker HyperPod 활용하기.pdf