상상을 현실로 만드는, 이미지 생성 모델을 위한 엔지니어링
6 likes47,283 views
발표 영상: https://www.youtube.com/watch?v=Se62pRpk9A0 PDF로 받아서 보시면 더 깨끗하게 보실 수 있습니다. 지난 6개월 간 Diffusion model로 MVP를 만들면서 했던 최적화에 대한 고민과 MLops 경험을 공유합니다. 어제 DEVIEW에서 발표한 내용을 좀 더 이해하기 쉽게 수정했고, Diffusion model에 익숙치 않은 분들을 위해 전반부에 간략한 소개와 발전 과정을 정리했습니다. 최근에 Generative AI로 멋진 제품을 만들고자 하는 분들이 많아진 것 같습니다. 모두가 같은 기술에 접근할 수 있는 상황인 만큼 어떻게 다른 가치를 세상에 설득할 것인가 고민을 더 하게 되네요. 저희가 해왔던 시행 착오가 누군가에겐 도움이 되길 바랍니다! https://symbiote-ai.com/
상상을 현실로 만드는, 이미지 생성 모델을 위한 엔지니어링
- 1. 김태훈 SYMBIOTE AI 상상을 현실로 만드는, 이미지 생성 모델을 위한 엔지니어링
- 3. 김태훈 (carpedm20) Devsisters 2016 GPT-3 2018 Reinforcement Learning Network sparsity
- 4. 김태훈 (carpedm20) Devsisters 2016 2021 2018 Generative AI for Creativity
- 5. 이미지 생성 모델
- 6. 무엇을 할 수 있는가?
- 10. 인물 사진을 디지털 아바타로 바꿔주는 앱
- 11. 출시 후 한 달 매출 400억
- 12. 인류의 창의성 폭발을 일으키고 있는 생성 모델의 이름
- 13. Diffusion model
- 14. 1. Diffusion model은 무엇이 다른가?
- 16. Multimodal Image Generation model with diffusion process Diffusion Model is
- 17. Multimodal Image Generation model with diffusion process Diffusion Model is
- 18. Multimodal Image Generation model with diffusion process Diffusion Model is
- 19. Multimodal Image Generation model with diffusion process Diffusion Model is
- 22. Multimodal Image Generation model with diffusion process Diffusion Model is
- 23. Multimodal Image Generation model with diffusion process Diffusion Model is
- 25. Singlemodal
- 26. “말타는 우주 비행사” Multimodal Text 2개 이상의 다른 데이터
- 28. “말타는 우주 비행사” “우주 수프를 담은 그릇” “미친 과학자처럼 실험하고 있는 테디 베어” Multimodal Diffusion model
- 29. Multimodal Image Generation model with diffusion process Diffusion Model is
- 30. Multimodal Image Generation model with diffusion process Diffusion Model is
- 32. Diffusion process 생성할 땐 25 ~ 50 steps 학습시 1,000번 정도 반복
- 33. GAN Diffusion process × 50번 반복하기 때문에 느리다
- 35. 1. 생성이 느리다 = GPU 비용이 많이 든다
- 36. 1. 생성이 느리다 = GPU 비용이 많이 든다
- 37. 2. 학습에 리소스가 많이 든다 = GPU 비용이 많이 든다
- 38. 2. 학습에 리소스가 많이 든다 = GPU 비용이 많이 든다
- 39. 2. 학습에 리소스가 많이 든다 = GPU 비용이 많이 든다
- 40. 2020 2022 2018 × 5,700배 × 200,000배 (2020) 70,000개의 이미지 2.5% 1,800개의 이미지 400,000,000개의 이미지
- 41. 세상에 공짜 점심은 없다 No free lunch
- 43. 그래서
- 44. Multimodal Image Generation model with diffusion process Diffusion Model is
- 45. Multimodal Image Generation model with diffusion process Diffusion Model is
- 46. Multimodal Image Generation model with diffusion process Diffusion Model is
- 47. 좋지만 비싼 Diffusion
- 48. 어떻게 효율적으로 운용할 수 있을까?
- 49. 먼저 Diffusion model은 그동안 어떻게 발전해 왔는가? = 그 비용이 줄어왔는가?
- 50. 지난 6개월 간의 발전 DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion
- 51. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 몇몇 연구자들 사이에서 Diffusion model이 엄청 좋아졌고 몇 억 정도면 만들 수 있겠다는 생각을 하게 되었다
- 52. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 몇몇 연구자들 사이에서 Diffusion model이 엄청 좋아졌고 몇 억 정도면 만들 수 있겠다는 생각을 하게 되었다
- 53. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 LAION
- 54. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 150,000 A100 GPU Hours = $600,000
- 55. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08
- 56. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08
- 57. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 50 step V100 기준 10초
- 58. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 Latency (sec) Latency Vanila FP16
- 59. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08
- 60. 4억 개의 이미지 없이도 새로운 모델을 학습할 수 있을까? DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08
- 61. 5 ~ 20개의 학습 이미지 “로마에 간 강아지X” “머리 깎는 강아지X” DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 “강아지X”
- 62. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.11 개발 기간 3개월
- 63. FlashAttention Fast and Memory-Efficient Exact Attention with IO-Awareness DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09
- 64. FlashAttention DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 GPU Core 크지만 io가 느린 메모리 HBM 20GB GPU 계산에 사용되는 메모리 SRAM 20MB
- 65. HBM Core SRAM FlashAttention DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 다수의 I/O 과정을 없애는 방법
- 66. HBM Core SRAM FlashAttention DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09
- 67. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09
- 68. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09
- 69. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 Latency (sec) Latency Vanila FlashAttention FP16
- 70. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10
- 71. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 Prompt-to-Prompt Image Editing with Cross-Attention Control “… 금발의 아이” “… 눈을 감는 아이” “소파에 누워있는 노란 옷을 입은 아이” “소파에 누워있는 아이”
- 72. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 학습 데이터를 만들 때도 사용 가능 기존의 Diffusion 모델
- 73. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 학습 데이터를 만들 때도 사용 가능 새로운 모델
- 74. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 InstructPix2Pix Learning to Follow Image Editing Instructions
- 75. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 “소파에 누워있는 아이” “소파에 누워있는 금발 아이” GPT와 대화하 듯 “금발로 만들어 줘” 라는 명령어로 수정하려면?
- 76. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 “금발로 만들어 줘” GPT3 “소파에 누워있는 아이” “소파에 누워있는 금발 아이” “고양이” “썬글라쓰를 쓰고 있는 고양이” “썬글라쓰를 씌워 줘” “쿠키가 든 바구니” “사과가 든 바구니” “사과로 바꿔줘”
- 77. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 Prompt-to-Prompt로 데이터 “금발로 만들어 줘” “서부 영화로 만들어 줘” GPT-3로 만든 데이터
- 78. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 “금발로 만들어 줘” “서부 영화로 만들어 줘” 기존의 Diffusion 모델을 재학습
- 79. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 “서부 영화로 만들어 줘“ 대화형 수정 AI를 만들 수 있다 InstructPix2Pix
- 80. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 2022.02 ControlNet Adding Conditional Control to Text-to-Image Diffusion Models
- 81. DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 2022.02 기존의 방식과 다른점? 텍스트가 아닌 이미지로 생성과 수정을 할 수 있는 방식
- 82. Latency (sec) Latency Vanila FlashAttention FP16 학습 비용 DreamBooth LoRA 이미지 수정 Prompt-to-Prompt InstructPixPix ControlNet
- 83. 고작 6개월 만에 일어난 일 DreamBooth & LoRA xformers Prompt-to-Prompt InstructPix2Pix ControlNet Stable Diffusion 2021.12 ~ 2022.08 2022.08 2022.09 2022.10 2022.12 2022.02
- 84. 우리는 어떻게 비용을 줄였는가?
- 85. 비용은
- 86. 서비스 형태에 따라 다르다
- 87. 저희가 만들었던 서비스
- 89. 생성 = 핵심 컨텐츠
- 90. 생성 = 핵심 컨텐츠
- 93. Latency와 Scalability가 중요 Latency Vanila FlashAttention FP16 Distillation TensorRT triton
- 94. 1. Distillation 2. TensorRT & triton
- 95. 1. Distillation by 이동익 2. Compiler 3. Misc. https://github.com/bryandlee/DeepStudio https://github.com/bryandlee/malnyun_faces
- 96. 50 step V100 기준 10초
- 97. 추론 시간을 줄이려면?
- 100. Teacher Network
- 103. Teacher Network Student Network 보통의 distillation = 모델 사이즈를 줄여 추론 속도를 높이는 것
- 104. Teacher Network Student Network 보통의 distillation = 모델 사이즈를 줄여 추론 속도를 높이는 것
- 105. 보통의 Knowledge Distillation = 모델 다이어트
- 106. Diffusion 모델도 모델 크기를 줄일 수 있지만
- 109. Distillation을 할 때 마다 절반씩 줄이기
- 110. Distillation을 할 때 마다 절반씩 줄이기
- 112. Distillation of diffusion step = 스텝 다이어트
- 113. × 70 × 35 × 15 × 3
- 114. × 3 × 35 10배 빨라짐 10초 → 1초
- 115. 실험 결과
- 116. 1. Image2Image 모델을 학습 2. 기존 모델이 학습한 데이터 셋에서 학습 3. 1번의 학습은 평균 1.5일 정도 걸림 4. 전체 학습 기간은 6일
- 117. Distillation 없이 3번 × 35 평범한 Diffusion Distillation 학습 후 3번
- 118. × 35 Distillation 학습 후 3번 Distillation 없이 3번 t = 35 t = 0 t = 15 t = 25
- 119. “일러스트화” “인간화” “꽃 추가”
- 120. “일러스트화” “인간화” “꽃 추가”
- 121. 평범한 Diffusion Distillation 없이 3번 Distillation 학습 후 3번
- 122. × 3 × 35 Free Pro 완성도를 중요시 하는 유저
- 123. Latency (sec) Latency Vanila FlashAttention FP16 Distillation TensorRT triton
- 124. 1. Distillation 2. TensorRT & triton
- 125. 1. Distillation by 이동익 2. TensorRT & triton
- 126. 이전 슬라이드
- 127. GPU 하드웨어 구조
- 128. HBM Core Core SRAM SRAM 느린 I/O CUDA Cores Core Core
- 131. Core Core SRAM A = A.cos() < A = A.cos() A.cuda()
- 134. TensorRT를 쓰는 방법
- 135. model = Model()
- 136. model = Model() onnx = Onnx.export(model)
- 137. model = Model() onnx = Onnx.export(model) new_model = trt.compile(onnx)
- 138. model = Model() onnx = Onnx.export(model) new_model = trt.compile(onnx) y = new_model(x)
- 139. 이것만 쓰면 되는 건가? new_model = trt.compile(onnx)
- 140. Nope. Static graph 만으론 모든걸 알 순 없음
- 141. Nope. Static graph 만으론 모든걸 알 순 없음
- 142. class GEGLU(nn.Module): def forward(self, x): x, gate = x.chunk(2, dim=-1) return x * F.gelu(gate) https://github.com/CompVis/latent-diffusion/blob/main/ldm/modules/attention.py#L37-L44 split gelu mul x
- 143. split gelu mul Unary operation (단항 연산자) 𝐺𝐸𝐿𝑈 𝑥 ≅ 0.5𝑥(1 + tanh 2 𝜋 𝑥 + 0.4𝑥4
- 144. split gelu mul Unary operation (단항 연산자) HBM Core SRAM 𝐺𝐸𝐿𝑈 𝑥 ≅ 0.5𝑥(1 + tanh 2 𝜋 𝑥 + 0.4𝑥4
- 145. split gelu mul Unary operation이기 때문에 HBM Core SRAM HBM Core SRAM
- 146. split gelu mul Unary operation이기 때문에 HBM Core SRAM HBM Core SRAM
- 147. split gelu mul
- 153. I/O가 7번 일어날 걸 1번으로 줄일 수 있다
- 154. I/O가 7번 일어날 걸 1번으로 줄일 수 있다
- 155. 가 최적화 하지 못하는 코드를 triton class GEGLU(nn.Module): def forward(self, x): x, gate = x.chunk(2, dim=-1) return x * F.gelu(gate)
- 156. OpenAI가 만든 언어 및 컴파일러 I/O 최적화된 op을 만들어 최적화
- 157. OpenAI가 만든 언어 및 컴파일러 I/O 최적화된 CUDA 코드를 최적화
- 160. Latency (sec) Latency Vanila FlashAttention FP16 Distillation TensorRT triton
- 161. 1. Distillation 2. TensorRT & triton
- 162. 빨라진 Diffusion model
- 163. 어떤 인프라로 서빙하고 있는가
- 164. 인프라 구조 • Bare metal 서버를 사용 (임시) • Kubespray로 self-hosted 클러스터 운영 • 2개의 서비스와 8개의 GPU 서버로 구성 Kubespray 서비스 #1 GPU 서버 #2 TRITON GPU 서버 #1 TRITON GPU 서버 #8 TRITON 서비스 #2
- 165. 모델 서빙 관리 = TRITON Inference Server
- 166. TRITON 의 장점 • Ensemble Models, Scheduler 및 dlpack • TensorRT • GRPC • Dynamic Batching TRITON INFERNCE SERVER
- 167. TRITON 의 장점 • Ensemble Models, Scheduler 및 dlpack • TensorRT • GRPC • Dynamic Batching TRITON INFERNCE SERVER
- 168. Latency Vanila FlashAttention FP16 Distillation TensorRT triton Latency (sec) ×3
- 169. ×3 왜 이렇게까지..?
- 170. ×3 “Text” TRITON INFERNCE SERVER 실제로 사용하는 모델
- 172. 단순화를 위해 GPU 하나에 동시 실행 가능한 모델 = 2개
- 173. Inference Time 1 2 1’ Diffusion 3 4 5 1 2 1’ Diffusion 3 4 5
- 174. Diffusion 1 1 2 Inference Time Inference Time w TRITON 1 2 1’ Diffusion 3 4 5 1 2 1’ Diffusion 3 4 5 3 2 Diffusion 4 5 1’ 1’ 1 3 1 4 5 2 1 2 1’ Diffusion 1 Diffusion 2
- 176. FYI Diffusion 모델과 앞 뒤로 한 두 개의 pipeline만 있다면 필요하진 않다
- 177. 그래서
- 178. 값비싼 Diffusion model을 받드는 저비용 MLOps
- 180. 네
- 181. 값비싼 Diffusion model를 받드는 저비용 MLOps
- 182. 값비싼 Diffusion model를 받드는 저비용 MLOps
- 183. 값비싼 Diffusion model를 받드는 저비용 MLOps
- 184. 값비싼 Diffusion model를 받드는 저비용 MLOps
- 185. 마지막으로
- 187. 남들과 똑같은 정보만 보고 듣고 행동하면 그 어떠한 혁신도 만들어내지 못합니다
- 188. 저는 AI에 대한 집념으로 2018년 로부터 합류 제의를 받았고 한국에서 학부를 마치고 미국으로가 2년 간 세계 최고의 인재들과 함께 AI 개발을 했습니다
- 189. 2021년 Symbiote AI 기술로 만든 3D 모델들 3년 전 OpenAI를 퇴사하고 Generative AI로 어떤 가치와 시장을 혁신할 수 있을지 고민해 왔습니다
- 190. 작년 1월부터 작고 뾰족한 시장에서 시작해 광고 없이 37만 명의 글로벌 유저를 모았고 유저와 끊임 없이 대화하며 타겟 시장과 심리를 깊게 이해해 왔습니다 https://bit.ly/retrospect-virtu
- 191. Symbiote AI는 Global, Technology, Service 기업을 지향하며 기술적 격차와 유저 중심의 제품으로 Day 1부터 글로벌 서비스로 저희 자신의 가치를 증명하고자 합니다
- 192. 자신의 가치를 역사에 증명하기 위해 살아가는 분들과 불가능을 이뤄내고 싶습니다. 관심 있는 분은 편하게 연락주세요! Mail: taehoon@symbiote-ai.com
- 193. 지난 3년간 저희가 밟아 왔던 발자취는 https://bit.ly/retrospect-virtu 에서 보실 수 있습니다
- 194. symbiote-ai.com
- 195. 감사합니다