AI 個人造型顧問：結合 Stable Diffusion 與 CLIP 的 AI 虛擬穿搭推薦系統設計【艾鍗學院學員專題 】
- 1. AI 個人造型顧 問 All the newest trends, styles, and inspiration for your hottest fashion looks. 成員 : 08 李 O 勇 10 賴 O 羽 20 劉 O 鴻 21 郭 O 玲
- 2. 2 大綱 ● 專案動機 ● 市場現況分析 ● 專案的目標與優勢 ● 系統核心功能介紹 ● AI 造型師 模型訓練 ● 造型推薦與圖像生成 ● 換衣與圖像修改 ● 系統運作流程與部署方式 ● 成果展示
- 3. 3 專案動機 🔍 專案動機 根據 Google Trend ，過去 5 年來大 眾對於「個人穿搭建議」的搜尋熱度 持續成長。 顯示市場對個人化造型服務的需求高 度存在，特別在後疫情時代線上購物 與視訊出現頻繁。
- 4. 4 📊 現有方案分析 Modiface 😢 只能試妝，無整體造型 建議 Zalando Assistant 😢 關鍵字推薦，無圖像與 情境判斷 StyleSnap 😢 找得到單品，無整體穿 搭搭配 Vue.ai 😢 商用為主，缺少個人互 動分析 一般的功能 • 利用文字來搜尋服飾 市場現況分析 使用者痛點 • ❌ 無法針對個人特徵推薦穿搭 • ❌ 沒有整體造型搭配建議 • ❌ 推薦內容太靜態，缺乏互動與情 境切換 • ❌ 無法即時預覽穿搭或試穿模擬
- 5. 5 專案的目標與優勢 🎯 專案目標 • 打造一套能即時提供個人化穿搭建議的 AI 造型顧問系統 ✅ 專案優勢 功能 現有方案情況 本專案優勢 情境搭配（季節 / 場合） ✅ Zalando 有（文字引導） ✅ 也有，並更進一步結合偏 好與互動問答 個人化互動分析（年齡 / 氣 質等） ❌ 無 ✅ 有互動問答，建立偏好模 型 整體造型視覺呈現 ❌ 幾乎無（僅有 Modiface 類似妝容試妝） ✅ 直接生成完整穿搭形象照 上下身搭配自由組合 + AI 視 覺生成 ❌ 無（現有方案無即時生成 完整搭配影像） ✅ 自由選衣 + 立即換衣穿 搭預覽（圖像生成）
- 6. 6 系統運作概念 造型推薦與圖像生成 Al 造型師 模型訓練 換衣與圖像修改
- 7. 7 AI 造型師 模型訓練 • 用 CLIP 處理 500 張服裝照，建立圖文對應資料集 • 使用現有文字轉圖 AI 生圖模型 - Stable Diffusion V1.5 • 訓練 AI 生圖模型，學習穿搭風格與對應的文字描述 • 輸入文字即可生成對應穿搭影像
- 8. 8 影像特徵萃取 (CLIP) • 以預定的分類表，有效收集影像特徵 • 採用 CLIP 分析服裝影像，萃取各服 飾的特徵值，以供模型學習 / 微調 Catalog Classifier Feature Gender Male: 90% Female: 10% Male Age Youth: 50% Middle-aged: 30% Elderly: 20% Youth Season Spring/Summer: 70% Autumn/Winter: 30% Spring/Summer Occasion Casual: 50% Formal: 30% Sport: 20% Casual CLIP 自動化擷取圖片特徵
- 9. 9 訓練資料蒐集與前處理 youth male wearing casual fashion for spring/summer. Middle-aged male wearing casual fashion for Autumn/Winter. Middle-aged male wearing casual fashion for Autumn/Winter. Image 512 x 512 Prompt CLIP 分析服裝影像，萃取各服飾的特徵 值 共 500 筆資料 以供 AI 模型訓練 (image + prompt) 由服裝雜誌 開始學習穿搭
- 10. 10 AI 模型訓練 學習圖形與對應的文字描述 使用 500 筆資料進行 LoRA 微調，加強 SD 表現 訓練採用 Diffusers 官方腳本進行 1000 輪訓練 使用 均方誤差 (MSE) 作為 損失函數 訓練中末期， Loss 維持穩定，訓練成功。 500 Samples prompt(X): A youth male wearing casual fashion for spring/summer. photo(Y): 512x512 .png 500 Samples 訓練資料 Stable Diffusion 1.5 LoRA 權重 MSE losses fluctuate 0 ~ 0.025 train_dreambooth_lora.py LoRA tuning at latent space 潛在空間 Backpropagation 微調 LoRA 權重
- 11. 11 造型推薦與圖像生成 • 使用 Stable Diffusion V1.5 AI 生圖模型，生成擬真穿 搭圖 • 根據性別 / 年齡 / 場合智能推薦 • 多套風格穿搭
- 12. 12 造型推薦 & 圖像生成 1. 造型推薦 • 先利用服裝搭配的圖像來訓練 AI 模 型，使其能產出類似風格的穿搭圖像。 • 藉由改變輸入文字的屬性 ( 例如 衣服 材質、款式，色彩等 ) ，可產出多套風 格穿搭。 2. 圖像生成 • 文字 -> 圖形產出的 AI 模型，採用 Stable Diffusion V1.5 + LoRA ( 已經 微調 ) 。
- 13. 13 換衣與圖像修改 • 使用 U²-Net 模型，精準擷取上衣與下身區域，產出 對應遮罩 (mask) 。 • 導入 Stable Diffusion Inpainting 模型，依據輸入條件 動態組合成文字提示（ prompt ），搭配遮罩資訊進行 局部服裝圖像修改
- 14. 14 使用 U²-Net 精準分割上下身服飾 U²-Net Upper Lower 使用 U²-Net 模型進行語意分割，精準擷取上衣與下身區域，並輸出對應顏色遮 罩（ mask ）
- 15. 15 使用 Open CV 填充材質，試穿效果明顯生硬 Upper Lower SD Inpainting 透過 OpenCV 色域範圍判斷，將指定布料紋理自動平鋪至遮罩區域， 完成初步貼圖替換。但此方式在處理皺摺、光影變化時常顯生硬，缺乏 真實感。
- 16. 16 使用 Stable Diffusion Inpainting 局部修圖，實現試穿 Upper Lower user prompt: "a highly detailed, photorealistic green wool sweater" user prompt: "a highly detailed, blue color skirt" SD Inpainting 導入 Stable Diffusion Inpainting 模型，依據輸入條件動態組合成文字提示 （ prompt ），搭配遮罩資訊進行局部服裝圖像重建，使新衣物自然融入原 圖，並保留人物五官與姿勢特徵。 可自行上傳個人全身圖像，自行設定上衣與下身服裝喜好，實現試穿。
- 17. 17 Gender Age Season Occasion U I Stable Diffusion { ‘Gender’: ‘male’, ‘Age’: ‘youth’, ‘Season’: ‘summer’, ‘Occasion’: ‘casual’ } Upper Lower U I { ‘Upper’: ‘green wool sweater’, ‘Lower’: ‘blue color skirt’ } Stable Diffusion Inpaint U2Net 👆 👆 系統運作流程
- 18. 18 系統部署方式 系統元件構成 元件 技術 / 工具 功能 前端介面 Streamlit ( 主要 , 全功能 ) Gradio ( 手機 , 精簡版 ) 完整的操作介面，依照使用 者輸入條件，產生需求的圖 示 AI 模型 Stable Diffusion + LoRA 微 調模型 Stable Diffusion Inpainting 模型 造型推薦與圖像生成 換衣與圖像修改 後端 Colab / 本地伺服器 由前端介面取得 request ， 直接與 AI 模型溝通，取得 圖形回傳至前端介面
- 20. LOOKS Fresh No more rules – the most popular trend is a unique sense of personal style
Editor's Notes
- #10: Each photo will check 8 times (1,000 x 4 / 500 = 8) --train_batch_size=1 --gradient_accumulation_steps=4 --learning_rate=1e-4 --max_train_steps=1000