![5 1 2 X 5 1 2 1 0 2 4 X 1 0 2 4
H I G H R E S F I X Lý thuyết
Tạo một ảnh với kích thước cho trước [1]
Upscale nó lên [2]
Thêm noise vào ảnh [3]
Denoise [4]
Crop [5]
Highres fix hoạt động theo các bước sau:
T R A N H S I Ê U Đ Ẹ P A N H S I Ê U Đ
[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]
Cách hoạt động
sdcoban.vn
sdcoban.vn
BLOG STABLE DIFFUSION CƠ BẢN.](https://image.slidesharecdn.com/stablediffusioncbn-chap2highresfixvrestoreface-250603132330-1694dbfb/85/Stable-Diffusion-c-b-n-Chap-2_-Highres-fix-va-Restore-face-pdf-6-320.jpg)
Stable Diffusion cơ bản - Chap 2_ Highres fix và Restore face.pdf
- 1. GUIDE BOOK GUIDE BOOK GUIDE BOOK S T A B L E D I F F U S I O N B A S I C G U I D E C H A P T E R 2 S Ử D Ụ N G H I G H R E S F I X V À R E S T O R E F A C E U P D A T E D J U N E 2 0 2 3 sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 2. GUIDE BOOK GUIDE BOOK GUIDE BOOK S T A B L E D I F F U S I O N B A S I C G U I D E Đây là tài liệu nằm trong phần Stable Diffusion cơ bản mà mình chia sẻ, bao gồm các thông tin cũng như thủ thuật giúp bạn nắm được cách dùng Stable Diffusion. Các tài liệu này được biên soạn dựa trên webui Automatic1111. Để xem lại các bài hướng dẫn Stable Diffusion cơ bản, các bạn có thể truy cập lại chúng trên Blog Stable Diffusion Cơ Bản ở đây. Nếu bạn mới tìm hiểu về Stable Diffusion và không biết bắt đầu từ đâu, hãy xem bài viết này Stable Diffusion cho người mới bắt đầu. sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 3. Lời nói đầu Với mong muốn giúp Stable Diffusion dễ dàng tiếp cận hơn, cũng như góp phần mở rộng cộng đồng Stable Diffusion ở Việt Nam, mình đã và đang chia sẻ các Ebooks và Blogs Tiếng Việt do mình viết và sưu tầm từ nhiều nguồn khác nhau cả trong và ngoài nước. Tất cả đều được chia sẻ miễn phí trên Blog Stable Diffusion Cơ Bản của mình. Toàn bộ Ebooks và Blogs đều được mình chia sẻ miễn phí. Nếu bạn thích những nội dung mà mình chia sẻ thì có thể donate để ủng hộ mình. Nếu có nhu cầu dùng Ebooks ở một trang web nào khác, xin hãy ghi nguồn và đừng tự chỉnh sửa Ebook này xem như là tôn trọng công sức của những người tạo ra nó. XIN HÃY LIÊN HỆ VỚI MÌNH NẾU MUỐN DÙNG CÁC EBOOKS VÀO MỤC ĐÍCH KINH DOANH. Chân thành cám ơn mọi người! sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 4. Nội dung chính 1. Highres fix 2. Restore faces sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 5. H I G H R E S F I X Lý thuyết Trước khi nói về highres fix và cách dùng thì phải hỏi trước một câu là:Tại sao lại cần dùng nó nhỉ? Do các model của Stable Diffusion được đào tạo trên những ảnh 1:1 với kích thước 512x512 hoặc 768x768 nên khi muốn tạo một ảnh có ratio không phải hình vuông như 3:2, 16:9 hay có kích thước lớn thì Stable Diffusion sẽ chập nhiều ảnh với nhau và cố gắng khỏa lấp những mảng còn thiếu. Từ đó gây ra hiện tượng "ba đầu sáu tay" mà mọi người vẫn hay gặp. Highres fix - như tên gọi của nó, sinh ra để giải quyết các vấn đề khi tạo ảnh có kích thước lớn. sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 6. 5 1 2 X 5 1 2 1 0 2 4 X 1 0 2 4 H I G H R E S F I X Lý thuyết Tạo một ảnh với kích thước cho trước [1] Upscale nó lên [2] Thêm noise vào ảnh [3] Denoise [4] Crop [5] Highres fix hoạt động theo các bước sau: T R A N H S I Ê U Đ Ẹ P A N H S I Ê U Đ [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] Cách hoạt động sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 7. H I G H R E S F I X Thực hành Mình định giải thích 7749 dòng về cách hoạt động của highres fix nhưng nghĩ lại thì thôi. Chắc chẳng mấy ai quan tâm đâu. Trăm thấy không bằng một làm, bắt tay vào thực hành thôi nào =)) sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 8. Upscaler bạn có thể hiểu đơn giản là một model AI hay thuật toán giúp tăng độ sắc nét cho ảnh khi phóng to ảnh, hạn chế tình trạng bị nhiễu hoặc mờ. Lựa chọn upscaler cũng rất quan trọng, mỗi upscaler nó sẽ có khả năng và chất lượng khác nhau. Ví dụ có model upscaler này thích hợp dùng cho ảnh Anime style, có model thích hợp cho ảnh Realistic, có model thích hợp cho khuôn mặt,... Để sử dụng một model upscaler mới tải về, bạn cần phải xem nó thuộc nhóm upscaler nào (ESRGAN, GFPGAN, SwinIR,...) rồi bỏ nó vào thư mục tương ứng trong thư mục model của Auto1111. Mình xin giới thiệu một trang web siêu tổng hợp về các model upscaler ở đây. Bạn có thể đọc tham khảo và chọn một vài model phù hợp nhất với nhu cầu của mình. H I G H R E S F I X Thực hành Upscaler sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 9. Highres step là số step mà bạn muốn highres fix chạy trên ảnh. Thường thì bạn nên để số step > 15 để model highres hoạt động tốt. Nếu để quá thấp thì nó sẽ gây nhiễu cả bức hình. Nếu để highres step = 0, nó sẽ mặc định lấy số highres step bằng với số sampling step. Ví dụ bạn tạo ảnh với 30 step và chạy highres step = 20 thì tổng số step bạn chạy là 30 + 20 = 50 step. H I G H R E S F I X Thực hành Highres step Pha tự hủy với highres step = 2 sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 10. Denoising strength là cách model denoise (giảm nhiễu) cho ảnh của bạn. Bạn cứ hiểu đơn giản là denoising strength càng lớn thì ảnh của bạn càng được thêm thắt nhiều chi tiết. Denoising strength quá nhỏ thì nó thiếu độ sắc nét, còn quá lớn thì nó biến thành ảnh khác luôn =)) Khi dùng highres fix, mình đề xuất mọi người chỉ nên dùng denoising strength trong khoảng 0.5-0.65. H I G H R E S F I X Thực hành Denoising strength sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 11. H I G H R E S F I X Thực hành Denoising strength ảnh gốc denoise str = 0.05 denoise str = 0.5 denoise str = 0.95 sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 12. Nếu bạn còn nhớ cách hoạt động của highres mình ghi trong slide trước thì sau giai đoạn upscale ảnh lên, nó sẽ crop ảnh theo cái size bạn đã resize lại. Ví dụ bạn chọn size ảnh đầu vào là 512x512, và chọn resize lại thành 1024x512. Nó sẽ upscale tấm gốc 512x512 thành 1024x1024, sau khi xử lý, nó sẽ crop lại thành size 1024x512. Do đó nếu là ảnh của một nhân vật thì rất có thể phần đầu và chân của nhân vật sẽ bị crop đi. H I G H R E S F I X Thực hành Size kích thước ban đầu: 512x512 kích thước resize: 1024x512 sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 13. H I G H R E S F I X Thực hành Size kích thước ban đầu: 512x512 kích thước resize: 1024x512 Do đó, bạn nên để kích thước resize có cùng ratio như kích thước đầu vào, điều đó sẽ giúp bảo toàn nguyên vẹn bức tranh. Hoặc nếu bạn không muốn tính toán, cứ để resize width và height về 0 rồi dùng thanh upscale by để chỉnh sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 14. Tất nhiên để tìm được thông số chuẩn thì phải thực nghiệm thôi, nhưng nếu bạn muốn một cái gì đó nhanh chóng và có khả năng áp dụng được cho đa số trường hợp thì đây: Upscaler: Dùng 4x-UltraSharp chuẩn với hầu hết trường hợp. Highres step: Cứ để 0 hoặc chỉnh từ 15 trở lên Denoising strength: 0.58, vừa giữ nguyên vẹn tấm hình, vừa có thể thêm thắt các chi tiết cho tranh. Size: Chỉnh resize về 0 rồi dùng thanh Upscale by, bạn có thể thấy được kích thước sau khi resize ở phía trên thanh highres step. H I G H R E S F I X Một số thủ thuật Cách dùng chuẩn sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 15. H I G H R E S F I X Một số thủ thuật Một số Upscaler thú vị 4x-UltraSharp: Cái này thì mình đã giới thiệu ở slide trước, nó khá tiện dụng và hiệu quả cho hầu hết các nhu cầu từ ảnh chân dung đến phong cảnh, họa tiết,... 4x-AnimeSharp: Cũng là UltraSharp nhưng phiên bản dành cho Anime, cá nhân mình đánh giá nó cao hơn R-ESRGAN 4x+ Anime6B. 4x_fatal_Anime_500000_G: Chủ yếu là dùng cho ảnh Anime, có khả năng fix những chi tiết nhỏ, đồng thời một phần nào đó có xác suất giúp cải thiện khả năng vẽ tay cho nhân vật. KDM003_scans_1x: giảm thiểu noise và chỉnh màu, chuyên dùng cho các bác hay in ấn bằng màu CMYK, một phần nào đó giảm thiểu sự đổi màu so với hình gốc khi in. Và tất nhiên ngoài những upscaler trên còn vô số upscaler thú vị mà mình không biết. Tất cả những upscaler này đều có trên trang web mà mình đã đặt ở trang số 8 (hoặc ấn vào đây). Mình sẽ để phần so sánh một vài upscaler trong phần "Cách dùng Extra để upscale ảnh" vì chỉ dùng highres fix không thể hiện được hết sức mạnh của các upscaler này. Nhưng nó hoàn toàn đáng giá để bạn thử đấy. sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 16. H I G H R E S F I X Một số thủ thuật Highres fix và Upscale Sự khác biệt khi dùng highres fix và Upscale là highres fix dùng để sửa ảnh khi nó có những lỗi như "ba đầu sáu tay", cơ thể không cân đối, chi tiết quá nhòe,... khi bạn tạo ra các ảnh có độ phân giải lớn và ratio khác 1:1. Upscale dùng khi bạn đã hoàn toàn ưng ý với ảnh của mình và muốn biến nó thành một ảnh có độ phân giải cao Full HD, 2K, 8K,... Lời khuyên của mình là nên chỉnh sửa thật kĩ các chi tiết chưa ưng ý bằng các thủ thuật khác nhau (và highres fix chỉ là một trong số đó) trước khi Upscale vì những chi tiết lỗi đó cũng sẽ to lên khi sử dụng Upscale, và tất nhiên, việc chọn lựa một Upscaler phù hợp cũng là một việc quan trọng. sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 17. H I G H R E S F I X Một số thủ thuật Một số cách dùng thú vị Đúng là trong một số bài trước mình đã nói chỉ nên tạo ảnh với độ phân giải lớn hơn hoặc bằng 512x512 và nên resize ảnh có cùng ratio với ảnh đầu vào. Vậy chuyện gì xảy ra nếu ta "break the rules" nào 😈 Bạn có để ý một điều khi tạo ảnh nhân vật thì kích thước ảnh càng lớn thì càng dễ tạo nhân vật full body không. Dưới đây là các ảnh cùng tất cả thông số trừ size: 338 x 338 512 x 512 1024 x 1024 sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 18. H I G H R E S F I X Một số thủ thuật Một số cách dùng thú vị Vậy là chỉ cần sử dụng kích thước ảnh đầu vào và kích thước ảnh resize một cách thông minh, chúng ta có một thứ có tác dụng tương tự như công cụ zoom của máy ảnh để tạo ra những bức ảnh cận cảnh đẹp. Bạn hoàn toàn có thể mò mẫm thêm nhiều kích thước khác nhau để tạo ra những góc máy đa dạng và bất ngờ (ví dụ chỉnh ratio ảnh đầu vào là 3:2 trong khi resize lại là 1:1 xem =))) không dùng highres fix 338 x 338 kích thước đầu vào là 338 x 338 kích thước resize là 768 x 1024 sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 19. R E S T O R E F A C E S Lý thuyết Thực ra phần Restore faces này chỉ là bonus để giải đáp cái nút này làm gì thôi chứ bình thường mình không dùng nó, vì nó không đa dụng và thực sự không hữu ích đối với cá nhân mình. Được rồi, chức năng của nó là gì nào, chính là chỉnh sửa lại khuôn mặt cho đẹp hơn khi tạo ảnh toàn thân (thường bị biến dạng khuôn mặt như hình bên). sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 20. R E S T O R E F A C E S Một số thủ thuật Vậy yếu điểm của nó là gì, tại sao mình lại chê nó hơi "vô dụng": Thứ nhất, chúng ta có thể dễ dàng tạo lại khuôn mặt bị biến dạng bằng kĩ thuật inpainting (mình sẽ chia sẻ về nó sau hoặc bạn có thể tham khảo bài đăng mình đã post trên FB tại đây) Trước Sau sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 21. R E S T O R E F A C E S Thứ hai, nó làm cho khuôn mặt trở nên "nhựa" hơn, không thể áp dụng đối với ảnh cận khuôn mặt. Sau khi dùng restore faces Trước khi dùng restore faces Một số thủ thuật sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 22. R E S T O R E F A C E S Thứ ba, áp dụng cho ảnh Anime khá là ác mộng, lúc đầu mình đã mất hẳn một ngày để tìm ra nguyên nhân của "ánh mắt thất thần, nụ cười ngờ nghệch" này là do restore faces =)) Một số thủ thuật sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 23. R E S T O R E F A C E S Bonus Bạn có thể chỉnh model và độ mạnh của restore faces bằng cách vào mục Setting -> Face restoration sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 24. Lời kết Bài chia sẻ này mình cũng đã phải đi mò mẫm thêm, tham khảo thêm nhiều nơi và thực sự cố gắng nghĩ ra mọi thứ mình có thể viết vào đây, hi vọng những thông tin mình đem đến sẽ giúp đỡ một phần nào đó cho các bạn đang và sắp sử dụng Stable Diffusion. Một lần nữa mình xin cám ơn vì bạn đã theo dõi loạt Ebook này! Hẹn gặp các bạn ở các bài chia sẻ sau! sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.
- 25. Nếu bạn thấy Ebook này là hữu ích, có thể ủng hộ mình bằng cách follow Twitter hoặc tham gia nhóm VN Anime AI Art của mình để chia sẻ cũng như học hỏi nhé. Hoặc nếu có điều kiện, bạn cũng có thể ủng hộ mình qua các kênh sau. Tất cả sự ủng hộ dù nhỏ nhất của mọi người luôn là động lực để mình tìm tòi và tạo ra nhiều bài chia sẻ hơn nữa! : dikaoplus@gmail.com buy me a coffee ☕ sdcoban.vn sdcoban.vn BLOG STABLE DIFFUSION CƠ BẢN.