Cách Stable Diffusion hoạt động step-by-step

1. Text-to-image

Step 1:

Stable Diffusion (SD) sinh ra tensor ngẫu nhiên trong latent space (đại diện của dữ liệu nén). Điều chỉnh tensor này bằng cách đặt “seed” của generator để tạo số ngẫu nhiên. Nếu đặt seed là một giá trị cụ thể, thì ta sẽ luôn luôn nhận được cùng 1 tensor ngẫu nhiên. Đây là biểu diễn của hình ảnh trong latent space, tuy nhiên nhưng bây giờ nó chỉ là noise (nhiễu).

Step 2:

Noise-predictor U-Net lấy latent noisy image và text prompt và predict noise

Step 3:

latent image mới = latent image – predicted noise

Step 4:

Cuối cùng, VAE convert latent image về pixel. Đây là ảnh sinh ra sau khi chạy SD

Noise Schedule

noise schedule được dùng để cố gắng lấy expected noise tại mỗi sampling step. Chúng ta có thể chọn trừ cùng 1 số lượng noise tại mỗi step hoặc trừ nhiều hơn lúc bắt đầu,… Noise schedule trừ đi đủ noise để đạt được expected noise ở mỗi bước tiếp theo.

2. Image-to-Image

Là một ứng dụng của SD, có thể được áp dụng với bất kì diffusion model nào.

Image và text prompt sẽ là đầu vào của quá trình image-to-image. Image được sinh ra sẽ được điều khiển bởi cả input image và text prompt. Ví dụ, sử dụng ảnh vẽ và prompt “photo of perfect green apple with stem, water droplets, dramatic lighting”, image-to-image có thể cho ra “professional drawing”

Step 1:

input image sẽ được encode thành latent image

Step 2:

Nhiễu sẽ được thêm vào latent image. Denoising strength sẽ điều khiển bao nhiêu noise sẽ được thêm. Denoising strength có value từ 0 – 1, nếu bằng 0, không có nhiễu được thêm vào. Nếu strength bằng 1, thì maximum noise sẽ được thêm vào và latent image sẽ trở thành random tensor hoàn toàn.