Diffusion Transformer kết hợp với Phổ Wavelet Đa cấp cho Siêu độ phân giải Ảnh đơn

Diffusion Transformer kết hợp với Phổ Wavelet Đa
cấp cho Siêu độ phân giải Ảnh đơn *ICCV 2025 Paper Translation Tên Tác Giả Khoa/Phòng Tên Tổ chức Thành phố, Quốc gia email@address.com
Tóm tắt nội dung—Biến đổi Wavelet Rời rạc (DWT) đã được
đến chất lượng cảm nhận [?], [3]. Như đã chỉ ra trong [5],
nghiên cứu rộng rãi nhằm nâng cao hiệu suất của siêu độ phân
SISR can be formulated as a wavelet coefficients prediction
giải ảnh (SR). Mặc dù một số phương pháp dựa trên DWT đã
task. Với việc dự đoán chính xác các hệ số wavelet dựa trên
cải thiện SR bằng cách thu thập các tín hiệu tần số chi tiết, hầu
đầu vào LR, ảnh HR có thể được tái cấu trúc thông qua biến
hết các phương pháp hiện nay lại bỏ qua mối tương quan giữa
đổi DWT ngược (IDWT). Việc tối ưu hóa trực tiếp các hệ số
các băng tần đa quy mô, dẫn đến sự thiếu nhất quán và các
lỗi giả (artifacts) không tự nhiên trong ảnh được phục hồi. Để
wavelet trong miền tần số đã cho thấy chất lượng tạo ảnh được
giải quyết thách thức này, chúng tôi đề xuất mô hình Diffusion nâng cao [?], [5].
Transformer dựa trên phổ Wavelet của ảnh cho bài toán SR
(DTWSR). DTWSR kết hợp ưu điểm của mô hình khuếch tán
(diffusion models) và transformer để nắm bắt mối tương quan
giữa các băng tần đa quy mô, tạo ra ảnh SR nhất quán và chân (a) Phổ wavelet đa cấp
(b) Kết quả SR không có tương quan tần số
thực hơn. Cụ thể, chúng tôi sử dụng Biến đổi Wavelet Rời rạc
đa cấp (MDWT) để phân tách hình ảnh thành các phổ wavelet.
(c) Kết quả của chúng tôi (d) Ảnh gốc (Ground truth)
Một phương pháp phân tách token dạng kim tự tháp (pyramid
Hình 1. Một mô hình transformer dựa trên phổ wavelet đa cấp được nghiên
tokenization) được đề xuất nhằm nhúng các phổ này vào một
cứu cho SR, cho phép học các mối quan hệ tần số đa quy mô để cải thiện
chuỗi các token cho mô hình transformer, hỗ trợ việc trích xuất
kết quả SR. So sánh giữa (b) và (c), phương pháp đề xuất tạo ra các kết cấu
đặc trưng từ cả miền không gian và miền tần số. Một bộ giải mã tự nhiên hơn.
kép (dual-decoder) được thiết kế tỉ mỉ để xử lý các biến thể khác
biệt trong các băng tần thấp (LF) và băng tần cao (HF), đồng
Nhiều công trình đã được đề xuất để cải thiện độ chính xác
thời không bỏ qua sự căn chỉnh giữa chúng trong quá trình tạo
ảnh. Các thực nghiệm sâu rộng trên nhiều bộ dữ liệu chuẩn đã
trong việc dự đoán các hệ số wavelet. Wavelet-SRNet [5] sử
chứng minh hiệu quả của phương pháp, đạt hiệu suất cao về cả
dụng N mạng con CNN độc lập để dự đoán các mức hệ số
chất lượng cảm nhận và độ trung thực của ảnh.
wavelet song song. WaveFace [?] sử dụng mô hình dựa trên
Index Terms—Siêu độ phân giải (SR), Diffusion Transformer
U-Net để khôi phục các băng tần HF một cách tuần tự trong
(DiT), Biến đổi Wavelet Rời rạc (DWT), Phục hồi ảnh.
quá trình lấy mẫu lên (upsampling). WFEN [?] áp dụng DWT
trên mỗi cấp độ đặc trưng trong mô hình U-Net để giảm thiểu I. GIỚI THIỆU
sự biến dạng đặc trưng trong quá trình lấy mẫu xuống. Tuy
Siêu độ phân giải ảnh đơn (SISR) đã nhận được sự chú ý
nhiên, theo hiểu biết của chúng tôi, các phương pháp hiện
ngày càng tăng trong nhiều thập kỷ qua nhờ vào các ứng dụng
có thường xử lý từng cấp độ hệ số HF một cách độc lập mà
rộng rãi của nó. Nhiệm vụ này tập trung vào việc khôi phục
không xem xét các mối tương quan giữa các băng tần HF đa
hình ảnh độ phân giải cao (HR) từ các đầu vào độ phân giải quy mô.
thấp (LR) cho trước, hướng tới hiệu suất cao về cả độ trung
Xét đến mục tiêu của SISR, không chỉ cấu trúc không gian
thực khách quan (fidelity) và chất lượng cảm nhận (perceptual
là quan trọng để tránh biến dạng hình học, mà sự tương quan
quality). Hầu hết các phương pháp hiện nay thiết lập ánh xạ
giữa các băng tần của ảnh cũng đóng vai trò then chốt cho chất
từ ảnh LR sang ảnh HR trong miền pixel. Để nắm bắt được
lượng cảm nhận tốt hơn. Do đó, trong công trình này, chúng
các chi tiết tần số mịn - yếu tố quan trọng cho SR, một số
tôi nghiên cứu một mô hình transformer dựa trên phổ wavelet
hướng tiếp cận sử dụng Biến đổi Wavelet Rời rạc (DWT) để
đa cấp cho SISR, tận dụng ưu thế của transformer trong việc
chuyển đổi hình ảnh sang miền tần số. DWT mô tả một hình
mô hình hóa các mối quan hệ tầm xa phức tạp. Mô hình của
ảnh thông qua một chuỗi các băng tần (sub-bands). Băng tần
chúng tôi cho phép khám phá các mối tương quan giữa nhiều
thấp (LF) phản ánh cấu trúc hình học toàn cục và ảnh hưởng
băng tần tần số ở các quy mô khác nhau, dẫn đến các chi tiết
đến độ trung thực khách quan, trong khi các băng tần cao
kết cấu tinh xảo (như được minh họa trong Hình 1 (b) so với
(HF) đại diện cho các chi tiết kết cấu và ảnh hưởng đáng kể (c)).
Cụ thể, chúng tôi áp dụng phân tách Mallat [?] cho Biến đổi
liệu chuẩn cho các nhiệm vụ SR ảnh khuôn mặt và ảnh
Wavelet Rời rạc đa cấp (MDWT), thực hiện phân tách băng
tổng quát. Phương pháp của chúng tôi cho thấy kết quả
tần LF lặp lại tại mỗi cấp độ tiếp theo (chi tiết tại Phần III).
định tính và định lượng vượt trội (SOTA) với độ trung
Các băng tần thu được sau đó được kết hợp lại với nhau như
thực và chất lượng cảm nhận hình ảnh được cải thiện.
một biểu diễn phổ wavelet của hình ảnh. Như trong Hình 1,
nó bao gồm một băng tần LF và nhiều băng tần HF ở các quy
II. CÁC CÔNG TRÌNH LIÊN QUAN
mô khác nhau, chứa đựng các cấp độ thông tin kết cấu riêng
SISR đã đạt được những tiến bộ vượt bậc cùng với sự phát
biệt. Sau đó, chúng tôi chia biểu diễn wavelet thành các mảng
triển của học sâu, bao gồm cả kiến trúc mô hình và khung
(patches) để nhúng token, không chỉ trên băng tần LF mà còn
huấn luyện. Để cải thiện chất lượng thị giác, nhiều mô hình tạo
trên các băng tần HF. Khác với các phương pháp truyền thống
sinh khác nhau đã được áp dụng để huấn luyện mô hình SISR,
chia ảnh theo không gian, phương pháp của chúng tôi chia ảnh
bao gồm GAN [?], [?], [?], [?], [2], các mô hình dòng (flow
từ góc nhìn của cả miền không gian và miền tần số, tạo điều
models) [?], [?], [?] và các Mô hình Khuếch tán (DM) [?], [?],
kiện thuận lợi cho việc học các mối quan hệ tần số giữa các
[?], [?], [?]. Nghiên cứu của chúng tôi áp dụng transformer
băng tần. Ngoài ra, chúng tôi đề xuất một phương pháp phân
khuếch tán dựa trên phổ wavelet cho bài toán SISR.
tách token dạng kim tự tháp (pyramid tokenization) dựa trên
tính thưa thớt của các băng tần HF. Phương pháp này giúp
A. SISR dựa trên mô hình khuếch tán
giảm đáng kể số lượng token và tiết kiệm chi phí tính toán
Mô hình khuếch tán (DM) đang nổi lên như một giải pháp
trong transformer mà không làm giảm hiệu suất mô hình.
mạnh mẽ cho việc tạo ảnh chất lượng cao. SR3 [?] thích ứng
Lấy cảm hứng từ khả năng vượt trội của Mô hình Khuếch
các DM có điều kiện bằng cách kết hợp ảnh LR đã được lấy
tán (Diffusion Model - DM) trong việc tạo ra các chi tiết
mẫu lên với ảnh HR nhiễu để thực hiện nhiệm vụ SISR. Để
ảnh mịn, chúng tôi xây dựng phương pháp của mình bằng
tăng tốc độ hội tụ và ổn định quá trình huấn luyện của DM,
cách sử dụng khung khuếch tán có điều kiện và đề xuất mô
SRDiff [?] giới thiệu phương pháp dự đoán phần dư (residual
hình Diffusion Transformer dựa trên phổ Wavelet của ảnh cho
prediction). ResDiff [?] sử dụng một mạng CNN để khôi phục
SISR, viết tắt là DTWSR. Các mô hình DM đảo ngược quá
ban đầu và sau đó tinh chỉnh các chi tiết kết cấu bằng DM.
trình khuếch tán một cách lặp đi lặp lại để đạt được ánh xạ
IDM [?] và ASIG [?] nghiên cứu các DM trong bài toán SISR
chất lượng cao từ nhiễu Gaussian được lấy mẫu ngẫu nhiên
liên tục bằng cách tích hợp biểu diễn thần kinh ẩn (implicit
sang ảnh mục tiêu, tránh được sự mất ổn định và hiện tượng
neural representation). ResShift [?] và SinSR [?] lần lượt tăng
sụp đổ mode (mode-collapse) thường thấy trong các mô hình
tốc độ suy luận của DM bằng cách sửa đổi quy trình lấy mẫu
tạo ảnh trước đây [?], [?], [?]. Do sự khác biệt về phương sai
và sử dụng chưng cất tri thức (knowledge distillation).
trong các băng tần MDWT, đặc biệt là giữa LF mịn và các HF
thưa thớt, việc sử dụng một mô hình transformer thống nhất
B. SISR dựa trên Biến đổi Wavelet Rời rạc (DWT)
để khử nhiễu đồng thời cho cả LF và HF là rất thách thức.
DWT đã được sử dụng rộng rãi trong SISR nhờ khả năng
Do đó, chúng tôi thiết kế một mô hình transformer bộ giải mã
biểu diễn thông tin tần số của nó [?], [?], [?], [?], [?], [3].
kép (dual-decoder), một để tạo ra các nội dung cơ bản năng
DWSR [?] và DiWa [?] được xây dựng trên DWT đơn cấp để
lượng cao trong LF (gọi là LEDec) và một để tạo ra các chi
cải thiện mô hình về các chi tiết kết cấu chính xác. Wavelet-
tiết HF thưa thớt (gọi là HDDec). Cần lưu ý rằng nội dung
SRNet [5] và JWN [?] sử dụng các lớp CNN đa nhánh để dự
cơ bản từ LEDec không hoàn toàn tương đương với băng tần
đoán các hệ số wavelet dựa trên đầu vào LR. WaveMixSR [?],
LF. Băng tần LF vẫn chứa các thành phần HF, mặc dù rất ít.
WTRN [?] và WFEN [?] áp dụng DWT trên các đặc trưng
HDDec được thiết kế để tạo ra cả các băng tần HF đa cấp và
ảnh được trích xuất để bổ sung thông tin tần số cao (HF) trong
các thành phần HF của băng tần LF. Một mặt, thiết kế của
SISR. WaveFace [?] và WaveDM [?] tận dụng việc kích thước
chúng tôi có thể nắm bắt các mối tương quan giữa các băng
ảnh thu nhỏ theo hàm mũ sau biến đổi DWT để giảm bớt
tần HF đa quy mô. Mặt khác, nó thúc đẩy sự căn chỉnh lại
gánh nặng tính toán của DM. Deng và các cộng sự [3] đã đề
giữa các băng tần LF và HF, đạt được SR với độ trung thực
xuất chuyển đổi phong cách trong miền wavelet để đạt được
và chất lượng cảm nhận được cải thiện.
sự đánh đổi tốt hơn giữa cảm nhận và độ méo (PD trade-off)
Các đóng góp chính của bài báo này bao gồm:
cho SISR. PDASR [?] và WGSR [?] tối ưu hóa hàm mất mát
• Chúng tôi đề xuất mô hình Diffusion Transformer dựa
trên các băng tần wavelet để cải thiện sự đánh đổi PD này.
trên phổ wavelet của ảnh cho bài toán SISR. Mô hình
này cho phép khám phá các mối tương quan giữa các
C. SISR dựa trên Transformer
băng tần tần số đa quy mô.
Các mô hình dựa trên Transformer đã được nghiên cứu
• Chúng tôi thiết kế phương pháp phân tách token dạng
trong SISR nhờ khả năng mô hình hóa quan hệ tầm xa của
kim tự tháp để nhúng phổ wavelet đa quy mô, giúp giảm
chúng. SwinIR [?] áp dụng Swin transformer cho phục hồi
đáng kể số lượng token để tính toán hiệu quả.
ảnh. SwinFIR [?] cải thiện SwinIR bằng cách tích hợp Tích
• Một mô hình bộ giải mã kép được thiết kế để ngăn chặn
chập Fourier để nắm bắt thông tin toàn cục. HAT [?] kết hợp
sự chồng chéo giữa các phân phối tần số mịn và thưa
cơ chế tự chú ý (self-attention), chú ý kênh (channel attention)
thớt, mang lại độ trung thực tốt hơn và chi tiết mịn hơn.
và chú ý chéo chồng lấp (overlapping cross-attention) để kích
• Các thực nghiệm sâu rộng được thực hiện trên các bộ dữ
hoạt nhiều pixel hơn cho kết quả SR tốt hơn. Restormer [?] đề
xuất thực hiện tự chú ý theo hướng kênh để nắm bắt các tương
trong đó θ là tham số của mạng khử nhiễu WSDT. Hàm mất
tác pixel tầm xa và đạt được hiệu suất cao trong phục hồi ảnh.
mát tối ưu hóa được định nghĩa là:
LMLT [?] chia các đặc trưng ảnh dọc theo chiều kênh và sử h
dụng cơ chế chú ý với các kích thước đặc trưng khác nhau để
Lvlb = Eq DKL(q(xT |x0)||p(xT ))
nắm bắt cả thông tin cục bộ và toàn cục. Những công trình X + D
này chủ yếu dựa trên hình ảnh trong miền pixel. DWT thường
KL(q(xt−1|xt, x0)||pθ (xt−1|xt)) (6) t>1
được sử dụng trong các khối chú ý của mô hình transformer i
để tăng cường đặc trưng ảnh, ví dụ như trong [?], [?], [?], [?]. − log pθ(x0|x1)
Theo hiểu biết của chúng tôi, chúng tôi là những người đầu
tiên mô hình hóa phổ wavelet đa quy mô của hình ảnh bằng
Chúng tôi chuyển đổi It sang biểu diễn phổ wavelet cấp J
cách sử dụng kiến trúc transformer cơ bản cho nhiệm vụ SR.
là Ifre để tinh chỉnh. Với hệ số phóng đại N , chúng tôi thực t,J
hiện DWT cấp J = ⌈log N ⌉. III. B 2
IẾN ĐỔI WAVELET RỜI RẠC
Biến đổi Wavelet Rời rạc (DWT) được sử dụng rộng rãi để
B. Mạng khử nhiễu phổ Wavelet với Transformer (WSDT)
phân tách một hình ảnh thành các băng tần thấp (LF) và băng
Hình 2b trình bày kiến trúc của WSDT. Cho một hình ảnh
tần cao (HF), đặc biệt là wavelet Haar [?] được sử dụng trong
nhiễu phổ wavelet Ifre, đầu tiên chúng tôi chia nó thành các bài báo này. t,J
token. Transformer kép sẽ khử nhiễu nội dung cơ bản LF và
Cho một hình ảnh pixel I ∈ H×W ×3 R , chúng ta phân tách
chi tiết HF đa quy mô dựa trên điều kiện LR.
nó bằng toán tử DWT (DW T (·)), từ đó thu được băng tần H thấp x × W ×3 1) Phân tách token dạng kim tự tháp (Pyramid L ∈ R 2 2
và các băng tần cao {xV , xH , xD} ∈ H × W ×3
tokenization): Xét tính thưa thớt của HF, chúng tôi thiết kế R 2 2 : x1 , x1 , x1 , x1 = DW T (I).
kích thước mảng kim tự tháp pj để duy trì trường thụ cảm L V H D (1) nhất quán:
Quá trình này có thể được thực hiện thêm một lần nữa trên x1 , dẫn đến: pj = pmin × 2J−j, j ∈ {1, . . . , J }, (7) L
x2 , x2 , x2 , x2 = DW T (x1 ). L V H D L (2)
trong đó pmin là kích thước mảng cho băng tần LF. Các token
được trích xuất như sau: Bằng cách tiếp tục quá trình này, chúng ta có H {xJ , xJ , xJ , xJ } ∈ × W ×3 2J 2J
sau lần biến đổi DWT thứ L V H D R flr = Conv2dlr(Ilr), J . f J = ), L Conv2dL(xJL (8)
Bằng cách thay thế băng tần LF một cách đệ quy bởi các
băng tần đã được phân tách ở mỗi cấp độ [?], kết quả đầu F j = Conv2dj (Xj ), j ∈ {J, . . . , 1}. H H H
ra sau lần DWT thứ J là {xJ , xJ , xJ , xJ , xJ−1, . . . , x1 }. L V H D V D Vị trí 4D [j, d, P os
Chúng ta thay đổi hình dạng (reshape) các băng tần đa cấp
h, P osw ] được mã hóa bằng sine-cosine
nhúng vị trí chuẩn của ViT [4].
này lại với nhau để tạo thành một biểu diễn phổ wavelet cấp
2) Thiết kế bộ giải mã kép (Dual-decoder design): Thay
J của hình ảnh, ký hiệu là Ifre: J
vì khử nhiễu xJ và {Xj } riêng biệt, chúng tôi xử lý thông L H Ifre = M DW T (I, J ). (3)
qua LEDec (cho nội dung trơn) và HDDec (cho chi tiết HF J và phần dư LF).
Ngược lại, hình ảnh pixel I có thể được tái cấu trúc thông
LEDec. Tích hợp LR thông qua in-context conditioning với
qua biến đổi DWT ngược cấp J (ký hiệu là IM DW T ): mặt nạ Mlow: I = IM DW T (Ifre, J ). (4) J flr, ˜ f J = ], M Le LEDec([flr, f J L low , t). (9)
Một ví dụ minh họa được trình bày trong Hình 1a.
HDDec. Dùng mặt nạ Mhigh để ép buộc tái căn chỉnh:
IV. PHƯƠNG PHÁP NGHIÊN CỨU
Trong phần này, chúng tôi sẽ giới thiệu mô hình Diffusion ˆ flr, ˜ f J , ˜ F , F Lr H = HDDec([ ˜ flr, ˜ f J Le H ], Mhigh, t). (10)
Transformer dựa trên phổ Wavelet cho nhiệm vụ SR.
Giải phân tách token. Các token thu được được giải mã
A. Mô hình Khuếch tán có điều kiện trên phổ Wavelet cho tuyến tính: SISR
DM là một chuỗi Markov được tham số hóa nhằm tạo ra yJ = + ˜ f J , t), L FCL( ˜ f J Le Lr (11)
các mẫu khớp với phân phối dữ liệu huấn luyện. Nó bao gồm Y j = FCj (F j , t), j ∈ {1, . . . , J }. H H H
một quá trình khuếch tán xuôi và một quá trình khử nhiễu
ngược. Đối với nhiệm vụ SR, nó yêu cầu hình ảnh được khôi
Ảnh cuối cùng thu được qua inverse wavelet transform:
phục phải nhất quán với đầu vào LR: ˜ I = IMDWT( ˜ Ifre, J ). (12) J
pθ(It−1|It, Ilr) = N (It−1; µθ(It, t, Ilr), Σθ(It, t, Ilr)), (5)
Hình 2. Tổng quan về khung DTWSR. (a) mô tả quá trình lấy mẫu SR. (b) minh họa cấu trúc chi tiết của mạng khử nhiễu WSDT đề xuất.
Hình 3. Minh họa về TransBlock và các mặt nạ (masks). Phần màu đen biểu thị token bị che.
Hình 4. Minh họa về phân tách token dạng kim tự tháp. TÀI LIỆU
[1] Du et al., “Diffusion Transformer meets Multi-level Wavelet Spectrum
for Single Image Super-Resolution,” ICCV, 2025. [2] GAN References... [3] Wavelet References... [4] ViT Position Embeddings... [5] Wavelet-SRNet... [6] In-context conditioning...