Bài giảng Học sâu và ứng dụng - Chương 6: Một số ứng dụng học sâu trong thị giác máy (Phần 2)

Chương 6: Một số ứng dụng học sâu trong thị giác máy (Phần 2) 01/02/2021 SangDV 2 Nội dung • Giới thiệu bài toán phân đoạn ảnh • Lớp tăng độ phân giải upsampling • Hàm mục tiêu • Một số mạng phân đoạn ảnh tiêu biểu 01/02/2021 3 Giới thiệu bài toán phân đoạn ảnh 01/02/2021 SangDV 4 Các bài toán thị giác máy 01/02/2021 5 Phân vùng • Phân lớp từng điểm ảnh trong ảnh • Không phân biệt các đối tượng cùng lớp trong ảnh 01/02/2021 6 Một số ứng dụng phân đoạn ảnh • Phân đoạn ảnh vệ tinh và hàng không 01/02/2021 7 Một số ứng dụng phân đoạn ảnh • Xe tự hành 01/02/2021 8 Một số ứng dụng phân đoạn ảnh • Y tế 01/02/2021 9 Một số ứng dụng phân đoạn ảnh • OCR 01/02/2021 10 Trượt cửa sổ 01/02/2021 SangDV 11 Trượt cửa sổ 01/02/2021 SangDV 12 Tích chập hoàn toàn (Fully Convolutional) • Thiết kế mạng CNN gồm nhiều lớp tích chập để phân lớp đồng thời tất cả các điểm ảnh. 01/02/2021 SangDV 13 Tích chập hoàn toàn (Fully Convolutional) • Thiết kế mạng CNN gồm nhiều lớp tích chập để phân lớp đồng thời tất cả các điểm ảnh. • Vấn đề: Tích chập với các lớp đầu vào có độ phân giải cao đòi hỏi nhiều chi phí tính toán 01/02/2021 14 Tích chập hoàn toàn (Fully Convolutional) • Thiết kế mạng CNN với các lớp giảm độ phân giải (downsampling) và tăng độ phân giải (upsampling) 01/02/2021 15 Tích chập hoàn toàn (Fully Convolutional) • Thiết kế mạng CNN với các lớp giảm độ phân giải (downsampling) và tăng độ phân giải (upsampling) • Giảm độ phân giải: max pooling hay strided conv • Tăng độ phân giải? 01/02/2021 16 Lớp tăng độ phân giải upsampling 01/02/2021 SangDV 17 Lớp Unpooling • Các lớp này không có tham số 01/02/2021 SangDV 18 Lớp Max Unpooling 01/02/2021 19 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Xem lại ví dụ tích chập conv 3x3, bước nhảy stride 1 và thêm viền padding 1 01/02/2021 20 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Xem lại ví dụ tích chập conv 3x3, bước nhảy stride 1 và thêm viền padding 1 01/02/2021 21 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Xem lại ví dụ tích chập conv 3x3, bước nhảy stride 1 và thêm viền padding 1 01/02/2021 22 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Xem lại ví dụ tích chập conv 3x3, bước nhảy stride 2 và thêm viền padding 1 01/02/2021 23 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Xem lại ví dụ tích chập conv 3x3, bước nhảy stride 2 và thêm viền padding 1 01/02/2021 24 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Xem lại ví dụ tích chập conv 3x3, bước nhảy stride 2 và thêm viền padding 1 01/02/2021 25 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Tích chập chuyển vị conv 3x3, bước nhảy stride 2 và thêm viền padding 1 01/02/2021 26 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Tích chập chuyển vị conv 3x3, bước nhảy stride 2 và thêm viền padding 1 01/02/2021 27 Tích chập chuyển vị • Là phép tăng độ phân giải (upsampling) có chứa các tham số có thể huấn luyện được • Tích chập chuyển vị conv 3x3, bước nhảy stride 2 và thêm viền padding 1 01/02/2021 28 Tích chập chuyển vị • Tên gọi khác: - Deconvolution (không nên, dễ gây hiểu nhầm) - Upconvolution - Fractionally strided convolution - Backward strided convolution 01/02/2021 29 Ví dụ tích chập chuyển vị trong 1D 01/02/2021 30 Tích chập hoàn toàn (Fully Convolutional) • Thiết kế mạng CNN với các lớp giảm độ phân giải (downsampling) và tăng độ phân giải (upsampling) • Giảm độ phân giải: max pooling hay strided conv • Tăng độ phân giải: unpooling hoặc transpose conv 01/02/2021 31 Hàm mục tiêu cho bài toán phân đoạn ảnh 01/02/2021 32 Hàm mục tiêu 01/02/2021 33 Hàm mục tiêu dựa trên phân phối • Cross Entropy (CE): • Weighted CE: mỗi lớp có trọng số khác nhau • Focal loss: giải quyết vấn đề mất cân bằng lớn giữa lớp nền và lớp đối tượng quan tâm. Giá trị hàm mục tiêu đối với những mẫu dễ phân loại được giảm xuống thấp để mạng tập trung hơn vào mẫu khó. 01/02/2021 34 Hàm mục tiêu dựa trên vùng • Dice coefficient và IoU: • Dice loss: • Tversky loss: 01/02/2021 SangDV 35 Hàm mục tiêu kết hợp • Dice loss + CE: • Dice loss + Focal loss • 01/02/2021 36 Hàm mục tiêu boundary loss 01/02/2021 SangDV 37 Một số mạng phân đoạn ảnh tiêu biểu 01/02/2021 SangDV 38 FCN với 2 kết nối tắt 01/02/2021 39 FCN với 2 kết nối tắt • Minh họa kết quả FCN với các mức độ phân giải khác nhau 01/02/2021 40 U-Net • Được sử dụng rộng rãi trong y tế 01/02/2021 41 U-Net++ 01/02/2021 SangDV 42 Stacked UNets và CUNets • Stacked UNets: ghép nhiều UNet nối tiếp nhau • CUNets: cũng ghép nhiều UNet nối tiếp nhau nhưng có thêm các kết nối tắt giữa các UNet với nhau 01/02/2021 SangDV 43 Tài liệu tham khảo 1. Khóa cs231n của Stanford: 2. Hàm mục tiêu cho bài toán phân đoạn ảnh: https://lars76.github.io/neural-networks/object- detection/losses-for-segmentation/ 01/02/2021 45 Thank you for your attentions!