Đề tài Phương pháp mã hóa video theo đối tượng ứng dụng trong hệ thống thông tin video nén

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI BỘ MÔN KỸ THUẬT THÔNG TIN ************ PHƯƠNG PHÁP MÃ HÓA VIDEO THEO ĐỐI TƯỢNG ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN VIDEO NÉN Giáo viên hướng dẫn: SV thực hiện: Hà Nội 2009 Lời nói đầu Với sự phát triển của công nghệ thông tin , và cùng với đó là sự phát triển ngày càng mạnh mẽ của các ứng dụng truyền thông đa phương tiện , đòi hỏi con người không ngừng tìm tòi sáng tạo để đáp ứng kịp với xu thế phát triển ấy. Nhờ vào sự phát triển của các ứng dụng truyền thông đa phương tiện mà chúng ta có thể đưa âm thanh, hình ảnh, hay các đoạn video đi xa một cách nhanh chóng và thuận tiện. Song với việc truyền tải một đoạn video có dung lượng lớn đi xa gặp khá nhiều khó khăn bởi khả năng có hạn của kênh dẫn.Vì vậy các nhà sản xuất đã áp dụng một số kỹ thuật nén để giúp tối ưu hóa các đoạn video trên, làm giảm dung lượng phải truyền đi mà chất lượng hình ảnh tương đương với hình ảnh gốc. Một trong các kỹ thuật nén được sử dụng rộng rãi đó là kỹ thuật nén chuyển động mà tiêu biểu là chuẩn nén MPEG. Qua quá trình nghiên cứu các chuyên gia đã cho ra đời chuẩn nén MPEG-4 với nhiều tính năng ưu việt và nó đã nhanh chóng được ứng dụng rộng rãi trong hệ thống thông tin video nén.MPEG-4 sử dụng một phương pháp mã hóa video theo từng đối tượng thay vì mã hóa toàn bộ cả một đoạn video, vì vậy dung lượng video được giảm đi đáng kể mà chất lượng lại không có nhiều thay đổi . Vì vậy chúng tôi đã chọn đề tài nghiên cứu “ phương pháp mã hóa video theo đối tượng ứng dụng trong các hệ thống thông tin video nén” để đi sâu tìm hiểu kỹ thuật mã hóa trong chuẩn nén MPEG-4 này. Đề tài nghiên cứu được chia làm 3 phần Chương 1 : tổng quan về video Chương 2 : công nghệ mã hóa video trong MPEG-4 Chương 3 : các ứng dụng Chúng tôi xin gửi lời cảm ơn tới thầy giáo Đặng Văn Hiếu đã hướng dẫn và giúp đỡ chúng tôi thực hiện đề tài này. Và chúng tôi cũng xin gửi lời cảm ơn tới thầy cô giáo trong bộ môn Kỹ Thuật Thông Tin và các bạn cùng lớp đã giúp đỡ chúng tôi trong việc tìm kiếm thông tin, tài liệu , và các giáo trình tham khảo trong suốt quá trình thực hiện đề tài này. Chúng tôi rất mong nhận được ý kiến đóng góp của thầy cô giáo và các bạn sinh viên để cho đề tài nghiên cứu được hoàn thiện hơn Hà Nội, ngày 3 tháng 4 năm 2009 Nhóm nghiên cứu Phương pháp mã hóa video theo đối tượng ứng dụng trong các hệ thống thông tin video nén MỤC LỤC Chương 1 : Tổng quan về mã hóa video 1.1 Mục đích nghiên cứu video nén theo hướng đối tượng……………………………..6 1.2 Tổng quan về các chuẩn nén…………………………………………………… ….6 1.3 Kĩ thuật mã hóa video nén theo hướng đối tượng MPEG-4 và ưu điểm……… …..7 Chương 2 : Công nghệ mã hóa video trong MPEG-4………………………………… …12 2.1 Mã hoá hình dạng ngoài (Shape Coder ).……………………………………………….15 2.1.1 Biến đổi Cosin rời rạc ( DCT )………………………………………...…………...16 2.1.2 Lượng tử hoá……………………………………………………………...….….....18 2.1.3 Mã hóa……………………...………………………………………………………20 2.2 Dự đoán và tổng hợp động………..…………………………………………………………21 2.2.1 Ước lượng chuyển động……………………………………...…..……………..….21 2.2.2 Kỹ thuật đệm…………………………….…………………………………….......22 2.2.3 Kỹ thuật chuyển động cơ bản……………………..……………………….…...….22 2.2.3.1 Kỹ thuật thay đổi từng khối thích ứng với cấu trúc đa cạnh của VOP.….….....22 2.2.3.2 ước lượng chuyển động của điểm ảnh…………………….………..……..…...23 2.2.3.3 chế độ INTRA / INTER………………………………….…….………..…..…24 2.2.3.4 Tìm kiếm nửa điểm ảnh………………………………….…..….…….….……25 2.2.3.5 Dự đoán MV………………………………………….………………....….….26 2.2.3.6 Chế độ vector chuyển động không giới hạn…………….………..…………….26 2.2.3.7 Chế độ nâng cao chất lượng dự đoán………………….………….……...….…27 2.3 Mã hóa cấu trúc………………………………………………………….……….……...27 2.4 Giải mã MPEG-4 VOP………………………………………………….….…................28 2.5 Mã hóa theo lớp video …………………………………………...………....…………..28 2.6 Đánh giá hiệu quả…………………………………………….……………....................29 2.7 Điều khiển tốc độ………………………………………………………………………..31 Chương 3 : Ứng dụng………………………………………………………………….………37 3.1 IP TV………………………………………………………………..…………..….....…37 3.2Video yêu cầu………………………………………………………..………….…..…....39 3.3 Mobile TV………………………………………………………..……………….....…..40 3.4 Truyền hình hội nghị …………………………………………….……………...…..…..41 Mục lục các hình vẽ Hình 1.1: công cụ nén mới của MPEG-4 so với MPEG 2………………………….…………….9 Hình 1.2 :DCT của MPEG…………………………………………………………………………...9 Hình 1.3.a : Đầu vào của bộ mã hóa MPEG-2……………………………………………….….10 Hình 1.3.b : Bộ mã hóa MPEG-4………………………………………………………………..…11 Hình 1.4: Các đối tượng lưới của MPEG4…………………………………………..…………...11 Hình 2.1: Cấu trúc của bộ mã hoá và giải mã video MPEG-4………………………………..13 Hình 2.2: Sơ đồ cấu trúc giải mã video MPEG-4………………………………………............14 Hình 2.3: Sơ đồ thuật toán nén ảnh(a)…………………………………………………….……...16 Hình 2.4: Sơ đồ thuật toán nén ảnh(b)……………….………………………………..................17 Hình 2.5 : Quá trình giải lượng tử và thứ tự sắp xếp zigzag…………….…………….….…….19 Hình 2.6: Cấu trúc mã hóa một VOP………………………………………………………….…...21 Hình 2.7 : Kỹ thuật thay đổi từng khối thích ứng với cấu trúc đa cạnh của VOP…………….23 Hình 2.8 : cửa sổ mở rộng cho việc tìm kiếm sự thay đổi theo phương Y……………….........23 Hình 2.9 : Tìm kiếm giá trị nửa điểm ảnh bằng phép nội suy………………………….…….….25 Hình 2.10 : Dự đoán thành phần MV trong chế độ dự đoán nâng cao………………....……..26 Hinh 2.11 : Mã hóa khung hình trong MPEG-4…………………………………………..………27 Hình 2.12 : Cấu trúc giải mã VOP…………………………………………………………….…...28 Hình 2.13 : Chất lượng đạt được của mã hóa video MPEG-4………………………………….30 Hình 2.14: Chất lượng đạt được của cả hai H.263 và MPEG-4 tại tốc độ 128 kbit / s……...30 Hình 2.15 : Cận cảnh đối tượng……………………………………………………………….……31 Hình 2.16 : Sự biến đổi tốc độ truyền theo bit của Frolife đơn giản của MPEG-4……….….32 Hình 2.17 : Đầu ra của bộ giải mã và đầu vào của bộ đệm mã hóa……………………..…….32 Hình 2.18 : Ví dụ của 1 bộ đệm (mã hóa, kênh dẫn bit 100kbps)……………………….….…..33 Hình 2.19 : Hình 2.20 : giải mã nội dung bộ đệm cho kênh 100kbit/s ………………….….….34 Hình 2.20 : Ví dụ của 1 bộ đệm (giải mã, kênh dẫn bit 1000kbps)……………………………..34 CÁC THUẬT NGỮ VIẾT TẮT MV : Motion vector (vector chuyển động ) VOP : Video object planes (đối tượng video) DCT: Discrete cosine transform ( biến đổi cosin rời rạc) MSE : Mean square error (sai số bình phương trung bình) BM : Block Matchinh ( khối phù hợp) SAD : Sum of Absolute Difference ( tổng sự khác nhau tuyệt đối) MB : Macro Block ( Khối vĩ mô) GOB : Groups Of Block ( nhóm các khối) OBMC: Overlapped block motion compensation (sự bù chuyển động khối) MPEG: Motion Picture Experts Group (Nhóm các chuyên gia điện ảnh) ITU: International Telecommunication Union (hiệp hội viễn thông quốc tế) ISO: International Standard Organisation (tổ chức tiêu chuẩn quốc tế) IEC: International Electrotechnical Commission (ủy ban kỹ thuật điện tử quốc tế) EOB: End Of Block (khối kết thúc) MRG: Management Research Group(nhóm quản lý nghiên cứu) IPTV: Internet Protocol Television (Truyền hình Giao thức Internet) MSE : mean square error (sai số bình phương trung bình) VOD: video on demand (video theo yêu cầu) ISDN Integrated Services Digital Network (là công nghệ băng hẹp) BM : Block Matchinh ( khối phù hợp) FTTH: Fiber-To-The-Home (mạng viễn thông bằng cáp quang được nối đến tận nhà) ISDN : Integrated Services Digital Network (mạng đa dịch vụ số) NGN: Dịch vụ truyền hình hội nghị  LAN: Local Area Network (mạng máy tính cục bộ) WAN: Wide Area Network (Mạng diện rộng) Chương 1 : Tổng quan về mã hóa video 1.1 Mục đích nghiên cứu video nén theo hướng đối tượng Tại sao chúng ta cần phải nén video ? Để xem được 1 đoạn video có chất lượng cao mà dung lượng không quá lớn là 1 điều rất quan trọng và cần thiết. Đó chính là lí do cần phải sử dụng 1 công cụ nén video nhằm giảm tối đa dung lượng của đoạn video mà chất lượng vẫn đáp ứng được yêu cầu. Nhu cầu truyền phát các dịch vụ Multimedia mới trên hạ tầng kỹ thuật mạng Internet đã làm nảy sinh các yêu cầu chức năng không có trong các chuẩn MPEG-1, MPEG-2,H.26X và các chuẩn nén video trước đó. Sự xuất hiện của chuẩn MPEG-4 (10/1998) và H264 đã tạo ra một phương thức thiết lập và tương tác mới với truyền thông nghe nhìn trên mạng internet, tạo ra một phương thức sản xuất, cung cấp và ứng dụng mới các nội dung video trên cơ sở nội dung và hướng đối tượng (content/object-based). Đây chính là một công nghệ trình diễn truyền thông đa phương tiện phức hợp, có khả năng truyền thông trong các môi trường băng thông rất khác nhau nhờ kết hợp tốt 3 môi trường: Truyền hình số, đồ hoạ tương tác và World Wide Web 1.2 Tổng quan về các chuẩn nén Hiệp hội viễn thông quốc tế (ITU) và tổ chức tiêu chuẩn quốc tế/ Uỷ ban kỹ thuật điện tử quốc tế (ISO/IEC) là hai tổ chức phát triển các tiêu chuẩn mã hoá Video. Theo ITU-T, các tiêu chuẩn mã hoá Video được coi là các khuyến nghị gọi tắt là chuẩn H.26x (H.261, H.262, H.263 và H.264). Với tiêu chuẩn ISO/IEC, chúng được gọi là MPEG-x (như MPEG-1, MPEG-2 và MPEG-4). MPEG hay gọn hơn là MPG có xuất xứ từ Moving Picture Experts Group (Nhóm các chuyên gia điện ảnh). Tổ chức ra đời hồi năm 1988 này chuyện phát triển các tiêu chuẩn về cái vụ nén phim số (digital video) và âm thanh số (digital audio). Nó hoạt động dưới sự “đỡ đầu” của Tổ chức Quốc tế về Tiêu chuẩn hóa (ISO). Mpeg-4 là chuẩn cho các ứng dụng MultiMedia. Mpeg-4 trở thành một tiêu chuẩn cho nén ảnh kỹ thuật truyền hình số, các ứng dụng về đồ hoạ và Video tương tác haichiều(Games,Videoconferencing) và các ứng dụng Multimedia tương tác hai chiều (World Wide Web hoặc các ứng dụng nhằm phân phát dữ liệu Video như truyền hình cáp, Internet Video...). Mpeg-4 đã trở thành một tiêu chuẩn công nghệ trong quá trình sản xuất, phân phối và truy cập vào các hệ thống Video. Nó đã góp phần giải quyết vấn đề về dung lượng cho các thiết bị lưu trữ, giải quyết vấn đề về băng thông của đường truyền tín hiệu Video hoặc kết hợp cả hai vấn đề trên. Với MPEG-4, các đối tượng khác nhau trong một khung hình có thể được mô tả, mã hoá và truyền đi một cách riêng biệt đến bộ giải mã trong các dòng cơ bản ES (Elementary Stream) khác nhau. Cũng nhờ xác định, tách và xử lý riêng các đối tượng (như nhạc nền, âm thanh xa gần, đồ vật, đối tượng ảnh video như con người hay động vật, nền khung hình …), nên người sử dụng có thể loại bỏ riêng từng đối tượng khỏi khuôn hình. Sự tổ hợp lại thành khung hình chỉ được thực hiện sau khi giải mã các đối tượng này. H.264 ( MPEG-4 AVC hay MPEG-4 part 10), hiện đang là phương thức tiên tiến nhất trong lĩnh vực nén video. H.264 cho chất lượng hình ảnh tốt nhất khi có cùng dung lượng so với các chuẩn nén khác. H.264 cũng được ứng dụng như thuật nén chính trong video độ phân giải cao (HD) Mục tiêu chính của chuẩn nén H.264 đang phát triển nhằm cung cấp Video có chất lượng tốt hơn nhiều so với những chuẩn nén Video trước đây. Điều này có thể đạt được nhờ sự kế thừa các lợi điểm của các chuẩn nén Video trước đây. Không chỉ thế, chuẩn nén H.264 còn kế thừa phần lớn lợi điểm của các tiêu chuẩn trước đó là H.263 và MPEG-4. Trong đề tài này chúng tôi xin phép được trình bày kĩ thuật mã hóa video nén theo hướng đối tượng MPEG-4 mà hiện nay đang đuợc sử dụng rất nhiều như 1 công cụ mã hóa với nhiều tính năng ưu việt. 1.3 Kĩ thuật mã hóa video nén theo hướng đối tượng MPEG-4 và ưu điểm của nó. MPEG-4 được coi là một cuộc cách mạng mới trong media số. Nó là chuẩn multimedia toàn cầu thế hệ kế tiếp. Nó được thiết kế để truyền tải video với chất lượng DVD (MPEG-2) qua mạng. MPEG-4 có khả năng nén cao và tối ưu hóa được dung lượng băng thông cũng như dung lượng file lưu trữ mà lại đưa ra chất lượng video chập nhận được. MPEG-4 có phương thức mã hóa và nén video hoàn toàn tối ưu hơn các chuẩn khác trước nó đó là việc chia nhỏ mỗi lớp video thành các đối tượng riêng biệt,Thay vì thực hiện truyền tải tất cả các lớp video như ở MPEG-2 thì MPEG-4 chỉ truyền đi sự thay đổi trong mỗi đối tượng đã được tách ra.MPEG-4 ra đời với khá nhiều tính năng ưu việt: 1.3.1 Tính mềm dẻo và có khả năng nâng cấp. Các nhà thiết kế bộ mã hoá MPEG phải đối mặt với rất nhiều vấn đề, nhưng vấn đề quan trọng nhất là làm sao thiết kế được một thuật toán nén mềm dẻo và có khả năng nâng cấp được trong tương lai. Họ thường mong muốn có được các bộ mã hoá MPEG thích hợp cho nhiều ứng dụng, từ TV màn ảnh rộng, chất lượng cao tới các hệ thống nhỏ, tín hiệu video đen trắng cho các hệ thống camera an ninh. Hiển nhiên là một hệ thống nén thiết kế dành cho các phim màn ảnh rộng phải có phần cứng mạnh, bộ nhớ lớn hơn là một hệ thống được thiết kế cho hệ thống camera dành cho mục đích an ninh.Các nhà thiết kế giải quyết vấn đề này bằng cách định nghĩa "Level" và "Profile" cho hệ thống. Các "Level" xác định giới hạn năng lực xử lý của phần cứng và bộ nhớ cần thiết để mã hoá tín hiệu. Các "Profile" xác định độ phức tạp của quá trình mã hoá và giải mã.Đối với MPEG-4 thì có 19 profile (nhưng đối với H.264 chỉ có 3 profile). Về khả năng nâng cấp của bộ mã hoá MPEG, họ thiết kế theo hai bước. Bước thứ nhất là thay cho xác định chỉ tiêu của bộ mã hoá và giải mã, họ xác định loại tín hiệu nằm giữa hai thiết bị này. Bước thứ hai là thực hiện các cải tiến trong bộ mã hoá và giải mã mới sao cho nó tương thích với các chuẩn cũ (backward compatible).Chuẩn MPEG có các qui tắc và giao thức cho tín hiệu truyền giữa bộ mã hoá và giải mã. Các quy tắc này, thực chất giống như là một loại ngôn ngữ dành riêng cho bộ mã hoá và giải mã. Các bộ mã hoá tương thích phải có khả năng “nói” được ngôn ngữ này. Các bộ giải mã tương thích phải có khả năng hiểu được toàn bộ các "từ vựng" mà bộ mã hoá đã phát ra trong một ngữ cảnh nhất định.MPEG-4 thực hiện điều này bằng cách tạo ra một bộ các công cụ dùng để nén tín hiệu trong các trường hợp khác nhau. Một trong các công cụ này, chuyển đổi cosine rời rạc (DCT - discrete cosine transform), có nhiệm vụ chuyển đổi một khối 8x8 pixel thành một tập các hệ số 1.3.2 MPEG-4 đem lại công cụ nén mới. Ta hãy xem xét các cộng cụ nén mới mà chuẩn MPEG-4 mang tới lĩnh vực nén ảnh. Hình 1 so sánh các công cụ của chuẩn MPEG-2 và MPEG-4. Hình 1.1: công cụ nén mới của MPEG-4 so với MPEG-2. Chuẩn MPEG-4 đi xa hơn, theo hình 2, nó có thể dự đoán hệ số của toàn bộ các khối trên một hàng hay hệ số của các khối ở cột bên trái từ một khối đầu tiên. Hình 1.2: MPEG4 có thể dự đoán các tham số trên 1 hàng, hay các thông số của cột bên trái từ một khối đầu tiên. Việc dự đoán các hệ số của hàng hay của cột dựa trên nội dung của hình ảnh. Ví dụ, một ảnh chứa một vật thể theo chiều đứng như cái cọc chẳng hạn. Khi đó quét ảnh này theo chiều ngang sẽ tạo ra sự thay đổi lớn trong các hệ số sau DCT khi gặp hình ảnh cái cọc này. Trái lại, khi quét theo chiều đứng thì các khối nằm trong một cột có các hệ số DCT gần giống nhau, từ đó có thể nén với tỉ lệ nén cao hơn. MPEG-4 mở rộng cách dự đoán vector chuyển động. MPEG-4 có thể dự đoán vector cho một macroblock từ các macroblock ở trên hay ở bên trái, và nó chỉ gửi đi sự sai khác so với các vector cũ mà thôi. Do đó giảm đi dữ liệu cần thiết dùng để mã hoá một vector, cho phép có thể dùng một vector cho mỗi khối DCT. Việc dự đoán chuyển động sẽ tốt hơn với 4 vector, giảm nhỏ lỗi khi dự đoán. Chất lượng hình ảnh có thể được cải thiện đáng kể bằng cách dùng tỉ lệ nén dữ liệu lớn hơn mà không cần thay đổi độ phân giải. Mpeg không phải là một công cụ nén đơn lẻ mà ưu điểm của nén Mpeg chính là ở chỗ nó có một tập hợp các công cụ mã hoá chuẩn, chúng có thể được kết hợp với nhau một cách linh động để phục vụ cho một loạt các ứng dụng khác nhau, khả năng truyền dẫn tốt trong môi trường truyền dẫn khắc nhiệt. 1.3.3 Tiềm năng của chuẩn MPEG-4. Trong khi các chuẩn MPEG-1 và MPEG-2 thao tác với một ảnh toàn vẹn, thì chuẩn MPEG-4 có thể làm việc được với các hình ảnh được tạo ra, hay đã được máy tính xử lý và đó là một thế mạnh của chuẩn MPEG-4.So với chuẩn MPEG-2 thì MPEG-4 có những ưu thế hơn về xử lý đồ họa trực tiếp. Hình 1.3.a : Đầu vào của bộ mã hóa MPEG-2 là một ảnh hoàn chỉnh được lặp lại theo tần số ảnh (frame rate) Hình 1.3.b : Bộ mã hóa MPEG-4 có thể xử lý các lệnh đồ họa một cách trực tiếp , do đó công cụ biểu diễn hình ảnh thực sự nằm trong bộ giảimã MPEG-4 Hình 1.3 : so sánh giữa chuẩn MPEG-2 và MPEG-4 về xử lý đồ họa Chuẩn MPEG-4 có thể làm việc được với 4 loại đối tượng, như trên hình 4.Hình 4 cho thấy chuẩn MPEG-4 đã chuẩn hoá phương pháp truyền các đối tượng 3 chiều nhờ các đối tượng lưới (mesh object), cùng với các phương tiện ánh xạ bề mặt vật thể lên các đối tượng này, chuẩn này có thể xử lý các đối tượng có hình dạng bất kỳ Hình 1.4: MPEG4 đã chuẩn hóa phương pháp truyền các đối tượng 3 chiều nhờ các đối tượng lưới. 1.3.4 Audio, video và tất cả các đối tượng khác có thể được đồng bộ chặt chẽ với độ chính xác cao và có khả năng tương tác. Truyền thông multimedia theo dòng (Multimedia stream), trong đó dòng audio và video sẽ được biến đổi thích nghi với yêu cầu băng thông và chất lượng hình nhờ loại bỏ những đối tượng (hình ảnh, âm thanh) không cần thiết khỏi dòng dữ liệu và đồng bộ các thông tin được nhúng trong dòng dữ liệu đó. Thêm vào đó, MPEG-4 sẽ cho phép người sử dụng khả năng tương tác trực tiếp với dòng dữ liệu (dừng tiến hay lùi nhanh, kích chuột để kích hoạt các tuỳ chọn video và audio…) Lưu giữ và phục hồi dữ liệu audio và video: do MPEG-4 phân chia các khung hình thành các đối tượng, việc trình duyệt Browser trên cơ sở nội dung (đối tượng) mong muốn sẽ được thực hiện một cách dễ dàng và nhờ vậy, các ứng dụng lưu giữ hay phục hồi thông tin trên cơ sở nội dung MPEG-4 sẽ được thuận lợi hơn. Truyền thông báo đa phương tiện: các thông báo dưới dạng text, audio và video MPEG-4 sẽ được truyền đi với yêu cầu băng thông ít hơn, và có khả năng tự điều chỉnh chất lượng cho phù hợp với khả năng băng thông của thiết bị giải mã. Thông tin giải trí: những sự trình diễn nghe nhìn tương tác (thế giới ảo, trò chơi tương tác …) có thể được triển khai trên cơ sở chuẩn MPEG-4 sẽ làm giảm yêu cầu về băng thông và làm cho thế giới ảo trở nên sinh động và giống như thực tế trên các trang web Chương 2 : Công nghệ mã hóa video trong MPEG-4 MPEG-4 là sản phẩm của nhóm MPEG (Moving Picture Expert Group) được thành lập tháng 1/1988 với nhiệm vụ phát triển các chuẩn xử lý, mã hoá và hiển thị các ảnh động, audio và các tổ hợp của chúng. Sản phẩm đầu tiên của nhóm này là MPEG-1 được sử dụng cho việc mã hoá các dữ liệu nghe nhìn với tốc độ 1,5 Mbps. Sản phẩm thứ hai của nhóm là chuẩn MPEG-2 nổi tiếng hiện nay, mang tính tổng quát hơn và đang được áp dụng cho một loạt các ứng dụng nghe nhìn trong phạm vi tốc độ từ 3-40 Mbps. Không giống các chuẩn MPEG trước đó, ví dụ như trong MPEG-2, nơi mà nội dung được tạo ra từ nhiều nguồn như video ảnh động, đồ họa, văn bản… và được tổ hợp thành chuỗi các khung hình phẳng, mỗi khung hình (bao gồm các đối tượng như người, đồ vật, âm thanh, nền khung hình…) được chia thành các phần tử ảnh pixels và xử lý đồng thời, giống như cảm nhận của con người thông qua các giác quan trong thực tế. Các pixels này được mã hoá như thể tất cả chúng đều là các phần tử ảnh video ảnh động. Tại phía thu của người sử dụng, quá trình giải mã diễn ra ngược với quá trình mã hoá không khó khăn. Vì vậy có thể coi MPEG-2 là một công cụ hiển thị tĩnh, và nếu một nhà truyền thông truyền phát lại chương trình của một nhà truyền thông khác về một sự kiện, thì logo của nhà sản xuất chương trình này không thể loại bỏ được. Với MPEG-2, bạn có thể bổ xung thêm các phần tử đồ hoạ và văn bản vào chương trình hiển thị cuối cùng (theo phương thức chồng lớp), nhưng không thể xoá bớt các đồ hoạ và văn bản có trong chương trình gốc.Chuẩn MPEG-4 khắc phục được hạn chế này và là một chuẩn động dễ thay đổi. Với MPEG-4, các đối tượng khác nhau trong một khung hình có thể được mô tả, mã hoá và truyền đi một cách riêng biệt đến bộ giải mã trong các dòng cơ bản ES (Elementary Stream) khác nhau. Cũng nhờ xác định, tách và xử lý riêng các đối tượng (như nhạc nền, âm thanh xa gần, đồ vật, đối tượng ảnh video như con người hay động vật, nền khung hình …), nên người sử dụng có thể loại bỏ riêng từng đối tượng khỏi khuôn hình. Sự tổ hợp lại thành khung hình chỉ được thực hiện sau khi giải mã các đối tượng này. Hình 2.1. Cấu trúc của bộ mã hoá và giải mã video MPEG-4 Các bộ phận chức năng chính trong các thiết bị MPEG-4 bao gồm: - Bộ mã hoá hình dạng ngoài Shape Coder dùng để nén đoạn thông tin, giúp xác định khu vực và đường viền bao quanh đối tượng trong khung hình scene. - Bộ dự đoán và tổng hợp động để giảm thông tin dư thừa theo thời gian. - Bộ mã kết cấu mặt ngoài Texture coder dùng để xử lý dữ liệu bên trong và các dữ liệu còn lại sau khi đã bù chuyển động. Hình 2.2. Sơ đồ cấu trúc giải mã video MPEG-4 Hình 2 là một ví dụ về tổng hợp khung hình video sử dụng trong MPEG-4. Nhiều đối tượng được tách ra khỏi video đầu vào. Mỗi đối tượng video sau đó được mã hóa bởi bộ mã hoá đối tượng video VO (Video Object) và sau đó được truyền đi trên mạng. Tại vị trí thu, những đối tượng này được giải mã riêng rẽ nhờ bộ giải mã riêng VO và gửi tới bộ compositor. Người sử dụng có thể tương tác với thiết bị để cấu trúc lại khung hình gốc, hay để xử lý các đối tượng tạo ra một khung hình khác. Ngoài ra, người sử dụng có thể download các đối tượng khác từ các thư viện cơ sở dữ liệu (có sẵn trên thiết bị hay từ xa thông qua mạng LAN, WAN hay Internet) để chèn thêm vào hay thay thế các đối tượng có trong khuôn hình gốc. Để có thể thực hiện việc tổ hợp khung hình, MPEG-4 sử dụng một ngôn ngữ mô tả khung hình riêng, được gọi là định dạng nhị phân cho khung hình BiFS (Binary Format for Scenes). BiFS không chỉ mô tả ở đâu và khi nào các đối tượng xuất hiện trong khung hình, nó cũng mô tả cách thức hoạt động của đối tượng (làm cho một đối tượng xoay tròn hay chồng mờ hai đối tượng lên nhau) và cả điều kiện hoạt động đối tượng và tạo cho MPEG-4 có khả năng tương tác. Trong MPEG-4 tất cả các đối tượng có thể được mã hoá với sơ đồ mã hoá riêng của nó - video được mã hoá theo kiểu video, text được mã hoá theo kiểu text, các đồ hoạ được mã hoá theo kiểu đồ hoạ - thay vì việc xử lý tất cả các phần tử ảnh pixels như là mã hoá video ảnh động. Do các quá trình mã hoá đã được tối ưu hoá cho từng loại dữ liệu thích hợp, nên chuẩn MPEG-4 sẽ cho phép mã hoá với hiệu quả cao tín hiệu ảnh video, audio và cả các nội dung tổng hợp như các bộ mặt và cơ thể hoạt hình. 2.1 Mã hoá hình dạng ngoài (Shape Coder ) -Khung hình : là thành phần mã hoá chính. Thường thường chúng ta có thể phân biệt sự thay đổi về độ sáng của ảnh tốt hơn so với sự thay đổi về màu. Do đó trước hết các sơ đồ nén Mpeg sẽ tiến hành chia khung hình thành các thành phần độ sáng Y và thành phần độ màu Cb, Cr (một thành phần về độ sáng và hai thành phần về độ màu). Một khung hình sẽ gồm có 3 ma trận ứng với các thành phần về độ sáng (Y) và hai thành phần về độ màu Cb và Cr. Ma trận Y có số hàng và cột bằng nhau (ma trận vuông). Ma trận Cb và Cr có số hàng và cột bằng nửa ma trận Y. Hình 3 cho thấy quan hệ và vị trí của Y và các thành phần Cb và Cr. Lưu ý rằng cứ 4 giá trị Y lại có 2 giá trị kết hợp một của Cb và một của Cr (Vị trí của giá trị Cb và Cr là tương đương).Các bộ lọc tiền xử lý sẽ lọc ra những thông tin không cần thiết từ tín hiệu Video và những thông tin khó mã hoá nhưng không quan trọng cho sự cảm thụ của mắt người. Kỹ thuật đoán chuyển động dựa trên nguyên tắc là các khung hình trong một cảnh Video dường như có liên quan mật thiết với nhau theo thời gian: Mỗi khung hình tại một thời điểm nhất định sẽ có nhiều khả năng giống với các khung hình đứng ngay phía trước và ngay phía sau nó. Do vậy ở phía bộ mã hoá, chỉ cần gửi những khung hình có thay đổi so với những khung hình trước, sau đó dùng phương pháp nén về không gian để loại bỏ sự dư thừa về không gian trong chính khung hình sai khác này. Trong MPEG-4 là yếu tố ít có sự thay đổi nhất, các bước mã hóa khung hình cũng tương tư như mã hóa ảnh. Thuật toán mã hoá biến đổi gồm các bước:  +Biến đổi Cosine rời rạc (DCT). +Lượng tử hoá. +Mã hóa 2.1.1 Biến đổi Cosin rời rạc ( DCT ) Sơ đồ thuật toán nén và giải nén được mô tả dưới đây: Hình 2.3 sơ đồ thuật toán nén ảnh (a) Quá trình giải nén sẽ được làm ngược lại, người ta giải mã từng phần ảnh nén tương ứngvới phương pháp nén đã sử dụng trong phần nén nhờ các thông tin liên quan ghi trong phần header của file nén. Kết quả thu được là hệ số đã lượng tử. Các hệ số này được khôi phục về giá trị trước khi lượng tử hóa bằng bộ tương tự hóa. Tiếp đó đem biến đổi Cosin ngược ta được ảnh ban đầu với độ trung thực nhất định. Bảng mã và bảng lượng tử trong sơ đồ giải nén được dựng lên nhờ những thông tin ghi trong phần cấu trúc đầu tệp ( Header) của tệp ảnh nén. Quá trình nén chịu trách nhiệm tạo ra và ghi lại những thông tin này. Phần tiếp theo sẽ phân tích tác dụng của từng khối trong sơ đồ 2.3 + Phần khối Vì ảnh gốc có kích thước rất lớn cho nên trước khi đưa vào biến đổi DCT, ảnh được phân chia thành các khối vuông, mỗi khối này th