MPEG-7與媒體資產(chǎn)檢索

MPEG-7與媒體資產(chǎn)檢索

1、 引言    隨著電視技術(shù)與IT技術(shù)的不斷融合，以及IT技術(shù)日新月異的發(fā)展，實(shí)現(xiàn)視音頻信息的數(shù)字化管理即所謂的媒體資產(chǎn)管理已成為可能。但要實(shí)現(xiàn)對龐大的視音頻數(shù)據(jù)進(jìn)行組織、管理及檢索，僅僅有數(shù)字化的視音頻信息是遠(yuǎn)遠(yuǎn)不夠的，這時(shí)便提出了所謂的"元數(shù)據(jù)（Metadata）"技術(shù)。"元數(shù)據(jù)"就是描述數(shù)據(jù)的數(shù)據(jù)，即有關(guān)視音頻信息的描述信息。但現(xiàn)在多數(shù)媒體資產(chǎn)管理系統(tǒng)都是按照傳統(tǒng)的管理信息系統(tǒng)的方式組織和管理元數(shù)據(jù)的，即將視音頻信息進(jìn)行編目，再將編目信息(元數(shù)據(jù))存入數(shù)據(jù)庫以備日后的檢索和管理。這種方式對于版權(quán)、作者、主題等等文本信息是很有效的，但是要實(shí)現(xiàn)真正的面向內(nèi)容的管理就力不從心了。針對這一問題，MPEG (Moving Picture Experts Group)推出了基于內(nèi)容的多媒體描述標(biāo)準(zhǔn)MPEG-7。MPEG-7標(biāo)準(zhǔn)重點(diǎn)在于AV(Audiovisual)信息的描述和定義，以明確的結(jié)構(gòu)和語法來定義AV信息的內(nèi)容。它的正式名稱是"多媒體內(nèi)容描述接口(multimedia content description interface)"。通過MPEG-7格式定義的信息，使用者可以有效地搜尋、過濾和定義想要的視音頻資料。 2、 MPEG-7     MPEG-7于2001年推出，它本身并不試圖定義一種新的數(shù)字壓縮方法，而主要是針對基于內(nèi)容的多媒體描述問題。 2.1 MPEG-7標(biāo)準(zhǔn)的范圍     MPEG-7是MPEG繼MPEG-1、MPEG-2、MPEG-4之后制定的新標(biāo)準(zhǔn)，但它與前三個標(biāo)準(zhǔn)不同，它超越基于波形或基于樣本、基于壓縮(如MPEG-1和MPEG-2)甚至是基于對象(如MPEG-4)的表示，也超越具體的存儲方式(如可以應(yīng)用于存儲在磁帶、影片等上模擬信號也可以應(yīng)用于存儲在磁盤、光盤上的數(shù)字信號，甚至可應(yīng)用于存在于紙上的圖形、圖片)，其目的是建立一種基于多媒體內(nèi)容的描述方式，以便更有效地支持多媒體資料在產(chǎn)生、存儲、交換、傳輸?shù)冗^程中的各種應(yīng)用，這些應(yīng)用包括搜索引擎、編輯工具和個性化的檢索機(jī)制等。但MPEG-7并不涉及這些就在具體的應(yīng)用本身，而是僅僅定義了多媒體內(nèi)容的描述方法，圖1是關(guān)于MPEG-7標(biāo)準(zhǔn)內(nèi)容的抽象描述。     MPEG-7對多媒體信息的描述目前主要包括以下幾個方面（當(dāng)然，隨著應(yīng)用的不斷深入，MPEG-7也在不斷的擴(kuò)充和完善）： ● 有關(guān)媒體制作方面的信息（如媒體的制作商、標(biāo)題等）；
● 有關(guān)媒體使用方面的信息（如媒體的版權(quán)、使用記錄等）；
● 有關(guān)媒體存儲方面的信息（如媒體的編碼方式、存儲格式等）；
● 有關(guān)媒體時(shí)間域、空間域方面的信息（如媒體中的場景切換、區(qū)域分割等）；
● 有關(guān)媒體特征方面的信息（如媒體的灰度、紋理、音頻特征等）；
● 有關(guān)媒體內(nèi)容表述方面的信息（如媒體中包括的對象、事件及其之間的相互關(guān)系等）。
2.2 MPEG-7描述
MPEG-7定義了一組的描述方法和工具，主要包含：
● 描述子D (Descriptors)：用來描述多媒體內(nèi)容的各種特征。
● 描述方案DS (Description Schemes)：用來描述D之間的結(jié)構(gòu)及關(guān)系。
● 描述定義語言DDL(Description Definition Language)：用來定義D和DS的語言。     一個MPEG-7描述(descriptions)由一組DS實(shí)例組成，并與AV素材的內(nèi)容鏈接，以使用戶能夠快速、有效地訪問需要的AV素材。描述可以與AV素材存儲在同一存儲系統(tǒng)中，也可以異地、遠(yuǎn)程存儲。 2.2.1描述子     MPEG-7定義了一組標(biāo)準(zhǔn)的描述子，下表列出的是一些MPEG-7的視覺描述子： 類型 特征 描述子 視覺 結(jié)構(gòu) 網(wǎng)格分布 二維/三維多視圖 時(shí)間序列 三維空間坐標(biāo)系 時(shí)間插值 顏色 顏色空間 顏色量化 顏色直方圖 主顏色 可擴(kuò)展顏色 顏色結(jié)構(gòu) 顏色分布 GOF/GOP顏色 紋理 邊緣直方圖 同類紋理 紋理瀏覽 形狀 對象范圍 基于區(qū)域的形狀 基于輪廓的形狀 三維形狀 運(yùn)動 鏡頭運(yùn)動 對象運(yùn)動軌跡 參數(shù)運(yùn)動 運(yùn)動速度 位置 區(qū)域定位子 時(shí)空定位子 其它 人臉描述子     每個描述子都定義了標(biāo)準(zhǔn)和非標(biāo)準(zhǔn)兩個部分，標(biāo)準(zhǔn)部分定義了描述子的語法、語義及其二進(jìn)制的表示法。而操作部分是非標(biāo)準(zhǔn)的部分，許多低層的特征(如顏色直方圖等)都是可以自動抽取的，推薦使用的特征抽取及匹配算法都包含在非標(biāo)準(zhǔn)的部分。 2.2.2描述方案     描述方案(DS)定義了各組成部分之間的結(jié)構(gòu)和語義關(guān)系，它由描述子(D)和描述方案(DS)組成，下面是在AV內(nèi)容描述方案中常用到的幾個概念： ● 語法結(jié)構(gòu)：AV內(nèi)容的物理和邏輯結(jié)構(gòu)，如時(shí)間片斷、空間區(qū)域的基礎(chǔ)結(jié)構(gòu)。
● 語義結(jié)構(gòu)：語義含義的細(xì)分，如時(shí)間事件、空間對象結(jié)構(gòu)。
● 語法語義鏈接：語法元素與語義元素間的結(jié)合。
一個頂層的AV描述方案往往是由多個描述方案組成：
● 一組語法結(jié)構(gòu)描述方案(Syntactic structure DS)：即片斷、區(qū)域、顏色、文本、運(yùn)動等物理特征的描述。
● 一組語義結(jié)構(gòu)描述方案(Semantic structure DS)：即對象、人物或事件等語義特征，如"進(jìn)球"、"射門"、"廣告"等。
● 語法語義鏈接描述方案(Syntactic-semantic links DS)：即語法元素和語義元素之間的關(guān)系。
● 摘要描述方案(Summary DS)：用于不同粒度間的瀏覽。
● 媒體信息描述方案(MetaInfo DS)：有關(guān)作者、出版者等信息的描述，包括內(nèi)容描述方案、信用描述方案、創(chuàng)作目的描述方案、版權(quán)描述方案、出版描述方案等。
● 介質(zhì)信息描述方案(MediaInfo DS)：有關(guān)存儲介質(zhì)的描述，如文件格式、存儲介質(zhì)、壓縮格式、長度等。
● 模式描述方案(Model DS)：提供AV數(shù)據(jù)的分類方法的描述或當(dāng)前AV內(nèi)容和其它內(nèi)容間的通信的不同方法。 圖2是一個AV描述方案的結(jié)構(gòu)描述： 2.2.3 DDL語言     DDL語言可以創(chuàng)建新的描述方案和描述子，也可以擴(kuò)展或修改現(xiàn)有的描述方案。MPEG-7的DDL語言以XML語言為基礎(chǔ)，但由于XML并不是專門用來作為AV內(nèi)容描述語言來設(shè)計(jì)的，因此MPEG-7在XML的基礎(chǔ)上作了進(jìn)一步的擴(kuò)展。MPEG-7的DDL語言主要包括以下幾個部分： ● XML語言的結(jié)構(gòu)部分
● XML語言的數(shù)據(jù)類型部分
● MPEG-7的擴(kuò)展部分 DDL語言、描述方案、描述子之間的關(guān)系見圖3。 3、 基于MPEG-7的媒體資產(chǎn)檢索     檢索是媒體資產(chǎn)管理系統(tǒng)中的重要環(huán)節(jié)，沒有效的檢索機(jī)制媒體資產(chǎn)管理也就沒有意義了。基于MPEG-7建立起來的媒體資產(chǎn)管理系統(tǒng)不僅可以包含傳統(tǒng)的視音頻信息，還可將其它多媒體信息(如做宣傳片時(shí)所建的3D模型等)納入其中，并且可超越存儲方式(無論是在線、近線還是離線)建立檢索機(jī)制。 3.1基于MPEG-7的媒體資產(chǎn)管理系統(tǒng)的結(jié)構(gòu)     雖然 MPEG-7描述不依賴于資料的編碼表示，但是在某種程度上，該標(biāo)準(zhǔn)建立在MPEG-4之上，在MPEG-4中定義的表示方式也非常適合MPEG-7描述的建立。MPEG-4提供對視聽資料以對象方式編碼的方法，這些對象具有一定的時(shí)間(同步)和空間(空間位置和三維感受)關(guān)系。利用MPEG-4編碼，將有可能把描述附加到場景中的元素(VOP)上。因此在媒體資產(chǎn)管理系統(tǒng)中，可將輸入的視頻編碼成高、低兩種碼率的碼流，高碼率的可采用MPEG-2編碼，用于編輯、下載、播出等；低碼率的可采用MPEG-4編碼，檢索、瀏覽以及網(wǎng)絡(luò)上的傳輸。MPEG-7描述建立在MPEG-4編碼之上，MPEG-4編碼與MPEG-2編碼之間用EDL表鏈接。系統(tǒng)結(jié)構(gòu)見圖4。 3.2特征自動抽取     一部視頻節(jié)目由一系列場景組成，而場景由鏡頭組成，鏡頭又由幀組成。利用鏡頭邊界檢測算法可將視頻序列分解成鏡頭，如最常用的顏色直方圖法，計(jì)算每兩幀之間的顏色直方圖的分布差，當(dāng)其超過某一閾值時(shí)，就可認(rèn)為這兩幀是兩個鏡頭的邊界。將場景被分成鏡頭后，就可利用自動關(guān)鍵幀抽取算法抽取一個或多個關(guān)鍵幀作為鏡頭的代表，供用戶瀏覽。關(guān)鍵幀抽取時(shí)，可先將第一幀作為鏡頭的第一個關(guān)鍵幀，然后將此關(guān)鍵幀與以后的每一幀作比較，當(dāng)差值超過某一閾值時(shí)，可將這一幀作為新的關(guān)鍵幀，以此類推，直到鏡頭結(jié)束。     鏡頭分解和關(guān)鍵幀抽取完成后就可對其進(jìn)行靜態(tài)特征(形狀、顏色、紋理等)和運(yùn)動特征進(jìn)行自動抽取，并生成MPEG-7的標(biāo)準(zhǔn)描述，作為日后檢索的依據(jù)。 3.3人工編目     對高層的語義描述，是不可能自動抽取的，需更多的依賴人機(jī)交互。因此專業(yè)的編目人員是建立高效的檢索機(jī)制所必不可少的。但是面對多種多樣的用戶需求，僅僅依靠幾個專業(yè)的編目人員是不可能的，一方面雖然已有了自動抽取的大量特征，但詳細(xì)的語義說明仍然是一個海量的工作；另一方面，每一個人對AV素材的理解可能都不盡相同，既使是非常高水平的編目人員也不可能滿足所有用戶的需求。因此"學(xué)習(xí)能力"也就成為對媒體資產(chǎn)檢索系統(tǒng)的一種更高層的要求。     所謂的"學(xué)習(xí)能力"是指根據(jù)用戶的檢索過程生成新的描述信息的機(jī)制。例如，有一用戶鍵入"98世界杯上巴喬射失的點(diǎn)球"想檢索有關(guān)的AV素材時(shí)，可能以前沒有這樣的描述，所以無法找到。但用戶可能通過"98世界杯"、"點(diǎn)球"等一系列過程最終找到了有關(guān)素材，這時(shí)系統(tǒng)就可將"98世界杯上巴喬射失的點(diǎn)球"這一描述加到這一素材之上，當(dāng)再有用戶鍵入相同信息時(shí)，系統(tǒng)就可快速的找到有關(guān)素材。"學(xué)習(xí)能力"將編目、檢索兩個完全分立的近程結(jié)合起來，擴(kuò)大了編目能力，也提高了系統(tǒng)的效率，使得每一個用戶都成為系統(tǒng)的編目人員，大大地減輕了編目人員的工作壓力。     與"學(xué)習(xí)能力"相對就的是"遺忘能力"。如過每一次檢索都產(chǎn)生新的描述，系統(tǒng)就會不停地?cái)U(kuò)大，直至最終崩潰。我們先看一看人類的大腦，之所以人類能記意大量的信息是因?yàn)槲覀兺鼌s了更大量的無用信息。因此一個具有"學(xué)習(xí)能力"的系統(tǒng)必須具有"遺忘能力"，即能夠?qū)㈤L時(shí)間無人使用的描述從系統(tǒng)中刪除的能力。當(dāng)然，系統(tǒng)應(yīng)將描述分出級別，對于專業(yè)編目人員建立的系統(tǒng)描述應(yīng)設(shè)為最高級別，只有通過人工刪除，系統(tǒng)無法自動刪除，而對于由用戶檢索建立起的描述則由系統(tǒng)根據(jù)使用頻率及當(dāng)前系統(tǒng)的負(fù)載情況采用有效的刪除策略。 3.4視頻檢索     基于MPEG-7的檢索機(jī)制支持文本檢索、圖像檢索、音頻檢索等多種檢索方式，允許用戶輸入一幅圖像或在鍵盤上鍵入一段音符來查找相關(guān)素材。但是在實(shí)際應(yīng)用中，由用戶直接輸入圖像是不太現(xiàn)實(shí)的，更多地是由用戶輸入對圖像的文本描述信息，這一點(diǎn)也進(jìn)一步說明僅有低層的視覺描述而缺少高層語義描述的系統(tǒng)是沒有實(shí)用價(jià)值的。根據(jù)用戶的輸入，系統(tǒng)采用相似匹配的算法檢索到所有相關(guān)的關(guān)鍵幀(編目時(shí)描述信息越詳細(xì)，查詢的結(jié)果也就可能越準(zhǔn)確)，用戶從所有關(guān)鍵幀中選擇可能是自己需要的部分，然后調(diào)入相關(guān)的低碼流的素材進(jìn)行濟(jì)覽，當(dāng)用戶確認(rèn)以后就可通過EDL表調(diào)用高碼流部分進(jìn)行下載輸出。 主要參考文獻(xiàn)：
1、 ISO/IEC JTC1/SC29/WG11 N4031. Overview of the MPEG-7 Standard (version 5.0). José M. Martínez
2、 D-Lib MagazineSeptember 1999. MPEG-7 Behind the Scenes. Jane Hunter
3、 http://www.cbttn.com.《MPEG-7及其在廣播電視中的應(yīng)用》. 張穎輝、陶然、王越、馬越
4、 北京郵電大學(xué)出版社.《MPEG-7標(biāo)準(zhǔn)及其應(yīng)用》.余兆明、李曉費(fèi)、陳來春、

【MPEG-7與媒體資產(chǎn)檢索】相關(guān)文章：

多級存儲技術(shù)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用08-06

實(shí)習(xí)檢索報(bào)告08-16

談?wù)剬幭牡胤轿墨I(xiàn)檢索08-09

信息檢索心得體會08-20

文獻(xiàn)檢索心得體會12-06

文獻(xiàn)檢索課學(xué)習(xí)心得04-20

文獻(xiàn)信息檢索心得體會03-21

信息檢索課的心得體會04-01

信息檢索課心得體會04-17