蘋(píng)果考慮為VR提供更好的360度視頻拼接方案
美國(guó)專(zhuān)利及商標(biāo)局今天公布了一份 蘋(píng)果 專(zhuān)利,與用于全向和多向圖片與視頻有關(guān)的編碼技術(shù)。映維網(wǎng)早在2017年10月就報(bào)道了一份與這一話題相關(guān)的專(zhuān)利。當(dāng)時(shí)的專(zhuān)利涉及VR應(yīng)用的后期制作,而今天的專(zhuān)利 Processing of Equirectangular Object Data to Compensate for Distortion by Spherical Projections 則涵蓋編碼方面的技術(shù)。
對(duì)于今天公布的專(zhuān)利,蘋(píng)果指出當(dāng)前的指出編碼應(yīng)用程序沒(méi)有考慮在處理全向或多向圖像時(shí)可能出現(xiàn)的圖像畸變。這種畸變會(huì)導(dǎo)致普通視頻編碼器無(wú)法識(shí)別圖像內(nèi)容中的冗余,從而導(dǎo)致編碼效率低下。蘋(píng)果的發(fā)明正是為了克服編碼效率低下的問(wèn)題。
為了更好地理解蘋(píng)果項(xiàng)目的背景,我們可以把目光放在2017年的VR應(yīng)用后期制作專(zhuān)利。在去年的專(zhuān)利申請(qǐng)中,蘋(píng)果指出傳統(tǒng)的180度或360度視頻或圖像是以平面格式進(jìn)行存儲(chǔ),使用等量矩形投影或立方體投影來(lái)表示球形空間。如果在傳統(tǒng)的編輯應(yīng)用程序或圖形應(yīng)用程序中編輯這類(lèi)視頻或圖像,當(dāng)視頻或圖像以圓頂投影,立方體投影進(jìn)行分發(fā)和渲染時(shí),或者在VR頭顯內(nèi)進(jìn)行球形映射時(shí),用戶將難以解釋最終結(jié)果的體驗(yàn)。在平面投影中編輯和操縱圖像需要特殊技能和大量的試錯(cuò)。
另外,在用球形合成或編輯圖像或視頻后,出現(xiàn)后續(xù)鏡頭未對(duì)準(zhǔn),或者立體視差點(diǎn)無(wú)法以自然方式匹配,這是一種常見(jiàn)的體驗(yàn)。
對(duì)于蘋(píng)果在2017年的發(fā)明,其主要是將單視場(chǎng)和立體視場(chǎng)的180度或360度靜態(tài)圖像或視頻從主機(jī)編輯軟件或視覺(jué)特效軟件傳輸至相同設(shè)備上同時(shí)運(yùn)行的軟件上,以等量矩形投影或其他球形投影的方式進(jìn)行。相同的設(shè)備可以持續(xù)獲取有線或無(wú)線頭顯的方向傳感器的方向和位置數(shù)據(jù),同時(shí)向頭顯實(shí)時(shí)渲染這一方向的單視場(chǎng)或立體視場(chǎng)視圖。
圖5是2017年的專(zhuān)利,說(shuō)明了3D顯示設(shè)備呈現(xiàn)一張預(yù)覽圖像。我們看到了視頻或圖像編輯或圖形處理軟件程序#501的用戶界面,等量矩形投影的球形圖像顯示在畫(huà)布#502之上,以及合成或編輯時(shí)間線#503
對(duì)于今年的蘋(píng)果專(zhuān)利,他們指出一些現(xiàn)代成像應(yīng)用程序可以從多個(gè)方向捕捉圖像數(shù)據(jù)。一些相機(jī)在捕捉圖像時(shí)會(huì)沿著樞軸旋轉(zhuǎn),這允許相機(jī)通過(guò)掃視捕捉更多的圖像數(shù)據(jù),從而擴(kuò)大有效視場(chǎng)。其他相機(jī)則包含多個(gè)成像系統(tǒng),能夠在多個(gè)不同的視場(chǎng)中捕捉圖像數(shù)據(jù)。在任意一種情況下,相機(jī)系統(tǒng)都可以創(chuàng)建一種聚合圖像,代表從多個(gè)視點(diǎn)捕捉的融合或“拼合”圖像數(shù)據(jù)。
文件指出,視頻可以從多個(gè)視點(diǎn)捕捉主題或場(chǎng)景,例如令多臺(tái)相機(jī)指向同一地點(diǎn),或根據(jù)最近的行業(yè)發(fā)展,使用能夠錄制場(chǎng)景所有方向的球形相機(jī)。對(duì)于手持式視頻,或?qū)τ谀芨淖兿鄼C(jī)位置和視點(diǎn)的圖片而言,圖像可以提供許多可以合并至場(chǎng)景的額外數(shù)據(jù)。
蘋(píng)果寫(xiě)道:“許多現(xiàn)代編碼應(yīng)用程序并不是為處理這種全向或多方向圖像內(nèi)容而設(shè)計(jì)?!边@表明應(yīng)用程序是假設(shè)圖像數(shù)據(jù)屬于“平面”或從單個(gè)視圖捕捉,意味著如此應(yīng)用程序沒(méi)有考慮處理可能出現(xiàn)的畸變,因此無(wú)法識(shí)別圖像內(nèi)容中的冗余,反過(guò)來(lái)又導(dǎo)致效率低下。
因此,蘋(píng)果專(zhuān)利的發(fā)明人意識(shí)到行業(yè)需要一種能夠處理全向和多向圖像內(nèi)容,同時(shí)能限制畸變的編碼技術(shù)。簡(jiǎn)而言之,編碼器將視頻分成像素塊,而對(duì)于每個(gè)像素塊,編碼器可能將其與參考圖片中關(guān)于場(chǎng)景的其他數(shù)據(jù)進(jìn)行比較。利用對(duì)搜索塊和參考數(shù)據(jù)的預(yù)測(cè)搜索,編碼器可以對(duì)像素塊執(zhí)行不同的操作,使其看起來(lái)更適合于用戶。
圖1中的系統(tǒng)#100包含至少兩個(gè)通過(guò)網(wǎng)絡(luò)#130互聯(lián)的終端。第一個(gè)終端#110擁有一個(gè)生成多向和全向視頻的圖像源。這個(gè)終端同時(shí)包含編碼系統(tǒng)和傳輸系統(tǒng),用于向第二個(gè)終端#120傳輸編碼的多項(xiàng)視頻。
例如,第二個(gè)終端在本地顯示器上顯示球形視頻,它可以執(zhí)行視頻編輯程序以修改球形視頻,或者將球形視頻集成到一款應(yīng)用程序中(如一款VR程序),然后在頭顯中進(jìn)行顯示,或者存儲(chǔ)球形視頻供以后使用。
公開(kāi)的實(shí)施例可以應(yīng)用于筆記本電腦,平板電腦,智能手機(jī),服務(wù)器,媒體播放器,VR頭顯,AR顯示器,全息顯示器,以及專(zhuān)用的視頻會(huì)議設(shè)備。
圖2則與編碼系統(tǒng)有關(guān)。系統(tǒng)200包含一個(gè)圖像源,一個(gè)圖像處理系統(tǒng),一個(gè)視頻編碼器,一個(gè)視頻解碼器,一個(gè)參考圖片存儲(chǔ)器,一個(gè)預(yù)測(cè)器,以及一對(duì)球形變換單元(#270和#280)。
圖像源可以生成作為多向圖像的圖像數(shù)據(jù),包含在多個(gè)方向上圍繞參考點(diǎn)延伸的視場(chǎng)的圖像數(shù)據(jù)。圖像處理系統(tǒng)可以根據(jù)需要轉(zhuǎn)換來(lái)自圖像源的圖像數(shù)據(jù),從而適配視頻編碼器#230的要求。
視頻編碼器可以生成輸入圖像數(shù)據(jù)的編碼表示,這一般是通過(guò)利用圖像數(shù)據(jù)中的空間沉余和臨時(shí)沉余。視頻編碼器可以輸出輸入數(shù)據(jù)的編碼表示(在發(fā)送或存儲(chǔ)時(shí)消耗比輸入數(shù)據(jù)更少的帶寬)。
如果你進(jìn)一步深入專(zhuān)利文件,你將發(fā)現(xiàn)蘋(píng)果詳細(xì)地描述了這個(gè)“編碼系統(tǒng)”,從專(zhuān)利點(diǎn)#0022一直到專(zhuān)利點(diǎn)#0026。
圖3說(shuō)明了可用于專(zhuān)利實(shí)施例的3個(gè)圖像源。圖像源#310和#340都可用于專(zhuān)利披露的實(shí)施例。
第一個(gè)圖像源是相機(jī)#310,如圖3a所示。其包含單個(gè)圖像傳感器,能夠沿樞軸旋轉(zhuǎn)。在操作期間,相機(jī)可以沿著預(yù)設(shè)轉(zhuǎn)動(dòng)范圍(最佳是全360度)捕捉圖像內(nèi)容,并且將捕捉的圖像整合成一張360度圖像。
捕捉操作可以生成等量矩形圖像#320,預(yù)定尺寸是M×N像素??蛇x地,等量矩形圖像可以轉(zhuǎn)換成球形投影。
圖3b說(shuō)明了另一種圖像源(全向相機(jī)#340)的圖像捕捉操作。在這個(gè)實(shí)施例中,相機(jī)系統(tǒng)可以執(zhí)行多向捕捉操作,并輸出立方體貼圖圖片#360,尺寸是M×N像素,其中圖像內(nèi)容根據(jù)立方體貼圖捕捉#350進(jìn)行排列。
圖3c說(shuō)明了另一種圖像源(魚(yú)眼相機(jī)#370)的圖像捕捉操作。在這個(gè)實(shí)施例中,每個(gè)透鏡系統(tǒng)在不同的180度視場(chǎng)中捕捉數(shù)據(jù),表示相對(duì)的“半殼”。
相機(jī)可以從每個(gè)透鏡系統(tǒng)中圖像拼合中生成圖像#380,根據(jù)每個(gè)半殼視場(chǎng)的對(duì)象位置,魚(yú)眼透鏡通常會(huì)引起畸變。
需要注意的是,蘋(píng)果每周都提交大量的專(zhuān)利申請(qǐng),但很少能真正成為產(chǎn)品或服務(wù)。專(zhuān)利申請(qǐng)無(wú)法確保一個(gè)概念能出現(xiàn)在未來(lái)的消費(fèi)者設(shè)備中。
專(zhuān)利文件中的概念可能存在一定的前景應(yīng)用。首先,這可以允許用戶通過(guò)360度相機(jī)錄制視頻,合理地拼合視頻,從選定區(qū)域創(chuàng)建剪輯,進(jìn)行轉(zhuǎn)換,使其看似最初就是通過(guò)“平面”相機(jī)錄制。
第二種前景應(yīng)用是VR,可用于創(chuàng)建球形視頻,以及提供頭顯用戶的平面視圖。使用360度相機(jī)制作的視頻可能是未來(lái)VR用戶的主要內(nèi)容來(lái)源,但能夠修正畸變,偽影的能力將能提高內(nèi)容的觀影質(zhì)量。
文章來(lái)源:映維網(wǎng) 如轉(zhuǎn)載請(qǐng)標(biāo)明出處
原文鏈接 : https://yivian.com/news/49408.html
未經(jīng)授權(quán),禁止轉(zhuǎn)載,違者必將追究法律責(zé)任。