圖片來源：pixabay

靜物畫家知道，為了讓畫中的物體看起來更加寫實，必須考慮光在物體表面的反射。反射圖像的顏色、位置和亮度，受物體周圍環(huán)境的影響，而這意味著其能反過來反映物體周圍環(huán)境的關(guān)鍵信息?？茖W家發(fā)現(xiàn)，通過拍攝反光物體的簡短視頻片段，就可以利用其表面反射的光來復現(xiàn)其周圍環(huán)境的大致畫面。無論是碗、易拉罐還是一個皺巴巴的薯片包裝袋，其結(jié)果都十分準確。

用來復現(xiàn)環(huán)境的數(shù)學模型也能夠近似估計如果將一個已知的物體放置在新環(huán)境中或者從一個新的角度來看時，光會在其表面如何反射，以及最終物體會呈現(xiàn)什么外觀。這兩種不同的應用是互相關(guān)聯(lián)的，“我們研究的挑戰(zhàn)在于這兩者是相互交纏的，你需要解決光問題，以得到精確的外觀；你也需要有精確的外觀模型，以獲得正確的光。解決該挑戰(zhàn)的方法可能是將這兩者統(tǒng)籌考慮——正如我們所做的那樣。”Jeong Joon Park說道，他是華盛頓大學圖形與成像實驗室(GRAIL)的博士生。

今年早些時候，Park的研究團隊在arXiv.org網(wǎng)站上發(fā)布了他們研究的預印本，該論文也被邀請在下一年的IEEE計算機視覺和模式識別會議（IEEE Conference on Computer Vision and Pattern Recognition）以報告展示，此會議將于6月份遠程舉行。

Park說這項新技術(shù)可以幫助設(shè)計師建造更真實的增強和虛擬現(xiàn)實場景。例如，在Zoom視頻通話中，許多用戶使用的虛擬背景的光線與用戶實際的光照條件是不匹配的。環(huán)境復現(xiàn)技術(shù)可以修正這些背景，使用戶真實的面部與虛擬的環(huán)境更加匹配。

兩張圖片顯示的是同一個房間：一張是根據(jù)房間內(nèi)一個薯片包裝袋的視頻片段復現(xiàn)的(上)，另一張是直接拍攝的(下)。圖片來源：Jeong Joon Park

又例如，一款增強現(xiàn)實的應用程序可能很難準確描繪出一件家具在用戶的客廳里會是什么樣子，此程序可能會讓它看起來更像一個卡通插畫，而不是一件實體物。Park說他團隊的模型能夠讓物體看起來就像真的在這個房間一樣，“你必須評估周圍的環(huán)境來合理照亮虛擬物體，光線越精確，虛擬物體看起來就會越真實?！?/p>

這項技術(shù)也可應用于虛擬現(xiàn)實。在虛擬現(xiàn)實場景中，用戶可能會戴著頭盔在虛擬場景中走來走去，或者“拿起”一個數(shù)碼產(chǎn)品在手中擺弄。當他們這樣做時，因為周圍光線條件的改變，所見物的樣子也會隨之發(fā)生改變——正如在現(xiàn)實世界中那樣。Park說他團隊的系統(tǒng)可以計算光線的特征來“給你一種任何視角都非常真實的體驗感。”

這個過程叫做視圖重構(gòu)（view reconstruction），或新視圖合成（novel view synthesis）。魁北克拉瓦爾大學電子和計算機工程的副教授Jean-Fran?ois Lalonde（他并沒有參與Park團隊的最新技術(shù)研究。）說：“Park的團隊正試圖用一種新方法來合成或生成一個全新視角的物體圖像，即你從不同的角度觀察一個特定的物體，然后想知道從一個全新的角度來看時物體的樣子。以前的研究用兩種不同的技術(shù)來解決這個問題。最早是利用物體的幾何形狀和物理定律來計算光線和顏色如何隨著視角的變化而變化。然后，在大約兩三年前，我們采用另一套方法提出一種不同的建模方式，使用深度學習算法來記憶一個物體的樣子，并預測它的外觀在不同的視角下會發(fā)生什么變化?！?/p>

這項新的技術(shù)將之前的兩種技術(shù)結(jié)合起來，能讓科學家“同時利用物理推理和深度學習帶來的統(tǒng)計推理的力量。他們在深度學習過程中加入了更多的物理推理過程，所以能夠獲得更高質(zhì)量的結(jié)果?！?Lalonde說道。

Park和他的同事用視圖合成的方法來復現(xiàn)周圍環(huán)境，以測試這種新技術(shù)。他們用攝像機拍攝了各種物品：前面提到的薯片袋、易拉罐、陶瓷碗，甚至還有一尊貓雕像，然后利用其反射光，結(jié)合模型復現(xiàn)周圍的環(huán)境。測試結(jié)果和實際環(huán)境十分吻合，且鏡面狀的物體產(chǎn)生的結(jié)果更為精確?！捌鸪?，我們十分驚奇，因為一些復現(xiàn)的環(huán)境的細節(jié)甚至是我們通過肉眼無法識別的?！盤ark說道。

另外，他也承認該技術(shù)有一個顯著的缺點：一張普通的照片可能會轉(zhuǎn)化為侵犯隱私的工具。如果科學家能夠根據(jù)反射精確地復現(xiàn)周圍的環(huán)境，那么任何含有反光物體的照片都可能在不經(jīng)意間揭露更多的信息。Park建議，隨著技術(shù)的不斷改進，開發(fā)者應該謹記這個問題，并積極防范隱私泄露。

然而，他也強調(diào)目前復現(xiàn)的圖像還不是很清楚，“我希望未來的研究能夠基于現(xiàn)有的工作基礎(chǔ)來提高復現(xiàn)環(huán)境和場景的質(zhì)量。我的長期目標是復現(xiàn)現(xiàn)實世界，不僅包括良好的視覺效果，還包括能夠與虛擬環(huán)境進行互動?！?/p>

作者：Sophie Bushwick

翻譯：謝宛岑

審校：馬一瑗

引進來源：

引進鏈接https://www.scientificamerican.com/article/a-shiny-snack-bags-reflections-can-reconstruct-the-room-around-it/


關(guān)注【深圳科普】微信公眾號，在對話框：
回復【最新活動】，了解近期科普活動
回復【科普行】，了解最新深圳科普行活動
回復【研學營】，了解最新科普研學營
回復【科普課堂】，了解最新科普課堂
回復【科普書籍】，了解最新科普書籍
回復【團體定制】，了解最新團體定制活動
回復【科普基地】，了解深圳科普基地詳情
回復【觀鳥知識】，學習觀鳥相關(guān)科普知識
回復【博物學院】，了解更多博物學院活動詳情
?