我們都曾在谷歌地圖上打開街景功能，向朋友展示兒時故居的樣子，或者把那個小人圖標拖到巴黎街頭，看看自己預訂的酒店周邊是否有趣?，F(xiàn)在，谷歌正在將這種體驗推向一個全新的維度——更沉浸、更具交互性的街道模擬，甚至可以調(diào)整天氣狀況，或者預覽極端氣候災難下的街景。

這正是谷歌最新整合項目的目標之一。即日起，谷歌DeepMind宣布將街景數(shù)據(jù)接入Project Genie——這是谷歌旗下一款通用世界模型，能夠生成多樣化的交互式環(huán)境。該功能已在谷歌I/O開發(fā)者大會上正式亮相。

DeepMind開放性研究團隊研究科學家杰克·帕克-霍爾德在接受采訪時表示："無論是對于智能體和機器人的應用場景，還是供人類自行探索，這項技術(shù)都非常強大，這也一直是Genie項目的核心理念。"

他舉了一個例子：假設一臺新機器人被部署在倫敦——那里鮮少有陽光。Genie可以模擬陽光偶爾折射在維多利亞式建筑上的罕見場景，讓機器人在真實遭遇時不至于"措手不及"。

他進一步描述了面向普通用戶的應用場景："你可能會說，'我要去紐約，但不是現(xiàn)在這個季節(jié)，到時候會下雪，我想提前看看那條街在雪中是什么樣的。'"

谷歌通過配備攝像頭的街景車以及背負"追蹤背包"的拍攝人員，已持續(xù)收集街景數(shù)據(jù)長達20年，累計采集逾2800億張圖像，覆蓋全球110個國家和七大洲。

帕克-霍爾德表示："街景為我們提供了世界上大量地點的圖像數(shù)據(jù)。將這些豐富的真實世界信息與模擬世界的能力相結(jié)合，其潛力不可估量。"

谷歌于去年8月發(fā)布了最新世界模型Genie 3的研究預覽版，并于今年1月向美國的谷歌AI Ultra訂閱用戶開放了訪問權(quán)限，允許用戶通過文字提示或圖像創(chuàng)建可交互的游戲世界。該項目的長期目標是將Genie應用于教育體驗、游戲開發(fā)以及機器人訓練領(lǐng)域。

Genie 3目前已在為Waymo旗下的一款模擬器提供支持，幫助其自動駕駛汽車在"龍卷風"或"偶遇大象"等極端罕見場景下進行訓練。而接入街景數(shù)據(jù)后，這一能力有望協(xié)助Waymo更快地拓展至全球更多城市。

Waymo擁有自己的模擬器，依靠它將業(yè)務擴展至美國11座城市，并在更多城市測試其AI駕駛系統(tǒng)。帕克-霍爾德指出，兩者的區(qū)別在于：Waymo的模擬視角始終鎖定在車輛視角，而街景則不僅能夠基于真實地點構(gòu)建模擬世界，還能將視角切換至其他類型的智能體，例如行人或機器人。

谷歌今日起已向部分美國Ultra用戶開放街景與Genie的集成功能，并將在未來逐步擴大訪問規(guī)模。據(jù)悉，全球Ultra用戶將在未來幾周內(nèi)陸續(xù)獲得訪問權(quán)限。

DeepMind產(chǎn)品經(jīng)理迭戈·里瓦斯表示，研究團隊的目標是讓盡可能多的用戶能夠使用這項新功能。他同時提醒，街景集成乃至Genie整體仍處于實驗階段，在準確性方面還有很大的提升空間。

在谷歌團隊展示的演示樣本中——包括對筆者曾經(jīng)居住的街區(qū)進行的水下模擬——結(jié)果令人印象深刻，場景還原度較高，但整體效果仍更接近電子游戲畫質(zhì)，尚未達到照片級真實感。此外，這些模型目前也不具備物理感知能力，即尚未理解因果關(guān)系。例如，在一段模擬一名女性在約書亞樹國家公園雪中奔跑的場景中，她直接穿過了仙人掌和灌木叢。

相比之下，谷歌圖像生成器Nano Banana已能在信息圖表中生成完美文字，視頻生成器Veo則能理解紙船隨水流漂動、煙霧散入空氣以及布料覆蓋物體等物理規(guī)律。

物理規(guī)律并非被硬性編碼進這些模型；它們是通過長期被動觀察逐漸習得的，就如同生命體學習認知世界一樣。

帕克-霍爾德表示："就這類模型而言，我認為它在準確性和質(zhì)量方面大概落后于視頻生成模型六到十二個月，但我認為這是我們終將攻克的問題。"

谷歌地圖總監(jiān)喬納森·赫伯特曾在12年前以實習生身份加入街景團隊。他表示，Genie目前還無法對一條街道進行完全精準的重建，但他認為真正的技術(shù)突破在于AI的空間連續(xù)性。當用戶環(huán)顧360度后，AI能夠正確記憶并模擬身后的環(huán)境，并在此基礎上繼續(xù)構(gòu)建新的場景。

"我們長期以來一直在思考，如何在街景數(shù)據(jù)的基礎上構(gòu)建出對世界最豐富、最精準的模型，"赫伯特說，"將地圖數(shù)據(jù)以全新方式應用于新型AI研究，一直是我們長久以來的設想。"

Q&A

Q1：谷歌Genie世界模型是什么，有哪些功能？

A：Genie是谷歌DeepMind開發(fā)的通用世界模型，能夠生成多樣化的交互式環(huán)境。用戶可以通過文字提示或圖片創(chuàng)建可交互的游戲世界。目前，Genie 3已向美國谷歌AI Ultra訂閱用戶開放，應用方向涵蓋教育體驗、游戲開發(fā)和機器人訓練，并已接入街景數(shù)據(jù)，支持模擬真實街道場景及天氣變化等效果。

Q2：街景數(shù)據(jù)接入Genie后，對Waymo自動駕駛訓練有什么幫助？

A：Genie 3目前已在為Waymo的模擬器提供支持，幫助自動駕駛汽車應對龍卷風、偶遇大象等極端罕見場景的訓練。與Waymo原有模擬器相比，接入街景后不僅能基于真實地點構(gòu)建模擬世界，還能將視角從車輛切換至行人或機器人等不同智能體視角，有助于Waymo加速拓展全球更多城市的運營布局。

Q3：Genie的街景模擬目前有哪些局限性？

A：目前Genie的街景模擬整體效果接近電子游戲畫質(zhì)，尚未達到照片級真實感。模型也不具備物理感知能力，無法理解因果關(guān)系，例如人物可能直接穿過仙人掌等障礙物。此外，街道的完整精準重建也尚未實現(xiàn)。研究人員估計，該模型在質(zhì)量和準確性上大約落后于視頻生成模型六至十二個月。