谷歌下一代大模型，無(wú)預(yù)警降臨。

Gemini 1.5，除了性能顯著增強(qiáng)，還在長(zhǎng)上下文理解方面取得突破，甚至能僅靠提示詞學(xué)會(huì)一門(mén)訓(xùn)練數(shù)據(jù)中沒(méi)有的新語(yǔ)言。

此時(shí)距離去年12月Gemini 1.0發(fā)布，還不到3個(gè)月。

現(xiàn)在僅僅中杯1.5 Pro版就能越級(jí)打平上一代大杯1.0 Ultra版，更是在27項(xiàng)測(cè)試中超越平級(jí)的1.0 Pro。

支持100萬(wàn)token上下文窗口，迄今為止大模型中最長(zhǎng)，直接甩開(kāi)對(duì)手一個(gè)量級(jí)。

這還只是對(duì)外發(fā)布的版本，谷歌更是透露了內(nèi)部研究版本已經(jīng)能直沖1000萬(wàn)。

現(xiàn)在Gemini能處理的內(nèi)容，可換算成超過(guò)70萬(wàn)單詞，或1小時(shí)視頻、11小時(shí)音頻、超過(guò)3萬(wàn)行代碼。

沒(méi)錯(cuò)，這些數(shù)據(jù)模態(tài)Gemini 1.5都已經(jīng)內(nèi)建支持。

從今天起，開(kāi)發(fā)者和客戶就可以在Vertex API或AI Studio申請(qǐng)?jiān)囉谩?/p>

剛剛收到消息還在震驚中的網(wǎng)友們 be like：

還有人直接@了OpenAI的奧特曼，這你們不跟進(jìn)一波？

上下文理解能力拉滿

目前谷歌已放出三個(gè)不同任務(wù)的演示視頻，只能說(shuō)Gemini 1.5是個(gè)抽象派（doge）。

在第一段演示視頻中，展示的是Gemini 1.5處理長(zhǎng)視頻的能力。

使用的視頻是巴斯特·基頓（Buster Keaton）的44分鐘電影，共696161 token。

演示中直接上傳了電影，并給了模型這樣的提示詞：

找到從人的口袋中取出一張紙的那一刻，并告訴我一些關(guān)于它的關(guān)鍵信息以及時(shí)間碼。

隨后，模型立刻處理，輸入框旁邊帶有一個(gè)“計(jì)時(shí)器”實(shí)時(shí)記錄所耗時(shí)間：

不到一分鐘，模型做出了回應(yīng)，指出12:01的時(shí)候有個(gè)人從兜里掏出了一張紙，內(nèi)容是高盛典當(dāng)經(jīng)紀(jì)公司的一張當(dāng)票，并且還給出了當(dāng)票上的時(shí)間、成本等詳細(xì)信息。

隨后經(jīng)查證，確認(rèn)模型給出的12:01這個(gè)時(shí)間點(diǎn)準(zhǔn)確無(wú)誤：

除了純文字prompt，還有更多玩法。直接給模型一張抽象“場(chǎng)景圖”，詢問(wèn)“發(fā)生這種情況時(shí)的時(shí)間碼是多少？”。

同樣不到一分鐘，模型準(zhǔn)確給出了的電影對(duì)應(yīng)的時(shí)間點(diǎn)15:34。

在第二段演示視頻中，谷歌展示了Gemini 1.5分析和理解復(fù)雜代碼庫(kù)的能力。用到的是Three.js，這是一個(gè)3D Javascript庫(kù)，包含約100000行代碼、示例、文檔等。

演示中他們將所有內(nèi)容放到了一個(gè)txt文件中，共816767 token，輸入給模型并要求它“找到三個(gè)示例來(lái)學(xué)習(xí)角色動(dòng)畫(huà)”。

結(jié)果模型查看了數(shù)百個(gè)示例后篩選出了三個(gè)關(guān)于混合骨骼動(dòng)畫(huà)、姿勢(shì)、面部動(dòng)畫(huà)的示例。

這只是開(kāi)胃小菜。接下來(lái)只用文字詢問(wèn)模型“動(dòng)畫(huà)Little Tokyo的demo是由什么控制？”

模型不僅找到了這個(gè)demo，并且解釋了動(dòng)畫(huà)嵌入在gLTF模型中。

并且還能實(shí)現(xiàn)“定制代碼”。讓模型“給一些代碼，添加一個(gè)滑塊來(lái)控制動(dòng)畫(huà)的速度。使用其它演示所具有的那種GUI”。

Gemini 1.5分分鐘給出了可以成功運(yùn)行的代碼，動(dòng)畫(huà)右上角出現(xiàn)了一個(gè)可控速的滑塊：

當(dāng)然也可以做“代碼定位”。僅靠一張demo的圖片，Gemini 1.5就能在代碼庫(kù)中從數(shù)百個(gè)demo中，找到該圖對(duì)應(yīng)動(dòng)畫(huà)的代碼：

還能修改代碼，讓地形變得平坦，并解釋其中的工作原理：

修改代碼這一塊，對(duì)文本幾何體的修改也不在話下：

第三個(gè)演示視頻展示的是Gemini 1.5的文檔處理能力。

選用的是阿波羅11號(hào)登月任務(wù)的402頁(yè)P(yáng)DF記錄，共326658 token。

要求Gemini 1.5“找到三個(gè)搞笑時(shí)刻，并列出文字記錄以及表情符號(hào)引述”：

30秒，模型給出了回應(yīng)，其一是邁克爾·柯林斯的這句話“我敢打賭你一定要喝一杯咖啡”，經(jīng)查詢文檔中的確有記錄：

更抽象一點(diǎn)，繪制一個(gè)靴子的圖片，詢問(wèn)模型“這是什么時(shí)刻”。

模型正確地將其識(shí)別為這是Neil在月球上的第一步：

最后同樣可以詢問(wèn)模型快速定位這一時(shí)刻在文檔中對(duì)應(yīng)的時(shí)間位置：

差不多的抽象風(fēng)同樣適用于1382頁(yè)、732000 token的《悲慘世界》，一張圖定位小說(shuō)位置。

僅從提示詞中學(xué)會(huì)一門(mén)新語(yǔ)言

對(duì)于Gemini 1.5的技術(shù)細(xì)節(jié)，谷歌遵循了OpenAI開(kāi)的好頭，只發(fā)布技術(shù)報(bào)告而非論文。

其中透露Gemini 1.5使用了MoE架構(gòu)，但沒(méi)有更多細(xì)節(jié)。

與上代1.0 Pro相比，1.5 Pro在數(shù)學(xué)、科學(xué)、推理、多語(yǔ)言、視頻理解上進(jìn)步最大，并達(dá)到1.0 Ultra層次。

為驗(yàn)證長(zhǎng)上下文窗口的性能，使用了開(kāi)源社區(qū)通行的大海撈針測(cè)試，也就是在長(zhǎng)文本中準(zhǔn)確找到可以藏起來(lái)的一處關(guān)鍵事實(shí)。

結(jié)果50萬(wàn)token之前的表現(xiàn)非常完美，一直到千萬(wàn)token，Gemini 1.5也只失誤了5次。

此外還將測(cè)試擴(kuò)展到多模態(tài)版本，如在視頻畫(huà)面的某一幀中藏一句話，給的例子是在阿爾法狗的紀(jì)錄片中藏了“The secret word is ‘needle’”字樣。

結(jié)果在視頻、音頻測(cè)試中都實(shí)現(xiàn)了100%的召回率。

特別是音頻中，對(duì)比GPT-4+Whisper的結(jié)果，差距非常明顯。

此外谷歌DeepMind團(tuán)隊(duì)還測(cè)試了一項(xiàng)高難任務(wù)，僅通過(guò)長(zhǎng)提示詞讓模型學(xué)會(huì)全新的技能。

輸入一整本語(yǔ)法書(shū)，Gemini 1.5 Pro就能在翻譯全球不到200人使用的Kalamang上達(dá)到人類水平。

相比之下，GPT-4 Turbo和Claude 2.1一次只能看完半本書(shū)，想獲得這個(gè)技能就必須要微調(diào)或者使用外部工具了。

也難怪有網(wǎng)友看過(guò)后驚呼，“哥們這是要把RAG玩死啊”。

One More Thing

谷歌還公布了一波已在業(yè)務(wù)中采用Gemini大模型的客戶。

其中有三星手機(jī)這樣的大廠，也有像Jasper這種靠GPT起家的創(chuàng)業(yè)公司，甚至OpenAI董事Adam D‘Angelo旗下的Quora。

與OpenAI形成了直接競(jìng)爭(zhēng)關(guān)系。

對(duì)此，一位網(wǎng)友道出了大家的心聲：

真希望這能促使OpenAI發(fā)布他們的下一代大模型。