對(duì)話(huà)階躍星辰姜大昕：模型突破先于商業(yè)化，下一步關(guān)鍵是視覺(jué)領(lǐng)域Transformer級(jí)架構(gòu)

藍(lán)鯨新聞5月9日訊（記者武靜靜）大模型行業(yè)正經(jīng)歷前所未有地加速演進(jìn)，昨日的技術(shù)高地，轉(zhuǎn)瞬可能成為明日的過(guò)時(shí)概念。GPT-4 的生命周期之短，映照出技術(shù)的瞬息萬(wàn)變，這款曾經(jīng)的標(biāo)桿產(chǎn)品生命周期僅存 467 天，恰似大模型賽道的殘酷縮影，技術(shù)迭代速度和戰(zhàn)略窗口期被空前壓縮。

從全員預(yù)訓(xùn)練，到All in推理，從閉源到開(kāi)源，在短短的一年之內(nèi)，大模型焦點(diǎn)快速切換。當(dāng)下的2025，關(guān)鍵詞是推理和開(kāi)源。下一個(gè)是什么，誰(shuí)也難以預(yù)測(cè)。

在這空前變化中，身處其中的大模型公司的感知和思考是什么。5月8日階躍星辰在北京舉行媒體溝通會(huì)，階躍星辰創(chuàng)始人、CEO姜大昕接受了藍(lán)鯨新聞等多家媒體采訪(fǎng)，聊起了他們對(duì)大模型時(shí)代，如何在變化中保持定力的思考，以及對(duì)下一步技術(shù)發(fā)展的判斷。

在多模態(tài)領(lǐng)域出現(xiàn)任何短板，都會(huì)延緩實(shí)現(xiàn) AGI 的進(jìn)程

從2023年4月成立到現(xiàn)在，這家成立僅僅兩年的大模型公司，已經(jīng)累計(jì)發(fā)布了22款自研基座模型，覆蓋文字、語(yǔ)音、圖像、視頻、音樂(lè)、推理等全系列，在階躍星辰 Step 系列基座模型矩陣中，多模態(tài)模型的占比已經(jīng)達(dá) 7 成，所以在業(yè)內(nèi)被稱(chēng)為“多模態(tài)卷王”。

為什么會(huì)押注多模態(tài)？姜大昕的回答是：“多模態(tài)是實(shí)現(xiàn) AGI 的必經(jīng)之路。在多模態(tài)領(lǐng)域出現(xiàn)任何短板，都會(huì)延緩實(shí)現(xiàn) AGI 的進(jìn)程。”

他提到，AGI 對(duì)標(biāo)的是人類(lèi)智能：人類(lèi)的智能本身是多元化的，除了語(yǔ)言的符號(hào)智能，還包括視覺(jué)智能、空間智能和運(yùn)動(dòng)智能等等。這些智能的習(xí)得需要通過(guò)視覺(jué)和其他模態(tài)來(lái)進(jìn)行學(xué)習(xí)。因此，要實(shí)現(xiàn)對(duì)標(biāo)人類(lèi)的 AGI，模型也必須具備處理多種模態(tài)信息的能力。

此外，在應(yīng)用層面來(lái)看，無(wú)論是垂直領(lǐng)域的應(yīng)用還是 C 端應(yīng)用，多模態(tài)都是必不可少。因?yàn)橄胱?AI 更好地理解用戶(hù)所處的環(huán)境并進(jìn)行更自然的交流，它需要具備“能聽(tīng)、能看、能說(shuō)”的能力。“多模態(tài)可以讓智能體充分地理解和感知這個(gè)世界。”姜大昕說(shuō)。

在創(chuàng)立之初，階躍星辰就規(guī)劃了通往 AGI 的路線(xiàn)圖，包括三個(gè)階段：模擬世界—探索世界—?dú)w納世界。在姜大昕看來(lái)，當(dāng)下，整個(gè)行業(yè)的技術(shù)發(fā)展仍然處于非常陡峭的區(qū)間。

所以，當(dāng)下，公司依舊會(huì)堅(jiān)持基礎(chǔ)大模型的研發(fā)，追求智能的上限：“行業(yè)變化太快，前兩年很厲害的 GPT-4都快下架了，階躍不想在這個(gè)過(guò)程中放棄主流增長(zhǎng)或前進(jìn)的趨勢(shì)，因此會(huì)堅(jiān)持做基礎(chǔ)模型的研發(fā)。追求 AGI是我們的初心。”

視覺(jué)理解生成一體化是關(guān)鍵問(wèn)題

實(shí)現(xiàn)AGI，下一步大模型的主要發(fā)展趨勢(shì)是什么？

姜大昕認(rèn)為，未來(lái)的模型發(fā)展將沿著增強(qiáng)推理能力和實(shí)現(xiàn)多模理解生成一體化這兩個(gè)主要方向前進(jìn)。

首先，是在預(yù)訓(xùn)練的基礎(chǔ)模型上加入強(qiáng)化學(xué)習(xí)，激發(fā)推理的長(zhǎng)思維鏈能力。這種強(qiáng)大的推理能力與多模態(tài)能力的結(jié)合，被認(rèn)為是 Agent 爆發(fā)的兩個(gè)必要條件之一。

此外，除了語(yǔ)言模型推理之外，另一個(gè)能力是如何把推理引入到多模態(tài)領(lǐng)域。因?yàn)閱渭兊囊曈X(jué)理解是有限的，引入推理后，模型能夠結(jié)合其感知能力和內(nèi)部知識(shí)，更深入地理解復(fù)雜的場(chǎng)景和情況。

第二個(gè)核心趨勢(shì)就是，視覺(jué)領(lǐng)域的理解生成一體化。這也是當(dāng)下多模態(tài)領(lǐng)域的核心問(wèn)題。“理解生成一體化是計(jì)算機(jī)視覺(jué)需要突破的一個(gè)堡壘，這對(duì)于預(yù)測(cè)下一幀、利用海量視頻進(jìn)行預(yù)訓(xùn)練、構(gòu)建世界模型、實(shí)現(xiàn)具身智能和機(jī)器人泛化至關(guān)重要。”

姜大昕進(jìn)一步解釋?zhuān)骸袄斫馍梢惑w化的核心定義是理解和生成由同一個(gè)模型來(lái)完成，這在文本領(lǐng)域（如 ChatGPT）已經(jīng)實(shí)現(xiàn)，但在視覺(jué)領(lǐng)域，目前的模型在多模態(tài)領(lǐng)域理解和生成往往由不同的模型完成，理解生成一體化是核心問(wèn)題。”

“生成需要理解來(lái)控制。理解需要生成來(lái)監(jiān)督”，姜大昕強(qiáng)調(diào)，生成的內(nèi)容需要理解來(lái)控制，以確保生成內(nèi)容有意義和有價(jià)值，理解需要生成來(lái)監(jiān)督，只有能夠生成，才能知道是否真正理解。如果能夠攻克這一難題，便能利用海量的視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并有望將計(jì)算機(jī)視覺(jué)的各項(xiàng)任務(wù)統(tǒng)一到一個(gè)模型之中。

盡管意義重大，視覺(jué)領(lǐng)域的理解生成一體化依然面臨著模態(tài)復(fù)雜度高的嚴(yán)峻挑戰(zhàn)，由于高維連續(xù)空間難以高效表達(dá)，目前尚未找到類(lèi)似 Transformer 在文本領(lǐng)域那樣具有突破性的、可擴(kuò)展的架構(gòu)。近期出現(xiàn)的模型，例如 GPT-4o 的圖像編輯能力以及階躍星辰的 Step 1X-Edit，被認(rèn)為是理解生成一體化的初步嘗試，它們需要在理解圖像和指令的基礎(chǔ)上進(jìn)行內(nèi)容生成，并保持對(duì)原始圖像的忠實(shí)度。

據(jù)姜大昕透露，階躍星辰正在內(nèi)部探索多條技術(shù)路線(xiàn)，以期找到可擴(kuò)展的理解生成一體化架構(gòu)，實(shí)現(xiàn)視覺(jué)模態(tài)的“Transformer 時(shí)刻”。“在技術(shù)路線(xiàn)未收斂之前，并行探索多種可能的解決方案是必要的。”

“突破可能在瞬間發(fā)生，但難以預(yù)測(cè)何時(shí)到來(lái)。”姜大昕說(shuō)。

雙輪驅(qū)動(dòng)：超級(jí)模型+超級(jí)應(yīng)用

除了技術(shù)和方向，落地與應(yīng)用是另一關(guān)鍵議題。

階躍星辰早在今年2月的首屆生態(tài)開(kāi)放日上便明確，下一步將戰(zhàn)略聚焦智能終端 Agent 方向，并重點(diǎn)布局汽車(chē)、手機(jī)、具身智能、IoT 等核心應(yīng)用場(chǎng)景。

姜大昕提到，Agent 爆發(fā)需要兩個(gè)必要的條件，一個(gè)是多模態(tài)的能力，另外一個(gè)是慢思考的能力，這兩個(gè)能力恰好在 2024 年的時(shí)候取得了突破性的進(jìn)展。

選擇智能終端方向，是因其作為用戶(hù)感知與體驗(yàn)的延伸，能夠采集環(huán)境信息，助力 Agent 理解用戶(hù)所處環(huán)境及任務(wù)上下文。此外，終端亦能執(zhí)行任務(wù)，未來(lái)的 Agent 有望通過(guò)自然對(duì)話(huà)簡(jiǎn)化復(fù)雜設(shè)備操作。目前，階躍星辰正積極與手機(jī)、汽車(chē)、機(jī)器人等終端領(lǐng)域的頭部企業(yè)合作，探索 Agent 的實(shí)際落地。

對(duì)于 AI 應(yīng)用的未來(lái)走向，姜大昕向藍(lán)鯨新聞指出，僅做應(yīng)用的公司可能面臨通用模型能力提升后被降維打擊的風(fēng)險(xiǎn)。在關(guān)鍵的商業(yè)化方向上， 階躍星辰采取的是“超級(jí)模型加上超級(jí)應(yīng)用”的雙輪驅(qū)動(dòng)策略。

姜大昕認(rèn)為，模型突破先于商業(yè)化，“通常是模型能力的突破先發(fā)生，然后才帶來(lái)商業(yè)化的成熟應(yīng)用。例如，GPT-3.5 的出現(xiàn)催生了 ChatGPT，多模融合和推理模型的進(jìn)步帶來(lái)了 Agent，而多模理解生成一體化（尤其是可擴(kuò)展的一體化）的實(shí)現(xiàn)，可能會(huì)進(jìn)一步解鎖人形機(jī)器人泛化和構(gòu)建世界模型等更大的應(yīng)用和價(jià)值。”

階躍專(zhuān)注于基礎(chǔ)模型能力，但也重視應(yīng)用，因?yàn)橥ㄓ媚Ｐ偷哪芰π枰ㄟ^(guò)應(yīng)用來(lái)牽引。例如，玩具場(chǎng)景中孩子說(shuō)話(huà)停頓的問(wèn)題在通用模型中不會(huì)出現(xiàn)，但解決這種問(wèn)題可以促進(jìn)模型能力的提升。

“雙輪驅(qū)動(dòng)策略使得階躍星辰能夠在堅(jiān)持基礎(chǔ)模型研發(fā)，追求AGI的同時(shí)，通過(guò)與行業(yè)伙伴合作，在實(shí)際應(yīng)用場(chǎng)景中探索和落地Agent能力，形成從模型到Agent，從云側(cè)到端側(cè)的生態(tài)體系，實(shí)現(xiàn)軟硬件結(jié)合以更好地理解用戶(hù)需求和完成任務(wù)。”

姜大昕展望未來(lái)：“所有終端都可能 Agent 化，將原本冰冷的設(shè)備轉(zhuǎn)變?yōu)橛脩?hù)的智能伙伴。”