CMMLU中文向排名第一！快手自研AI也來了

來源：快科技編輯：非小米時間：2023-08-21 11:36人閱讀

#快手

近一段時間，國內(nèi)生成式人工智能模型的推出可謂是你方唱罷我登臺，好不熱鬧。

快科技8月21日消息，近日，快手的自研大模型“快意”（KuaiYii）已經(jīng)出現(xiàn)在了AI綜合中文評估基準CMMLU的榜單中。

截至本文成稿，該模型的13B版本KwaiYii-13B同時位列five-shot和zero-shot項目下的中文向第一名，在人文學(xué)科、中國特定主題等方面較強，平均分超61分。

而根據(jù)快意在GitHub頁面給出的信息，該模型是快手AI團隊獨立自言的大規(guī)模語言模型。

目前，快意覆蓋了預(yù)訓(xùn)練模型（KwaiYii-Base）、對話模型（KwaiYii-Chat），主要特點包括：

1、KwaiYii-13B-Base預(yù)訓(xùn)練模型具備優(yōu)異的通用技術(shù)底座能力，在絕大部分權(quán)威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。

例如，KwaiYii-13B-Base預(yù)訓(xùn)練模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前處于同等模型規(guī)模的領(lǐng)先水平。

2、KwaiYii-13B-Chat對話模型具備出色的語言理解和生成能力，支持內(nèi)容創(chuàng)作、信息咨詢、數(shù)學(xué)邏輯、代碼編寫、多輪對話等廣泛任務(wù)，人工評估結(jié)果表明KwaiYii-13B-Chat超過主流的開源模型，并在內(nèi)容創(chuàng)作、信息咨詢和數(shù)學(xué)解題上接近ChatGPT（3.5）同等水平。