【財新網(wǎng)】
零一萬物回應(yīng)“抄襲” 發(fā)布Yi-34B訓(xùn)練過程說明
11月15日,零一萬物對其大模型Yi-34B訓(xùn)練過程進行說明,稱訓(xùn)練模型過程中沿用了GPT/LLaMA的基本架構(gòu),且基本上國際主流大模型都是基于Transformer的架構(gòu),大模型持續(xù)發(fā)展與尋求突破口的核心點不僅在于架構(gòu),而是在于訓(xùn)練得到的參數(shù)。近日,Hugging Face開發(fā)者質(zhì)疑李開復(fù)旗下 AI企業(yè)零一萬物開源大模型抄襲了Meta的LLaMA架構(gòu),只對兩個張量名稱進行修改。零一萬物開源團隊總監(jiān)Richard Lin稱,在大量訓(xùn)練實驗過程中,由于實驗執(zhí)行需求對代碼做了更名,將尊重開源社區(qū)的反饋,將代碼進行更新,也更好的融入Transformer生態(tài)。