【財新網(wǎng)】由科技部、北京市支持的民營非營利機構(gòu)智源研究院公布AI大模型最新進展。6月14日,智源研究院公布萬億參數(shù)的大語言模型進展,發(fā)布用于檢索增強(RAG)的向量模型、采用自回歸架構(gòu)的多模態(tài)大模型、具身智能大模型和生物計算大模型,以及支持8種芯片的智算操作系統(tǒng)。
具體來看,此次公布的萬億參數(shù)大模型“Tele-FLM“是和中國電信聯(lián)合研發(fā),中國電信主要提供算力和部分數(shù)據(jù)。智源研究院院長王仲遠稱,該項目是在112臺A800機器(即896塊A800 GPU)上訓(xùn)練4個月得出的,已開源發(fā)布的520億參數(shù)版本英文能力優(yōu)于Llama2-70B,接近Llama3-70B的水平,而中文能力優(yōu)于Llama3-70B和Qwen1.5-72B。