【財新網】Llama系列開源大模型再升級,但具體表現受質疑。自發(fā)布Llama3系列開源模型后,Facebook的母公司Meta在當地時間4月5日發(fā)布第一批Llama 4系列模型,包括大中小三個模型,首次使用了DeepSeek也在使用的混合專家架構(MoE)。
本次發(fā)布的模型為Scout(偵察兵)、Maverick(獨行俠)和Behemoth(巨獸)。Llama 4 Scout擁有170億活躍參數和16個專家,為多模態(tài)模型,總參數為1090億。Meta稱其性能超過了所有前幾代的Llama模型,并且能夠在一塊NVIDIA H100 GPU上運行。此外,Llama 4 Scout提供了1000萬上下文窗口,Meta稱,在眾多廣泛報告的基準測試中,Llama 4 Scout表現優(yōu)于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。