时间: 2024-01-16 02:07 浏览量:507
1月15日讯,北京深度求索公司推出首个国产开源MoE大模型DeepSeek MoE,性能媲美Llama 2-7B,计算量降低60%。DeepSeek MoE目前推出的版本参数量为160亿,实际激活参数量大约是28亿。此外,深度求索团队还透露,DeepSeek MoE模型还有145 B版本正在研发。阶段性的初步试验显示,145 B的DeepSeek MoE对GShard 137 B具有极大的领先优势,同时能够以28.5%的计算量达到与密集版DeepSeek 67 B模型相当的性能。(量子位)
上一篇 教育部公示中小学人工智能教育基地名单,北京宏志中学等184个入选
下一篇 以总统在达沃斯论坛期间遭刑事起诉,被指控犯“战争罪”