欢迎光临吉林资讯网!

当前位置: 首页 > 要闻

北京深度求索公司推出首个国产开源MoE大模型

1月15日讯,北京深度求索公司推出首个国产开源MoE大模型DeepSeek MoE,性能媲美Llama 2-7B,计算量降低60%。DeepSeek MoE目前推出的版本参数量为160亿,实际激活参数量大约是28亿。此外,深度求索团队还透露,DeepSeek MoE模型还有145 B版本正在研发。阶段性的初步试验显示,145 B的DeepSeek MoE对GShard 137 B具有极大的领先优势,同时能够以28.5%的计算量达到与密集版DeepSeek 67 B模型相当的性能。(量子位)

本文来源于网络,不代表吉林资讯网立场,转载请注明出处
我要收藏
0个赞
转发到:
阿里云服务器
Copyright 2003-2024 by 吉林资讯网 jl.hxxinw.cn All Right Reserved.   版权所有
关注我们: