蚂蚁集团提出进一步降低成本的大模型训练方法,未来或将开源分享
近来,蚂蚁集团Ling团队宣布了一篇技能成果论文。该技能论文最大的打破在于提出了一系列立异办法,以提高资源受限环境下AI开发的功率与可及性。试验标明,其3000亿参数的MoE(混合专家)大模型可在运用国产GPU的低功能设备上完结高效练习,功能与彻底运用英伟达芯片、同规划的稠密模型及MoE模型适当。
3月24日,蚂蚁针对外媒对蚂蚁百灵大模型练习本钱的报导回应称,蚂蚁针对不同芯片继续调优,以下降AI使用本钱,现在取得了必定的发展,也会逐渐经过开源共享。