「悟道2.0」
中国首个+世界最大人工智能巨模型
今年6月,北京智源人工智能研究院发布了全球最大智能模型「悟道2.0」,模型参数达到1.75万亿,是GPT-3的10倍,打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录。
开创性的研发FastMoE技术,是打破国外技术瓶颈,实现“万亿模型”基石的关键。以往,由于Google万亿模型的核⼼技术MoE(Mixture of Experts)与其分布式训练框架和其定制硬件强绑定,绝大多数人无法得到使用与研究的机会。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统,具有简单易用、灵活、高性能等特点,并且支持大规模并行训练。新一代FastMoE,支持Switch、GShard等复杂均衡策略,支持不同专家不同模型,为万亿模型实现方案补上了最后⼀块短板,让梦想终成现实。
“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行的训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据,以及Pile数据集的1.2TB英文文本数据。另外,“悟道2.0”模型一统文本与视觉两大阵地,支撑更多任务,更加通用化。
由100多位科研骨干共同参与的攻关「悟道」团队,通过一系列原始创新和技术突破,实现了「大而聪明」,令悟道2.0具备大规模、高精度、高效率的特点,在9项国际公认Benchmark上突破精准记录,并在多项任务上逼近图灵测试。