GitHub ｜ Hugging Face
马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家（MoE）模型「Grok-1」，以及该模型的权重和网络架构。
Grok-1 成为迄今参数量最大开源大语言模型。
Grok-1 是一个由 xAI 从头开始训练的 3140 亿参数混合专家模型。
模型细节：
★基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；
★3140 亿参数的 MoE 模型，在给定 token 上的激活权重为 25%；
★xAI 于 2023 年 10 月使用基于 JAX 和 Rust 的自定义训练堆栈从头开始训练。
📢 @LCGFX
