马斯克xAI发布Grok-1.5模型：可处理128k上下文、内存容量增加16倍！

就在今天，马斯克旗下的 xAI 公司在部落客上宣布推出最新的生成式 AI 模型 Grok-1.5！

部落客文章中有指，最新的 Grok-1.5 模型改进了 AI 的推理和解决问题的能力，并且在编码和数学任务的相关性能中有不错的进步。

从 xAI 所提供的数据来看，可以发现到 Grok-1.5 模型可以在包含小学至高中竞赛问题的测试中获得不错的成绩，例如：数学基准（MATH Benchmark）的测试里获得了 50.6% 的分数；在 GSM8K 基准上则取得 90% 的成绩；另外在评估代码生成和解决问题能力的 HumanEval 基准测试中得分 74.1%。

此外， Grok-1.5 模型在内存容量有所升级，增加了 16 倍之余，在上下文窗口中还可以处理高达 128k tokens 的长上下文，进而让 Grok-1.5 模型可以读取更长和更复杂的提示，并且还可以保持指令追踪的功能。

当然，xAI 官方也公开了 Grok-1.5 的基本构建方，它是基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架所构建的，而官方的自定义训练编排器可以自动检测有问题的节点再对其从训练作业中去除，借此做到优化检查点、数据加载和训练作业重启，以及最大程度地减少发生故障时的停机时间。