乖乖听说水使用方法【V亻言29829225⒐⒐】为了找出 GPT-MoE 训练的正确并行配置，英伟达做了大量实验（得到图中的蓝点），以探索创建硬件和切割模型的正确方法，使其尽可能实现高效运行。其探索包括一些软件重分块、优化策略判断，并将大模型分布在不同的 GPU 中来满足性能需求。