底层优化价值凸显 /b>
在大模型技术研究中，底层优化被认为是提高硬件效能的核心手段。以PTX为例，其优化措施使得系统与模型能够更全面地挖掘底层硬件的潜能。基于这一理念，DeepSeek成功实现了对硬件的精准操控，并实现了“计算与传输同步”。当底层编程语言与硬件更加契合时，其使用效率相应提高。这一特性使得在相同硬件配置下，通信任务的处理效率得以显著提升，跨界点通信效率可达到60%，并且能够训练出性能更优的模型。
通信优化创新策略 /b>
DeepSeek在通信优化领域应用了双向流水线技术，此技术使得计算与通信的同步率达到了99%。这一技术的应用显著提升了并行处理的专业人员数量，并确保了模型在计算过程中能够持续传输数据。该策略被认为是一种高效利用资源以训练更大规模模型的方法，为大型模型的训练开辟了新的路径。
低精度训练挑战与机遇 /b>
H800搭载了FP8计算单元。该单元在理论层面能够通过低精度训练，将计算速度提升至原先的两倍，并大幅降低显存需求，减少达50%。不过，低精度训练可能对模型性能产生负面影响，对大型模型而言，试错成本极高。鉴于此，开源社区尚未成功开展大规模的FP8预训练项目。但这也反映出，未来研究有望突破现有技术限制。
架构创新挖掘潜力 /b>
DeepSeek采用了MLA架构与MoE架构。MLA架构显著减少了推理阶段的内存使用。MoE架构在算法和软件层面成功解决了专家并行处理带来的通信成本问题。二者结合，促进了算法、软件及硬件的协同进步。
PTX编程困境待解 /b>
以PTX编程技术为例，开发者需深入掌握英伟达硬件的生产机制，这导致编程过程相对复杂。因此，专注于大型模型开发的企业在此领域较少。尽管市场上存在精通PTX编程的团队，但高昂的模型训练成本和持续的优化工作挑战仍然存在。
协同优化破局之路 /b>
戴国浩强调，除了对底层进行极致优化，通过协同优化，大型模型在国产算力支持下有望实现或超过英伟达GPU的性能。DeepSeek的问世使国内模型在性能上超越了国际同类产品。软硬件协同作用显著降低了算力成本，并突破了原有的生态闭环限制。展望未来，大模型的发展将呈现国产化趋势，并具备软硬件协同降低成本、提高效率的特点。在中国算力生态系统中，需要更高效地利用异构算力，以促进硬件与算法的良性互动。
业界普遍关注，对于我国算力领域，大规模模型是否能在性能上超越英伟达GPU。我们期待您对哪项优化策略最为关键的观点和讨论。同时，我们也诚挚邀请您为本文点赞及分享。
