本地部署DeepSeek

题记

  • 本地部署DeepSeek R1?
  • 听说他用了2000个英伟达H800芯片集群进行训练,没啥概念,那看贴图
    在这里插入图片描述
  • 广为流传600 万美元成本仅还指预训练过程中 GPU 的花费
  • 确定没搞错?要咱们玩这个…,本地部署这个…

误解

  • 本地部署的博客、视频已经有很多了
  • 还能说都是财神爷吗!当然不是,这里存在误解
  • 仔细看600万美元的花费,是用在训练上,那就不得不掰扯掰扯训练推理两个概念了

训练

训练需要密集的计算,通过神经网络算出结果后。如今,神经网络复杂度越来越高,一个网络的参数可以达到百万级以上,因此每一次调整都需要进行大量的计算。曾在斯坦福大学做过研究,在谷歌和百度都任职过的吴恩达这样举例“训练一个百度的汉语语音识别模型不仅需要4TB的训练数据,而且在整个训练周期中还需要20 exaflops(百亿亿次浮点运算)的算力”,训练是一个消耗巨量算力的怪兽。

推理

推理是利用训练好的模型,使用新数据推理出各种结论,它是借助神经网络模型进行运算,利用输入的新数据“一次性”获得正确结论的过程,他不需要和训练一样需要循环往复的调整参数,因此对算力的需求也会低很多

结语

  • 那么部署的疑问就清楚了
  • 部署的是训练好的神经网络
  • 但是,本地部署对硬件、GPU也还是有最低要求
  • 基于不同GPU,选择deepseek不同版本
    在这里插入图片描述
Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐