本地部署量化满血版本deepseek的Ktransformer清华方案的硬件配置

在这里插入图片描述
上图来自Ktransformers安装指导手册
以下是我在京东找到的对应的配置

  • 双通道服务器主板:华硕, Z13PE-D16 x 1--------------------------7,099 RMB
  • Cpu:intel,金牌6454S/32核64线程 x 2 -----------31500 x 2 = 63,000 RMB
  • GPU:nvidia,4090D 24GB显存 x 1 --------------------------------17,589 RMB
  • 固态硬盘:WD,SSD 2TB -------------------------------------------------849 RMB
  • 内存:SK HYNIX,DDR5 5600 64G x 16 --------2186 x 16 = 34,976 RMB
  • 机箱:爱国者 YOGO Z1 x 1 ---------------------------------------------1,359 RMB
  • Cpu风扇:金钱豹,LGA46 -------------------------------------------------320 RMB
  • 机箱风扇:追风者,T30 120/工业级/三联包----------------------------469 RMB
  • 电源:振华,LEADEX P2000W-----------------------------------------3,599 RMB
  • 总价--------------------------------------------------------------------------129,260 RMB

太TM贵了,有没有一半价格的配置

太Tm贵了,所以我就继续看手册,看是否有低配版,我高低得尝尝本地部署deepseek咸淡。
然后,我发现单通道cpu版本,输出token的速度只是降低了23%,每秒可以输出10个汉字(假设一个token可以简单对应一个汉字)
在这里插入图片描述
我就放弃了双通道。
由于清华团队用的cpu卡太贵了,我也做了更换。
此外,我还在Ktransformers安装指导手册中找到了内存最低配置清单。
在这里插入图片描述
为了让价格砍一半。我找了一份新的购物列表,如图所示:

  • 双通道服务器主板:技嘉, MS73 –HB1 双千兆网口 x 1---------6,920 RMB
  • Cpu:intel,Xeon 6430 x1 ---------------------------------------------13,199 RMB
  • GPU:nvidia,4090D 48GB显存 x 1 --------------------------------20,589 RMB
  • 固态硬盘:WD,SSD 2TB -------------------------------------------------849 RMB
  • 内存:SK HYNIX,DDR5 5600 64G x 6 -------------2186 x 6 = 13,116 RMB
  • 机箱:爱国者 YOGO Z1 x 1 ---------------------------------------------1,359 RMB
  • Cpu风扇:金钱豹,LGA46 -------------------------------------------------320 RMB
  • 机箱风扇:追风者,T30 120/工业级/三联包----------------------------469 RMB
  • 电源:振华,LEADEX P2000W-----------------------------------------3,599 RMB
  • 总价---------------------------------------------------------------------------60,438 RMB

这份清单中,我将4090D 24GB显卡更换成了4090D 48GB显卡,是期望用多一点的显存,去弥补cpu性能低的缺憾。依旧保留双通道主板,是为了后续添加cpu、显卡做考虑。

我已经把价格砍了一半,不知道大家有没有更低的版本。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐