这个系列写了好几篇文章,这是相关文章的索引,仅供参考:
- 深度学习主机攒机小记
- 深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0
- 深度学习主机环境配置: Ubuntu16.04+GeForce GTX 1080+TensorFlow
- 深度学习服务器环境配置: Ubuntu17.04+Nvidia GTX 1080+CUDA 9.0+cuDNN 7.0+TensorFlow 1.3
- 从零开始搭建深度学习服务器:硬件选择
- 从零开始搭建深度学习服务器: 基础环境配置(Ubuntu + GTX 1080 TI + CUDA + cuDNN)
- 从零开始搭建深度学习服务器: 深度学习工具安装(TensorFlow + PyTorch + Torch)
- 从零开始搭建深度学习服务器: 深度学习工具安装(Theano + MXNet)
- 从零开始搭建深度学习服务器: 1080TI四卡并行(Ubuntu16.04+CUDA9.2+cuDNN7.1+TensorFlow+Keras)
去年京东618前后,通过雷霆世纪搞了一台半组装机 “The one 2 Plus自由版” ,然后自己通过其他渠道搭配了技嘉1080显卡,64G内存和4T普通硬盘,攒了一个“深度学习主机”。然而不幸的是,这台机器在今年8月底9月初的时候频繁出现问题,机器运行环境是Ubuntu,机器运行过程中时不时死机,在尝试了各种解决方案无果后,我把这台机器送到了雷霆委托的海尔售后,然后就开始了漫长的等待。
不过我很快启动了预案,在google了一圈资料和仔细参考了之前的方案 "深度学习主机攒机小记" ,特别是文后几个同学的留言建议,我列出了一个如下的list,并且决定亲自动手来组装:
部件 型号 价格 链接 备注 CPU Intel/英特尔 Xeon E5-1620V4 CPU 4核心8线程 1525 淘宝散片 散热器 九州风神(DEEPCOOL)大霜塔 CPU散热器 219 https://item.jd.com/689273.html 主板 技嘉(GIGABYTE)X99-UD4主板 (Intel X99/LGA2011-3) 1500 闲鱼二手保5年 内存 骇客神条16G * 2 DDR4 2400 2999 https://item.jd.com/2551254.html SSD 三星(SAMSUNG) 960 EVO 250G M.2 NVMe 固态硬盘 899 https://item.jd.com/3739097.html 硬盘 希捷酷鱼 3TB 7200转64M SATA3 台式机机械硬盘 529 https://item.jd.com/3355984.html 电源 EVGA 额定1600w 1600 G2 电源 2299 http://item.jd.com/3609960.html 机箱 游戏帝国 GAMEMAX 轻风健侠 全塔分体式静音机箱 黑 279 https://item.jd.com/4142323.html 显卡 华硕战枭1080TI 6899 https://item.jd.com/4709294.html
这一次深度学习服务器的搭建,不再只考虑单显卡的配置,直接考虑了以后上4显卡的可扩展性,所以在CPU,主板和电源的选择上,都锁定在能最大支持4路显卡上。去年写得那篇深度学习主机攒机的文章留言中,winstar同学的留言给了我很大的启示:
和楼主同样的追求,不同的道路。折腾两月,机器配置如下:
cpu: Xeon E5 v1620 v4 14nm 3.5GHz 4核8线程
内存:海盗船8G*2 2400MHz
显卡:华硕GTX1070 公版(为了将来做SLI,无论兼容性还是PCIe插槽占用,都是公版最合适,so最终回到公版)
主板:华硕X99EWS (真正支持4路SLI的超强主板,新货很贵,闲鱼入的2手)
电源:海韵X1250 1200W (也是2手货,目前用起来看没啥问题)
硬盘:240G intel SSD + 希捷2T 混合硬盘 + 120G 三星老硬盘(以前老笔记本淘汰下来的,本来做移动硬盘用的,现在重新上PC跑ubuntu)
机箱:比较看中散热+静音,同时又必须支持EATX主板+8个PCIe槽口,最终选定Tt F51 静音版(很超值)
显示器:2手收了台dell u2515h,2k屏
CPU参考了他的方案:40Lane 最新版cpu 性价比最高的是 Xeon E5 v1620 v4, 最新技术14nm,3.5GHZ ,不过这一款貌似国内买不到全新的盒装,最终我在淘宝上1500多入手了一个散片(应该是所谓的洋垃圾),商家保一年。主板的选择比较纠结,如果不差钱,直接上 华硕X99 E WS,另外一个就是文章一开始引用的《如何搭建一台深度学习服务器》中建议的 技嘉X99-UD4主板,这两个主板都支持4路显卡,不过前者更强大,当然价格更贵。我也尝试在闲鱼中搜索,刚好有个本地的同学出售今年618期间买的技嘉X99-UD4主板,箱说全,发票在,另外他买后也在技嘉官网上注册过,查了一下质保,还有接近5年的质保期,所以没有犹豫,1500买了这个所谓的二手主板。另外在电源上我纠结了一下,最终参考了灵魂机器同学文章中的方案:EVGA 额定1600w 1600 G2 电源 , 据说“Nvidia DevBox 用的是 EVGA 1600W 80+ Gold 120-G2-1600-X1 ,那我也用它吧”。另外华硕战枭1080TI显卡是后来补的,刚好国庆期间10月2号京东上有个华硕品牌日,6899购得此显卡,现在已经要7699了。。。前期用我的老1080显卡替代。
除了CPU和主板,其他都采购自京东,东西备齐后,当天晚上下班吃完饭后开始组装,直到晚上凌晨3点点亮机器,整个过程搞得我很疲惫,但是也很兴奋。之前对于电脑的组装能到达的程度是内存、显卡、硬盘拆解,但是没有亲自动过主板、CPU、散热器。这一次全新的尝试格外小心,特别是2个核心部件CPU、主板还是二手,所以第一次组装电脑有如履薄冰的感觉。安装前查资料,看网上的装机视频,装机过程遇到某个部件的安装不太清楚时,继续查资料,看视频,这个过程中比较耗时的是散热器的安装,主板的插线,另外这个机箱电源位置和硬盘位置挨在一起,买来的电源的线条又特别粗,所以布线有点麻烦。装完第一刻开机发现机器不断重启,心里拔凉,然后仔细检查,发现两根内存要插在主板对应的位置,重新插拔内存,再次开机,终于点亮,那一刻还是相当有成就感的。
这个是目前家用的一套深度学习服务器解决方案,不过虽然说预留了4显卡的空间,但是发现主板显卡之间的距离还是有点小,想要上4卡的话最好用公版显卡,这个看看以后有没有机会尝试。
这段时间,通过一个靠谱渠道为公司配置了两套深度学习服务器,主要参考了一个朋友的双卡方案和知乎上一个四卡方案,直接上配置,仅供参考:
紧凑型双卡方案:
部件 型号 价格 链接 备注 CPU 英特尔(Intel) i7 7700K 酷睿四核 盒装CPU处理器 2499 https://item.jd.com/4132882.html 散热器 美商海盗船 H55 水冷 449 https://item.jd.com/10850633518.html 主板 华硕(ASUS)ROG STRIX Z270H GAMING 主板(Intel Z270/LGA 1151) 1599 https://item.jd.com/3778183.html 内存 美商海盗船(USCORSAIR) 复仇者LPX DDR4 3000 32GB(16Gx2条) 3499 https://item.jd.com/1990572.html SSD 东芝(TOSHIBA) Q200系列 240GB SATA3 固态硬盘 679 https://item.jd.com/1592448.html 硬盘 希捷酷鱼 3TB 7200转64M SATA3 台式机机械硬盘 529 https://item.jd.com/3355984.html 电源 美商海盗船(USCorsair)额定1000W RM1000x 电源 1279 https://item.jd.com/1905101.html 机箱 先马(SAMA)巨魔合金版 中塔电竞游戏机箱 299 https://item.jd.com/4434569.html 显卡 微星 MSI GTX 1080 Ti GAMING X 11GB 352BIT GDDR5X PCI-E 3.0 显卡 * 2 13000 http://item.jd.com/4742314.html
豪华型四卡方案(目前上双卡):
部件 型号 价格 链接 备注 CPU 英特尔(Intel)酷睿六核i7-6850K 盒装CPU处理器 4599 http://item.jd.com/11814000696.html 散热器 美商海盗船 H55 水冷 449 https://item.jd.com/10850633518.html 主板 华硕(ASUS)华硕 X99-E WS/USB 3.1工作站主板 4759 内存 美商海盗船(USCORSAIR) 复仇者LPX DDR4 3000 32GB(16Gx2条) 3499 https://item.jd.com/1990572.html SSD 三星(SAMSUNG) 960 EVO 250G M.2 NVMe 固态硬盘 899 https://item.jd.com/3739097.html 硬盘 希捷(SEAGATE)酷鱼系列 4TB 5900转 台式机机械硬盘 899 https://item.jd.com/4220257.html 电源 美商海盗船 AX1500i 全模组电源 80Plus金牌 3449 http://item.jd.com/1124855.html 机箱 美商海盗船 AIR540 USB3.0 949 http://item.jd.com/12173900062.html 显卡 微星 MSI GTX 1080 Ti GAMING X 11GB 352BIT GDDR5X PCI-E 3.0 显卡 * 2 13000 http://item.jd.com/4742314.html
实际使用中,依然发现即使用华硕X99-E WS主板,上4卡的话显卡最好还是公版显卡。最后不得不感慨一下,这一年内存涨价太快了,去年618买了4条 金士顿骇客Fury DDR4 2400 16G 内存花了不到2000块,现在需要接近7000块,发财的感觉。。。
注:原创文章,转载请注明出处及保留链接“我爱自然语言处理”:https://www.52nlp.cn
本文链接地址:从零开始搭建深度学习服务器:硬件选择 https://www.52nlp.cn/?p=9821
能不能推荐一下用于深度学习的笔记本电脑呀?家用台式机太耗电了,笔记本虽然贵,但不耗电。
[回复]
52nlp 回复:
24 10 月, 2017 at 11:42
抱歉,这个不太清楚,不过既然到深度学习显卡级别了,耗一点电应该是避免不了的
[回复]
x299的相关的配置有推荐莫,感觉新架构的相关货比较多啊
[回复]
52nlp 回复:
14 11 月, 2017 at 09:19
这个我还不太熟悉
[回复]
请问博主,多路显卡如果按性价比1060四路,还是1070,1080,1080TI好?
主要要考虑成本及效能
例如1080TI价格比1060贵一倍,实际效能有否增加1倍?
四路,深度学习,真的有4倍效能吗?会不会像以前的SLI表现一样只提升XX%??
[回复]
52nlp 回复:
18 11 月, 2017 at 12:34
如果考虑成本的话,我宁愿单路1080TI也不要4路1060,这个没法比;另外多路肯定不是多倍提升。
[回复]
ken 回复:
18 11 月, 2017 at 13:17
如果考虑成本,那买了单路1080TI以后,不再考虑升级方案??
博主有否实测过多路并行,实际效能提升多少?
[回复]
52nlp 回复:
18 11 月, 2017 at 19:14
这个还是根据具体的任务而定,某个NLP任务双路实际运行过程中有大概30%的提升。
x99主板支持2路显卡,另外,intel的酷睿系列cpu最高支持40条pcie 3.0通道,上4路1080ti显卡明显带宽不足
[回复]
52nlp 回复:
5 1 月, 2018 at 18:54
谢谢
[回复]
nvidia在驱动中限制了10系列的多卡交火使用,最高允许2路cpu并行使用
[回复]
那之前机器怎么处理了啊,我也是雷霆买的机器,总出问题。而且总是主板出问题,售后非常不给力,修一次一个多月。难道要重新攒机?:(
[回复]
52nlp 回复:
16 6 月, 2018 at 17:33
他们给维修好了,印象是更换了主板+cpu
[回复]
博主现在的电脑是什么配置,打算组装一个主机
[回复]
52nlp 回复:
21 8 月, 2018 at 10:59
高中低档都有,最高是4卡并行的 https://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%9C%8D%E5%8A%A1%E5%99%A8-1080ti-ubuntu16-04-cuda9-2-cudnn7-1-tensorflow-keras
[回复]
我觉得r5-2600可能都吊打不少这些e5吧。
[回复]