随便扯扯
0人浏览 | 2024-04-17 07:41 |
0人浏览 | 2024-04-17 07:41 |
天干物燥,最近挺迷茫。去年2月以来第一次。什么人都不想见了。四月初就算到了现在的情况,但是真正处在当下又挺茫然的。
走走看看,n卡护城河到底多高?s卡差距到底在哪里?
说到差异,几乎所有人 都会说制程差了2代以上。b200 4nm ,X100 不是3就是2,S7nm,差了一倍,能耗这么高,这是现实。这是第一指出的。
第二是cuda 生态根本没法兼容呀,不然查不完的bug ,精度处理等。RSIC-V 的路还有很长要走!目前还在arm阵营里面 适配。
第三通信,switch, nv link实在太强了。虽然以太联盟有心兼容 ib,但国内伙伴要想攻破光接口 都很难,估计物理层到协议层以及SDK 还得S 自己做。
那是不是干脆都躺平 装死?感觉实业的人韧性比?这帮人还是强很多。
拆解任务一个一个解决呗!制程问题 目前无法解决,也不能多聊,可以堆量。
通信问题,这个实实在在需要时间提升大BW。
最后就是软件能做的事。最近业内吹爆了GP gpu架构,确实n卡又一次吊打了其它竞品,完美适配transformer,而S目前主力系列设计思路大概在2018年,那时transfomer还不是主流,用的达芬奇架构,n卡2020年基于安培架构。这就是很多人诟病的ai现在transformer是主体,过早的设计导致算子取向对transformer不友好,需要手工对模型调优算子亲和度。但可能下一代会极大提升算子亲和度。此外国内能玩大模型的大厂,都有强大的算法团队,都会自己调算子,因为需求是收敛的,这个问题后续能够比较好解决。
时间,好像只差这一个东西。n卡的优势目前领先全球大概2.5年。