阅读提示:为防止内容获取不全,请勿使用浏览器阅读模式。
要去拟合这种奇葩数据,所耗费的算力能效比显然是不划算的。
算力的消耗并非是线性的,存在收益边际的概念。
简单来说,九分甜奶茶的数据就是个“刺头”。考虑到算力系统眼下有限的算力,合理的做法还是先不去管这类刺头。
这也是让林远方才诟病系统的原因。
这系统唯一的可以稳定获得算力的方式,竟然是分解林远自己周期产出的那几毫升DNA。
一想到这出,林远就下意识腰疼。
所以,算力系统荣膺“最lo系统”称号,一点也不冤。
林远甚至认为,【你丫干脆把你自己面板上“系统”那两个字擦了吧。】
吐槽归吐槽,可事情还是得继续做。
随着算力系统的算力越发捉襟见肘,林远不得不另辟蹊径。
他不是没想过用现实世界的算力设备完全取代算力系统得了。叫你傲娇,老子还不伺候了。
可是,他用公司的那台A100算力卡试了后,发现现实世界的算力卡和算力系统的差别远不只是“算力汇率”这一个因素而已。
或者说,算力汇率只是在名字里面有个“汇率”而已,这个汇率是体现在系统和现实算力设备,做同样工作量时的算力消耗对比上。
就好比:做同样的工作量,小A需要十分钟,小B只需要一分钟。那小A和小B的工作效率汇率就是1:10。可这是建立在小A和小B都会做这件事的前提下。
如果小A不会做这件事呢?那就不存在对比。因为小A最后根本就做不完。理论上二人的工作效率汇率就是1:无穷大。
对照到AI模型层面。
就是在没有算力系统辅助的情况下,如果遇到模型构建层面本身的问题,那你别指望现实的算力设备能改正的了。其训练过程就像一条没有眼睛的贪吃蛇,满场乱转。
其训练产出的误差忽大忽小,最后整个训练就陷入了震荡之中。就像大A股受到一点风吹草动时候的样子。
好在林远还是想到了办法--职责分离。
他将那些纯粹计算的工作剥离出来,交给现实的算力设备去计算。而在遇到卡点时,再将此时的中间态模型丢回给算力系统。
主打一个,算力系统啃硬骨头,现实的算力设备打顺风局。
这也让林远增进了对算力系统的认知。
【人家的系统负责干活,宿主只需要负责装逼。而你,我的朋友,你无时无刻不在考验我对你的活学活用。】
-----------------
不同于林远这边的思想火花飞溅,另外一边的夏叶听着风林雨声睡的香甜。
小房间空调指示灯的微弱灯光下,夏叶的脸上微微带着笑意,嘴角挂着一条不窄的口水痕迹。
只是这张二人蜗居的小床,明显过于拥挤。