衡南小说网

繁体版 简体版
衡南小说网 > 重返高三,满仓抄底狂赚百亿 > 第334章 林启航

第334章 林启航

下午三点。

英伟达园区。

黄任寻安排了一间小会议室。

桌上放着openai经过处理的训练报告。

三点十分。

会议室门被推开。

一个三十左右的华裔青年走了进来。

他穿着格子衬衫,头发有些凌乱,鼻梁上架着一副棕色眼镜。

林启航先朝黄任寻打了声招呼,目光随即落向陈默:“黄总说,openai想找我聊聊?”

“坐下先看。”陈默将报告推至他面前。

林启航翻开第一页,神色尚算平静。

翻到第三页,指尖的碳素笔已在几组通信延迟数据旁划出痕迹。

到了第五页,他的速度明显慢了下来。

“你们把所有参数更新都堆在同一个通信阶段?”

“目前是。”

“难怪会堵。”林启航笑了一声,手里的笔几乎没停,“显存分配逻辑也有问题。不同长度的序列全按最大空间预留,大部分根本没必要保留,直接重算成本反而更低。”

“单卡训练还能硬撑,放到几百张gpu的集群里,这种愚蠢的浪费会被成倍放大。”

他拿起笔,在空白处画出几个简单方块。

“参数更新可以拆开。”

“这一层计算时,上一层便开始通信。”

“再将数据按照长度重新分组,减少无效填充。”

“如果重新设计几个核心算子,利用率至少能先提高到百分之五十。”

黄任寻端着咖啡坐在一旁,始终没有插话。在英伟达,林启航是极少数能将cuda底层架构、硬件指令集与分布式编译榨干到最后一滴性能的怪才。

陈默神色从容,只是淡淡抛出一句:“这只是五百一十二张卡。明年,openai的集群规模是八千张,未来,是数万张,甚至十万张。”

林启航手里的笔锋骤然顿住。

“什么模型,需要这种量级的算力?”

“一个能通晓多任务的通用底座。”陈默揭开随身笔电,屏幕上随即播放起最新的原型演示。

同一个未经微调的模型,行云流水般完成了长文摘要、逻辑推理与跨语种翻译。

林启航的目光被牢牢吸在屏幕上,眉头微蹙:“多模型融合?”

“同一个模型。”陈默报出一串参数规模。

林启航摇头:“按这个规模,底层的泛化与涌现能力不合常理。”

“所以,我们需要更大的尺度。”陈默扣上笔电,“我需要你来做整套计算系统的掌舵人。”

林启航没有立即答应。

“英伟达同样在做深度学习。我为什么要离开?”

“在英伟达,你可以继续优化世界上最好的gpu。”

陈默看着他的眼睛。

“加入openai,你要解决的是另一件事。”

“如何让一万张gpu,像一台机器一样工作。”

“如果这条路走通了,未来人工智能能触碰到多高的上限,不仅取决于算法与芯片制程,更取决于你亲手打造的这套算力底座能撑起多庞大的世界。”

林启航定定地看着陈默:“如果这条路线在物理上根本行不通呢?”

“那就找出原因,重新开始。”

陈默语气平静。

“探索通用人工智能本就没有标准答案。如果所有的工程路径早已被论证清楚,我也用不着专程从佛罗里达飞回湾区见你。”

林启航低头看着那份满是批注的报告,沉默了几秒:“为什么选我?”

“几个月前,我从这里离开时,看见你站在白板前和两名同事争论。”

“为了百分之十的内存带宽,你争了很久。”

林启航愣了一下。

他显然没有想到,陈默会记得这么小的一件事。

“大部分人看见百分之十,觉得已经可以接受。”陈默继续说道,“你看见的是还没有被利用的性能。”

“openai需要的,正是这种对极致算力怀有执念的疯子。”

会议室安静下来。

林启航翻到报告的最后一页,抬起头:“如果我过去,能拿到多大的技术裁量权?”

黄任寻抿了口咖啡,心中暗叹一口气,知道自己的人已经被撬动了。

“openai计算系统负责人。”

陈默说道。

“独立组建内核、编译、通信和集群工程团队。”

“第一阶段三千万美元预算。”

“核心技术路线由你与伊利亚共同决定。”

“至于薪酬,”陈默补充道,“基本待遇对标英伟达天花板,并进入openai第一批核心期权池。”

林启航深吸一口气,摘下眼镜擦了擦,眼底的野心不再遮掩:“我要先看真实的集群日志。”

“车在楼下。”陈默起身。

黄任寻无奈苦笑:“陈先生,你真是一点余地都没给我留。”

“我从不把决定未来的关键筹码押在运气上。”陈默微笑道。

黄任寻叹了口气,转头看向林启航:“去吧。看完之后,遵从内心的选择。”

“无论留在英伟达还是去openai,别让自己后悔。”

林启航郑重鞠了一躬:“谢谢黄总。”

……

旧金山先锋区,openai总部。

林启航连工位都没多看一眼,在法务签完脱敏协议后,便一头扎进了核心机房。

屏幕幽蓝的光映在他脸上,跳动着昨夜训练崩溃的原始日志。

『加入书签,方便阅读』