尼兰詹说的是他2020年在acl会议上发表的论文，是当时ll优化领域的经典工作，当时ll流行的模型叫bert，这篇论文直接构建在预训练transforr上，ll的瓶颈，也就是计算成本，在下游任务中凸显，这篇则一定程度上提出了解决思路。

「包括我在2020年的另外一篇工作，其实和ll的核心，也就是多层注意力有着类似的核心逻辑」

尼兰詹自然不是水货，他在人工智慧领域确实浸淫多年，有不错的成果，手上有好几篇顶会文章，都和ll有关。

那还是2020年，当时大模型还名不见经传呢，在人工智慧领域属于边缘化的方向。

扎克伯格是花了很多冤枉钱，把脸书改名ta错误估计了元宇宙的到来时间，但不代表他没脑子，单纯因为尼兰詹是林燃的教授，就找他来。

尼兰詹自己真有几把刷子，也是很重要的原因。

大模型里的关键工作，包括自注意力机制、多头注意力、位置编码这些，尼兰詹都有深入的研究，毕竟他研究的重要方向之一就是nlp。

扎克伯格欣喜过望，觉得自己找对人了。

「巴拉苏布拉马尼安教授，在训练ll中，你是如何处理过拟合或者欠拟合问题呢？」

「大规模训练，预训练涉及在海量无标签数据上学习通用表示，我们可以通过掩码语言建模或下一句预测；另外微调在特定任务数据集上调整权重，实现迁移学习。

针对过拟合，我认为使用正则化和dropout，比如说在bert变体中dropout率01，并应用早停机制；欠拟合时，增加模型深度或数据增强。

在之前的项目中，我通过梯度裁剪处理训练不稳定，在ge基准上将过拟合率从15降至5，这能帮助大模型训练在多任务适应中更高效。」尼兰詹成竹在胸。

问这个，对我而言不是小意思？

扎克伯格后续又问了一些关于参数高效微调、多模态模型主要挑战、幻觉成因及缓解策略等问题，尼兰詹对答如流。

扎克伯格听完之后，确定自己找对人了。

对方被关在监狱一年多时间，出来还能侃侃而谈，追上最新进度，一眼就是大模型领域的先驱人才。

再者，对方还教出了伦道夫&183;林这样的顶级天才，对方能搞深红，我们ta在巴拉苏布拉马尼安教授的带领下，搞个深蓝出来不过分吧？

扎克伯格本来就保持笑容的脸庞笑得更开心了：「巴拉苏布拉马尼安教授，欢迎你加入ta，未来将由你担任ta的首席科学家，带领我们一路前行。」

他按了下桌上的按钮，ta的工作人员走了进来，拿来了一份合同，扎克伯格递到尼兰詹面前：「巴拉苏布拉马尼安教授，恭喜你，你将成为亿万富翁。」

尼兰詹拿起来一看，惊呆了，年薪一亿美元。

这个数字都让他有点不敢签了。

扎克伯格能把他捞出来，那肯定也能把他再送进去。

一亿美元的年薪，自己要是做不出东西来，到时候不会被关到死吧？

「老板，这个数字是不是太多了一些？」尼兰詹小心翼翼道。

扎克伯格

章节内容不完整，请退出阅读模式查看完整内容！