科技入侵现代 第429节

　　“巴拉苏布拉马尼安教授，在训练LLM中，你是如何处理过拟合或者欠拟合问题呢？”

　　“大规模训练，预训练涉及在海量无标签数据上学习通用表示，我们可以通过掩码语言建模或下一句预测；另外微调在特定任务数据集上调整权重，实现迁移学习。

　　针对过拟合，我认为使用正则化和dropout，比如说在BERT变体中dropout率0.1，并应用早停机制；欠拟合时，增加模型深度或数据增强。

　　在之前的项目中，我通过梯度裁剪处理训练不稳定，在GLUE基准上将过拟合率从15%降至5%，这能帮助大模型训练在多任务适应中更高效。”尼兰詹成竹在胸。

　　问这个，对我而言不是小意思？

　　扎克伯格后续又问了一些关于参数高效微调、多模态模型主要挑战、幻觉成因及缓解策略等问题，尼兰詹对答如流。

　　扎克伯格听完之后，确定自己找对人了。

　　对方被关在监狱一年多时间，出来还能侃侃而谈，追上最新进度，一眼就是大模型领域的先驱人才。

　　再者，对方还教出了伦道夫·林这样的顶级天才，对方能搞深红，我们META在巴拉苏布拉马尼安教授的带领下，搞个深蓝出来不过分吧？

　　扎克伯格本来就保持笑容的脸庞笑得更开心了：“巴拉苏布拉马尼安教授，欢迎你加入META，未来将由你担任META的首席科学家，带领我们一路前行。”

　　他按了下桌上的按钮，META的工作人员走了进来，拿来了一份合同，扎克伯格递到尼兰詹面前：“巴拉苏布拉马尼安教授，恭喜你，你将成为亿万富翁。”

　　尼兰詹拿起来一看，惊呆了，年薪一亿美元。

　　这个数字都让他有点不敢签了。

　　扎克伯格能把他捞出来，那肯定也能把他再送进去。

　　一亿美元的年薪，自己要是做不出东西来，到时候不会被关到死吧？

　　“老板，这个数字是不是太多了一些？”尼兰詹小心翼翼道。

　　扎克伯格也震惊了，居然还有印度裔会主动嫌工资太高？META印度裔高管一大把，印度裔的科学家也不在少数，都只会和他说我有多少多少贡献，暗示能不能加薪。

　　尼兰詹还是他见过第一个，觉得工资太高的印度裔。

　　“不，巴拉苏布拉马尼安教授，你放心，这个价码一点都不高。

　　你刚从监狱里出来，还不清楚这个世界最近这一年发生了什么。

　　你要知道发生了什么，你就会知道，这个数字很合理。”

　　扎克伯格说完之后，尼兰詹又粗略看了一遍，然后在合同上签下自己的名字。

　　扎克伯格面带笑意，和他握手拍照留念。

　　第二天，META官方就发表了对外公告：

　　“公司将任命知名人工智能专家尼兰詹·巴拉苏布拉马尼安教授为公司首席科学家，负责领导人工智能大模型的研究工作。

　　这一任命正值生成式预训练Transformer模型横空出世，引发全球AI革命之际，Meta致力于加速开源AI创新，推动更安全、更高效的AI技术发展。

　　尼兰詹·巴拉苏布拉马尼安教授目前任职于纽约州立大学石溪分校计算机科学系，拥有超过15年的自然语言处理（NLP）和机器学习研究经验。

　　他的开创性工作包括开发DeFormer框架，用于优化预训练Transformer模型在问题解答任务中的效率，以及探索事件表示和注意力机制在用户人格预测中的应用，这些成就已发表于顶级会议如ACL和AAAI，并被广泛引用。

　　教授的专长将助力Meta在Llama系列大模型上的持续创新，确保AI技术在社交、元宇宙和全球连接中的应用更具包容性和可靠性。

　　作为首席科学家，巴拉苏布拉马尼安教授将领导Meta AI研究团队，聚焦于多模态模型优化、幻觉缓解和可持续计算等关键领域。他的加入标志着Meta在AI领域的战略投资进一步加强，旨在为全球用户提供更智能、更安全的数字体验。

　　关于Meta：Meta构建技术，帮助人们连接、发现社区并发展业务。通过我们的应用和服务，我们致力于让世界更紧密相连。”

　　扎克伯格随即发表脸书称：“在GPT模型开启AI新时代的当下，我们需要顶尖人才来引领开源AI的未来。

　　尼兰詹教授的深厚学术背景和实际创新能力，将帮助我们构建更高效、更负责任的大模型，推动人类与技术的和谐共进，我已经迫不及待想要和尼兰詹·巴拉苏布拉马尼安教授合作了！”

　　市场上更加关注的是尼兰詹另外一个身份，伦道夫·林的博士导师。

　　2022年11月，Meta才宣布将裁员11000名员工，2023年的3月中旬，Meta公司又宣布将再裁员1万人。

　　接连裁员，聚焦AI，降本增效，META对外放出的消息非常明确。

　　当天美股，META股价大涨超7个百分点，一家市值1800亿美元的公司，光是招募尼兰詹释放的信号就让他们的市值增加了100亿美元。

　　尼兰詹一百年的工资都有了。

　　尼兰詹回到家中才知道自己被关在监狱的这段时间，外界发生了什么。

　　“什么大模型成显学了，现在的科技巨头们动辄必提大模型？”

　　“GPT也太强了，我之前就觉得LLM这条路大有可为，果然如此。”

　　“我怎么感觉深红比GPT还要更好用啊？”

　　深红只开放了华国手机号注册，没有开放外网注册，采取的是和GPT类似的策略，只对特定区域开放。

　　因此国外用不了深红，但Youtube和Tik Tok上到处都是深红的使用视频。

　　毕竟大把在华国的外国人和在国外留学的华国人，都会把这些分享到外网上。

　　简中互联网和外网确实存在一定程度上的隔离，但这种隔离非常薄，薄薄的一层纸。

　　外网的ai爱好者们，看着深红都要流口水了，这玩意免费，还比GPT看上去更好用。

　　GPT-4可是要收费的。

　　尼兰詹内心感受到了巨大的压力，GPT-4，他都不确定自己能不能搞定，更何况深红。

　　他也不敢打电话给林燃，脸皮允许他这样做，但被联邦调查局带走的经历，让他不敢这么做。

　　万一后面又给你安上个莫须有的罪名，那不完蛋了？

　　现在自己可是亿万美元年薪的顶级打工人，印度裔的天选之子，印度本土报纸都称呼他为深红之父，认为深红是林燃从尼兰詹手里偷走的技术。

　　印度媒体就是这么自信。

　　甚至有印度报纸呼吁尼兰詹应该把技术传授给印度企业，华国有深红，印度也得有白象！

　　这是因为印度和华国之间的竞争，被称为龙象之争。

　　尼兰詹开始打电话呼朋唤友，把自己印度裔的朋友们都给招来META，象群才能发挥最大的威力！

　　一头象在丛林里，谈不上有什么威慑力，但一群象在丛林里，哪怕百兽之王也得退避三舍。

　　本身他作为META首席科学家，除了待遇外，也有招人的权利。

　　META的LLM组将集合象群的力量，尼兰詹心想，还是算了，还是得招点做事的华裔进来，我再想想，我有哪些交好的华裔教授，让他们推荐点学生来干活，得是精锐中的精锐才行，只要水木和燕大这两所大学出来的，不对，SJTU也行。

　　尼兰詹恢复理智之后就知道，一个组如果全是印度裔，那就会面临一个问题，大家都只有战略上的思考，而缺乏战术上的执行，这样显然是不行的。

　　尼兰詹拖家带口搬去了加州，至于保释期内不能离开纽约也被扎克伯格用钞能力改成了保释期内不能离开阿美莉卡。

　　作为整个META最受关注，拥有最多资源的部门，扎克伯格基本上每天都会去AI实验室视察，他发现，这里的印度裔和华裔越来越多，白人越来越少。

　　一个月后，整个人工智能研发的办公室里，两百来号人，只有印度裔和华裔，没有白人了。

　　“很好，我们走在了正确的道路上。”扎克伯格心想。

　　如果说扎克伯格发现了新大陆，找到了尼兰詹担任首席科学家，高山流水觅知音，成功找到了自己的钟子期的话，那么百度就陷入了空前的低潮。

　　深红的横空出世导致文心一言还没诞生就沦为了路边一条。

　　文心一言只开了新闻发布会，只是开放了申请，百度根据申请开放内测名额。

　　结果文心一言和深红的对比视频被b站up主发在b站上，对比过于强烈，二者就像博士生和小学生一样，百度实在是没绷住，第二天就全面关闭了内测。

　　发布了吗？发布了，有用户能用到吗？没有，主打一个如发。

　　内测变成只内不测。

　　百度面临着空前危机，甚至百度内部都不知道该怎么办好。

　　因为他们原定计划是要收费的，和GPT一样，文心一言得收费，五十一个月收费，第一个人工智能大模型，第一个收费，第一个实现盈亏平衡，然后扩大投入，提高使用体验，打死竞争对手，一统人工智能大模型简中互联网市场。

　　百度做的梦是这样，形成一个正循环，不断滚雪球。

　　结果在第一步就被卡死了。

　　你这小学生模型还收费？

　　深红推出四天后，用户数就突破了一千万，深红的用户数破千万庆祝微博下面，点赞数最高的评论是一张图，左边是文心一言右边是深红，然后下面是两个数字：

　　“10000000:0”

　　意思是深红已经有一千万的用户，而文心一言只有0，后者还开了声势浩大的发布会，而前者只有一个八秒钟的短视频。

　　这样的对比是如此明显，明显到这个数字本身带来的震撼效果在网民们内心给百度的棺木敲下了第一颗钉子。

　　百度内部的压力太大了，大到爆炸。

　　整个百度大楼从文心一言发布之后的第二天开始，就处于一个低气压的状态，大家都不敢高声说话，生怕触怒了大老板，到时候直接把你给裁了。

　　百度大楼的会议室里，各路高管齐聚一堂，除了高管外，百度内部人工智能领域的专家们也都在。

　　“Boss，腾讯这不是打文心一言，这是在打我们的脸啊！这是赤裸裸的挑衅行为！”秘书说道，“我认为这次必须要有人负起责任来，明显有人对技术研判不够到位，有人错估了形势，在文心一言还没有成熟前为了抢功就想着抢占市场。”

　　一位分管行政工作的高管，矛头直指CTO王海峰。

　　王海峰诚恳道歉：“我确实错估了形势，没有想到腾讯的进展会这么快，两个月时间就能够追上甚至是反超OpenAI的进度.”

　　没等王海峰说完，Robin就打断道：“诶，海峰，好了，我想这个世界上事先应该没人能想到。

　　这件事就和林燃教授一年多登月一样，他们完成的是不可能完成的奇迹，我不会因为这个原因就责怪下属，这属于是非战之罪。”

　　Robin这话一出，大家知道，这次的会议不是找问题，搞斗争的会，说的更直白一点，不是找人来背锅的，而是希望能解决问题的。

　　“海峰，我们多久能够追上？”Robin问道。

　　王海峰坦诚道：“我预计7月能够追上GPT-3百分之八十的效果，12月能够达到GPT-3的效果，明年7月预计能够达到深红的效果。”

　　王海峰停顿片刻后说道：“深红最坏的一点在于，它不开源，我们没办法借鉴。”

　　不是抄袭，是借鉴！

　　“GPT不开源，那是从GPT-3开始不开源的，GPT-1和GPT-2那可都是开源的。

　　开源意味着我们好歹知道它是怎么做的，它用到了哪些技术，哪怕具体的技术细节、工程实现方法不知道，我们也能靠时间慢慢磨出来。

　　但深红不一样，深红完全就是黑箱，甚至是不是和GPT是同一条技术路线，我们也不知道。

　　深红为什么在中文语境下的表现会出色这么多，对中文文本的处理堪称卓越，他们用到的是已有技术还是林燃教授独创技术，我们同样不知道。

　　我认为我们现在必须要做一件事。”

　　“什么事？”Robin问道。

　　“挖人，我们必须从深红那挖人来，搞清楚他们到底是怎么做的，情报越多，我们追赶的速度也就越快，哪怕只是知道一个方向，也比我们现在这样一条路摸黑，不知道方向的瞎走要强得多。

　　而且Robin，我们是大厂，大厂最大的优势就在于资源和现金。