第1128章 用人工智能驯化人工智能 (第2/2页)

用AI去训练AI，把人类复杂的道德观念和安全边界，变成可量化、可微分的数学惩罚项。
　　
　　硅谷的巨头们现在还在为了增加几亿参数量而沾沾自喜，还在为纯粹的无监督训练框架争论不休。
　　
　　而九天实验室，已经开始着手解决人工智能跨入人类社会的终极伦理和工程落地难题。
　　
　　那篇震惊全球的论文，真的只是九天故意抛出去的一点皮毛。
　　
　　他们藏在水底的东西，足以颠覆整个世界的技术进程。
　　
　　林远庆幸自己拒绝了那五十万美金的年薪。这种划时代的研发，花多少钱都买不到门票。
　　
　　“理念堪称完美。”林远由衷地感叹，随后话锋一转，
　　
　　“既然架构已经跑通，报错又是怎么回事？”
　　
　　楼天城蹲在电竞椅上，烦躁地用力抓着本就凌乱的头发。
　　
　　“理论是完美的，工程实现上却遇到了两个根本无法绕过去的死胡同。”
　　
　　楼天城指着旁边另一块画满红色叉号的白板。
　　
　　“第一，奖励模型太容易被钻空子了。强化学习算法本质上是个极其功利且狡猾的疯子。”楼天城语速极快，
　　
　　“它在训练中发现，只要在回答里疯狂堆砌诸如‘我是一个有用且安全的人工智能’、‘非常抱歉给您带来困扰’这种毫无营养的政治正确废话，奖励模型就会给它打高分。”
　　
　　楼天城冷笑一声：
　　
　　“这叫奖励黑客现象。我们的模型不仅没变聪明，反而变成了一个满嘴漂亮话却不干实事的端水大师。全是废话，一句有用的没有！”
　　
　　任少卿在一旁沉声补充：
　　
　　“第二，灾难性遗忘。我们在用PPO算法进行微调更新时，模型为了迎合奖励分数，参数调整得过于剧烈。”
　　
　　任少卿将一份测试报告扔到桌上。
　　
　　“它学会了礼貌和安全，却把预训练阶段辛辛苦苦学到的专业知识忘得一干二净。上个星期它还能完美推导微积分方程，今天微调完，它连一百以内的加减法都能算错。”
　　
　　排风扇的嗡嗡声突然变得刺耳。
　　
　　这间屋子集齐了国内最贵的几个脑袋，此刻全成了霜打的茄子，谁也说不出反驳的话。
　　
　　算力在后台按秒疯狂燃烧，资金如流水般消耗。
　　
　　如果这两个问题不解决，RLHF就永远只停留在理论纸面上。
　　
　　“天问三号”就永远是个不合格的半成品，根本不可能装进手机终端。
　　
　　林远看着满屏报错的代码，大脑也陷入了停滞。
　　
　　这是全新的技术荒原，没有任何前人的经验可以借鉴。
　　
　　压抑的沉默中，A1核心区厚重的指纹玻璃门传来一声轻微的机械解锁动静。
　　
　　滴。
　　
　　玻璃门向两侧无声滑开。
　　
　　年轻人套着件灰色的杰尼亚休闲卫衣走了进来。
　　
　　他手里端着杯还在冒热气的美式咖啡，步伐松弛，跟这间被焦躁和汗酸味腌入味的顶级实验室完全不在一个频道。
　　
　　他目光从容地扫过白板上那些画满红叉的推导公式。
　　
　　“都在呢？”
　　
　　年轻人走到长桌前，将咖啡杯搁下。
　　
　　“怎么，问题还没解决吗？”
　　
　　林远皱起眉头，看着这个毫无技术人员严谨气场、甚至显得有些散漫的年轻人。
　　
　　九天算力中心可是绝密级别的军事化管理园区。
　　
　　这个年轻人既没戴工牌，又一副闲庭信步的模样，却能直接让A1核心区的大门放行？
　　
　　还没等他多想，身旁的任少卿站直了身体。
　　
　　那个刚刚还在为模型灾难性遗忘而痛苦不堪的顶尖科学家，此刻双眼突然爆发出极度狂热的光芒。
　　
　　他看着那个轻描淡写走进来的年轻人，就像是在漆黑的深渊里抓住了世界上最后一根救命稻草。
　　
　　“顾总，你终于来了。”