返回

第五百零五章 庆功宴

首页
关灯
护眼
字:
大
中
小
上一章 回目录 下一页 进书架
    第五百零五章 庆功宴 (第1/2页)

    庆功宴定在一家烤鸭店,是苏念念订的。正是顾司玥过生日时,韩路一和她一起去过的那家。

    赵文渊听说后还抱怨了一句:“怎么回了海城还吃烤鸭啊?”结果直接被苏念念怼回去:“在京城的时候吃了几次烤鸭?”赵文渊想了想,还真是一次都没吃过。

    下班后,江松然、薛兆恒、宋嘉宁和苏念念各有司机送过去——毕竟是庆功宴,晚上大概率要喝酒;只有赵文渊蹭了韩路一的车。

    几人进了包厢才发现,顾司玥到得最早,却还没入座,正在一旁的沙发上等着。

    韩路一自然坐主位。他眼神一示意,赵文渊便抢先坐了左手边;余下几位男士依次落座,再过去是宋嘉宁,最后只剩韩路一右手边两个空座。

    苏念念看了看剩下的两个位置,拉开外侧椅子,坐到宋嘉宁旁边。

    顾司玥也没说什么,走到韩路一旁边坐了下来。

    韩路一轻咳一声,说道:“今天有了一个阶段性进展,对我们接下来的发展很重要;把大家叫来,就是简单庆祝一下。”

    薛兆恒感慨道:“韩总,我跟您说,我当时真开始琢磨怎么把HBM去掉了。”

    江松然饶有兴趣地问:“还真能去掉?你想到了什么好办法?”

    “哪有什么办法啊,愁得我都睡不着觉。要是没有HBM,这片上的传输速度怕是连片间速度都赶不上。”

    江松然拍拍他的肩膀,说:“还好韩总给你救回来了。”随即转向赵文渊,问:“文渊,刚才老薛的话倒提醒我了:我们的训练体系有没有机会再改进一下?尽量在内存里多算一点儿,把传输上的浪费避掉。”

    “江总啊江总,升职之后就脱离一线了吧?你这话说晚了,我们团队早就和老薛一起研究过了。”赵文渊接过话头,说道,“这次我们算是从头做软硬件协同,吸收了不少这些年业内的先进经验,不比当初在谷歌时差。”

    苏念念出声打断他们:“几位技术专家,咱们今天是庆功宴,技术讨论还是留到办公室里吧,先把菜点了。”

    在烤鸭店,烤鸭自然必点;另点了几个冷热菜和饮料酒水。苏念念点完,韩路一看了一眼,又添了两个辣菜。

    既是庆功宴,共同举杯的环节自然少不了。顾司玥自己开车,喝矿泉水;其余几人则喝红酒和白酒。

    司机和秘书们在隔壁还有一桌,负责送他们回家。

    菜上来后,韩路一举杯算作开场,大家便各自闲聊起来。

    江松然和赵文渊这两位从美国回来的高级人才且不论,薛兆恒倒是比较守老派饭局的规矩——只是来到起源后,他专注研发岗位,参加这种饭局的机会也少了。

    这位芯片部门副总裁起身对韩路一说:“韩总,我敬您一个,感谢您把我们部门这么大的危机给扛了。”说完,一口干了杯中的茅台。

    江松然和赵文渊这才后知后觉,觉得自己是不是也该表示表示。

    韩路一看了看几人的反应,有点儿哭笑不得,和老薛把杯中酒喝了,赶紧嘱咐道:“老江、文渊,咱们今天都是自己人,内部庆功,就别搞这些形式主义了;大家想喝就喝,喝不了也不用强求。”

    真论酒局经验,做过多年合伙人的宋嘉宁或许比薛兆恒还丰富些,只是她仍在观察大老板的风格。如今韩路一发话,她便低头安心吃菜,偶尔和身边的苏念念,以及再旁边的顾司玥说两句话。

    没了白酒热场,大家到底都是朝夕相处的同事,很快便聊开了。一群人坐在一起,话题又很快转到技术上;尤其L200的研发进度,是江松然和赵文渊共同关心的。

    江松然半开玩笑地开口:“从现在的进度看,月底把设计敲定,流片应该不会耽误,老赵你那边的算力很快就能富裕起来啦。”

    赵文渊叹了口气,说:“老江,江总,我知道你筹措算力不容易,可你这饼我吃不下了。别的不说,你现在再多匀我五千张L100,汤圆2.0的训练进度都能快不少。”

    江松然脸色一变,不吭声了。

    给你一万张L100已经是榨干了,还要五千张,你可真敢要。

    韩路一打断两人的互动,问:“文渊,2.0的进度怎么样了?”赵文渊是突然被他从京城叫来的,到现在还没正经汇报过。

    赵文渊此时已喝了几杯白酒,脸色酡红;说起研究进度,脸上露出些激动神色。

    “研究团队有些特别的想法,我觉得很有趣,趁这次机会都加进了预训练。最主要的调整在模型架构上——”

    赵文渊放下筷子,举起双手比划了一个圆,接着说道:“业内不是一直说,模型参数越大,模型能力越强,可需要的算力也越多吗?我们的算力一直不够用,就探索了一个新方向:让参数量继续增长,但每次实际参与计算的参数量不必跟着增长。”

    “MoE架构?这个你之前不是说过吗?”韩路一问,“汤圆1.0现在已经是MoE架构了吧?”

    赵文渊露出些许得意,说道:“对,是MoE,但不是普通的MoE。”

    “讲讲。”

    赵文渊说:“之前业内通行的混合专家方案,是把前馈网络分成几个专家模型并行参与计算,这中间会造成大量重复知识。我们这次提出了一个共享专家角色:大量共通知识交给共享专家,特定类型的任务再由专门专家模型负责,尽量避免重复学习造成的浪费,专家领域分类也能变得更细。”

    江松然的注意力也被吸引过来,插嘴问:“那不是还要解决不同专家之间负载均衡的问题?专家变多,这个问题也变得更难了吧?”

    说到这儿,他意识到了什么;果然,旁边的赵文渊笑道:“我们最近在路由方面可是积累了不少经验啊。”

    赵文渊之前走基于编码器BERT的路线

    (本章未完,请点击下一页继续阅读)
上一章 回目录 下一页 存书签