2017年夏天,点冷机一趟从北京飞往纽约的国际航班上,张林峰正在反复比对两组几乎一模一样的数字,以确认它们真的如此接近。
这两组数字都代表64个水分子在10皮秒内(10的-11次方秒,比一瞬间还短暂)模拟运动的计算结果。其中一组是在1985年用量子力学原理算出来的,消耗了2亿核时,即便在算力发达的今天,也需要大约2000万的计算费用才能实现。另一组就来自张林峰手里这台笔记本,上面正运行着他与合作者完成的某套算法,因为从上飞机就插着电,大概只消耗了一些航空公司的电费——这可能吗?他甚至觉得自己抄错了。
下飞机之后,张林峰立刻写了一封邮件,将模拟的结果发送给自己在普林斯顿大学的导师、中国科学院院士鄂维南。来自远方的回复简洁而有力:“Too good to be true(好得难以置信)。”
人类团队写的AI算法读懂了微观世界的某种客观规律——这像是一颗投向分子模拟领域的普罗米修斯火种,很多事情将就此被永远改变,但当时没人清晰预见。
再次回国后,一场老友见面,张林峰将飞机上发生的故事讲给了自己的北大元培校友,一边从事科技方向投资一边寻找合适创业项目的孙伟杰。
孙伟杰关注过市面上绝大多数AI项目,早就发现这个行业的共性问题是缺乏Golden Standard(黄金准则)来衡量成果。张林峰带来的故事是一种认知冲击——如果AI的核心是发现并学习某种规律,其价值等同于它所学到的规律价值,那当今世界还有什么规律的价值高于科学规律?
用AI来学习和发现科学规律,没错,他们应该做这样一套东西——达成这一共识之后,张林峰和孙伟杰开始筹划共同创业,他们为新公司取名“深势科技”,致力于用人工智能深度学习解决微观尺度的问题。
时间快进到2024年GTC大会,英伟达CEO黄仁勋在演讲中谈到了AI领域的三个关键方向,LLM(大语言模型),具身智能,以及AI for Science(科学智能)。
在前两个领域,OpenAI和Tesla两家美国公司已经形成鲜明主导地位,全球范围内的竞争者均对其亦步亦趋。鲜有人知的是,第三个领域——AI for Science——早在七年前就在鄂维南院士的推动下在东方世界定下根基。
更加反直觉的在于,过去几年来,AI for Science领域声名在外的两家科技巨头Google DeepMind和微软并未形成实质上的引领地位,而是一直在与那个年轻东方团队相互追赶。
2017年,在鄂维南院士的带领下,张林峰与团队合作发布DeePMD,紧接着Google DeepMind完成一套十分相近的技术框架;随后,张林峰团队做出了DeePWF,一种电子波函数的AI计算方法,次年,DeepMind发布相同方向的解决方案FermiNet;2020年,张林峰团队再度发布DeePKS,而DeepMind的对标框架DM21在2021年诞生。
2020年底,在鄂维南、张林峰等人因DeePMD相关工作获得有高性能计算领域“诺贝尔奖”之称的戈登贝尔奖时,DeepMind AlphaFold-2的工作改变了整个结构生物学领域。而到了2021年底,深势科技成为了全球首家成功复现AlphaFold-2并完全开源训练代码的机构。
深势科技创始人兼首席科学家张林峰大概只因为AI for Science才刚刚起步,人们无从发现这个前沿科技领域正在上演一场激烈的全球竞逐。
AI for Science有多重要?任正非曾指出中国的基础科学薄弱,在最基础的科研和工业问题上被“卡着脖子”。中国实体产业已经在新能源汽车、光伏等领域诞生多个全球第一,但回到电池研发层面,仍在基础科学问题上破茧无门。而大量重要科学问题的终极答案都指向微观世界。
事实上,AI for Science的重要性已经与大国竞争的新局面挂钩。大洋彼岸,在美国白宫一份行政命令要求下,PCAST(美国总统科技顾问委员会)近日撰写了题为《加速研究:利用人工智能应对全球挑战》的报告。其中,由知名数学家陶哲轩领衔的一份技术报告概述了AI for Science的潜在影响。
报告指出,AI将从根本上改变人类进行科学研究的方式。其阐述了AI在材料、半导体设计、气候、物理、生命科学等领域已经做出的改变,并高度总结了AI如何通过提供研究工具来加速科学发现和技术进步,从而革命性地改变人类解决最紧迫问题的能力。
这恰恰是深势科技决心投入并试图引领中国产业去突破的问题。成立近六年时间,深势科技已经把当初那颗火种衍生为一套完整的产品框架。用多尺度建模、机器学习和高性能计算去解决微观尺度下的工业设计难题。这件事天然地适合药企、材料研发和科研机构,是真正有可能四两拨千斤的魔法工具。
但这趟旅程并不完全是一个天之骄子的爽文故事。因为人才难寻,这家AI for Science领域的“中国OpenAI”在创业之初甚至有一半以上的员工是实习生。深势科技在天使轮拿到了1600万人民币融资,听上去不少,但去年由谷歌孵化,并由谷歌创始人挂帅的Sandbox AQ首轮单笔公开融资就已达到5亿美金。孙伟杰说,当他看到海外对手可能是以每年数十亿美⾦为计在投⼊的时候,他知道自己还得做到更好。
深势科技创始人兼CEO孙伟杰作为深势科技创始人兼首席科学家,张林峰判断,AI for Science领域的科学大模型正处在GPT-2阶段,这意味着涌现时刻已经不会太远。他对未来的终局想象是无论半导体工业、电池、合金,还是药物,都能从原子开始生产制造。一个形象的比喻大概就是,原⼦尺度下的“活字印刷术”。
而作为公司CEO,孙伟杰说,他们的创业出发点是做一家真正源自中国、引领世界的科技公司。他认为一代公司有一代公司的使命,中国已经走过了拿来主义的阶段,这个时代在呼唤更多有底层创新技术的公司。
以下是界面新闻对孙伟杰、张林峰的采访实录(略作编辑):
打开微尺度的大门:看到光照不进的地方问:你们的官网一打开就写着"分子模拟未来",为什么要用这句话?什么是分子模拟?
孙伟杰:分子模拟就是基于物理规律模拟原子、分子这些微观粒子的排布和运动,就好像我们给分子的运动拍了一个视频。我们团队的第一个突破就是在AI助力分子模拟领域,把分子模拟的时间和空间规模提升了上万倍。这样我们就能用分子模拟来研究很多面向未来的新分子、新材料了。
我们觉得在分子模拟里,可以发现人类的未来,所以就把公司口号定成了这句话。
问:为什么要模拟,而不是直接观察呢?
孙伟杰:因为原子的尺寸甚至小于可见光的波长了。这意味着我们无法用可见光看到它,必须得借助一些非常昂贵的仪器,像电子显微镜,而这些仪器效率又非常低。
另一个问题则是它动的太快了。对于常见的物质来说,原子间振动的常用时间尺度是是十的负十五次方秒,也就是百万亿分之一秒。刚才过去的一秒钟,它动了一百万亿次。
所以是真的“看不到”它怎么动,只能模拟。
问:看清楚分子原子是怎么运动的很重要吗?
孙伟杰:当然,现在的重要科学问题其实大部分都是微观问题。
比如生命和非生命的界限到底在哪?一个细胞可以是一个生命,但是细胞也是由无生命的原子构成的,那为什么它会变成一个生命体呢?如果我们从最小的地方一点点开始模拟,一个原子,两个原子,三个原子,直到组成蛋白质,组成线粒体,一点点往上加,加到什么样的时候,它突然就有生命了?这是人类的一个终极问题,生命是“涌现的",你怎么知道那个界限在哪?
再比如说,中国目前在电动车和电池行业已经世界领先,但是我们仍然不完全了解锂枝晶的生长原因。锂枝晶是一种会让锂电池失效的机制,它会在负极界面和电解质界面上形成,这个过程涉及至少数十万个原子在微秒甚至毫秒的时间尺度内发生变化。
问:模拟分子很难吗,以前是怎么解决这些问题的?
孙伟杰:主要有两种方法,第一种是用第一性原理,基于量子力学来算。它的好处是可以算得准,坏处就是算得非常慢,而且它只能算个几十个几百个原子。
靠量子力学这样的算法,随原子数量的上升,计算量是三次方指数上升。一百个原子和一万个原子,差的原子数量是一百倍,但是差的计算量是一百万倍。这就导致我们想要算一个真正感兴趣的问题,如果里面有几十万个原子,可能把全球的算力加起来都不够用,这个叫做维数灾难。
第二种方法就是经验力场,靠归纳。我就简单地把原子间的力抽象成一个化学键,像个皮筋一样。它不那么准,但至少能算,在相当长的历史阶段里面也解决了很多问题。但一旦面临精度很高的体系,就不管用了。
问:所以说要算得准就算得慢,要算得快就算得不准。
张林峰:对,算得快的就不准,或者使用范围非常受限。而这是我们用AI能解决的问题,让精度和效率可以兼得。
问:那算到多大规模的模拟才算是真正完成了任务呢?
张林峰:要到我们用光学显微镜能够观察到运动变化的这个尺度。对于生物学来说,可能是到一个细胞层面,我们模拟出来的这个细胞的运动和变化和我们光学上观察的是一致的,我觉得这个时候分子模拟的任务首先从规模上解决了。
在分子模拟领域有三个终极问题:第一是否所有的元素和构型,第二就是模拟的规模,第三就是模拟的时间尺度。在这三个问题上其实我们基本上未来的路已经比较清楚了,未来两三年之内应该这个领域应该会被颠覆。
问:达到目标对于业界的影响会是什么,对于人们的日常生活又会有什么影响?
张林峰:比如可以帮助电池企业发现让电池续航更高的方法,帮助药物公司研发出更好的药物。
我们研究新材料,比如说一块橡皮泥,为什么它有这种弹性形变?现在是没有原理能够解释的。我们只是观察到了,它一捏可以这样,但我们不知道为什么会这样。
而当我们有了分子模拟,就有可能通过模拟的方式搞明白背后的原理,这样在我们需要有弹性形变的材料时可以尝试把这个原理使用上去。
中国团队扛起AI for Science的大旗问:你们是怎么发现AI可以解决分子模拟效率和精度不可兼得的问题的?
张林峰:主要是因为我的两位导师。其中一位是鄂维南老师,他是应用数学家。鄂老师给我最核心的insight是机器学习能解决维数灾难问题。
我本科毕业刚刚去普林斯顿的时候,其实做了非常多的纯理论的探索,量子计算、量子场论等等。在找科研方向的时候有一句话是共振程度最高的,是杨振宁说的"the party is over",找不到令人振奋的方向了。(注:杨振宁在1980年就认为,高能物理的黄金时代已经过去,未来的发展将不会像过去那样频繁地出现重大发现和理论突破。)
那时候鄂老师直接劝我不要再继续上课了,尽管普林斯顿有很多菲尔兹奖、诺贝尔奖得主的课程,重学一遍也挺开心的。但我理解他的意思是:上课只会满足你的虚荣心,你80%都会了然后上去再会一点,并不是在定义重要问题。
问:不上课干啥?
张林峰:鄂老师劝我关注机器学习。科学界大量的问题,无论是微观的还是宏观的,很多都卡在了所谓的维数灾难。而机器学习在数学上,恰好给我们提供了高维复杂函数的表示能力。
比如AI处理图像,以一个32乘32像素的图像为例,算上RGB的三个值,那有3000多个数字作为输入,然后输出的画面就是猫或者狗或者别的。这个事儿我们现在去看好像挺自然,但事实上从数学建模的角度来讲,是非常反直觉的,至少是反一代数值算法科学家的经验和直观的。
问:其实非计算机领域的数学家,反而可能对AI有更本质的理解?
张林峰:每个领域的人对AI的认知是不同的,正是因为这些差异,让我们产生了碰撞,去探索AI为科学计算所带来的新可能。
世界上本来就不存在学科,以前分学科是为了教育方便。过去因为方法能力的限制,各个尺度下面的不同场景已经被四分五裂到不同的学科。而现在我们有了一个统一的工具,也就是AI,能表示所有的复杂高维函数,那我们可以带着一个全新的视角把所有的东西都重新审视一遍。
问:话说回来,另一位导师是谁,他又给了你什么启发?
张林峰:另一位导师Roberto Car是计算化学家,是第一性原理分子模拟的祖师爷,而第一性原理分子模拟恰好受限于维数灾难。比如他在2016年用超算做了一个很简单的模拟,模拟64个水分子,运动10皮秒(1皮秒是10的-12次方秒),这个模拟用了两亿个核时。即使放到今天成本可能也要一两千万人民币。
而如果我们把这个东西拿AI一学,然后用来做模拟,模拟的分子数大10倍,时间长10倍,用你这个笔记本跑一天就可以了。
64个水分子的模拟,我是在去美国的飞机上跑通的。当时在飞机上用笔记本插着电跑,跑完之后出来的结果跟Roberto Car的模拟互相重叠,我甚至以为抄错数据了。下飞机以后我发给鄂老师写了一个邮件说了这件事情,然后他只回了一句话:"too good to be true。"
问:这个就是后来拿了戈登贝尔奖的的DeePMD算法吗?听起来对于分子模拟来说是一个划时代的突破,一下就能做很多以前不能做的事情。回到那个时间点,学界的反应是什么?
张林峰:对,这套算法后来发展成了DeePMD。我们相当于是提出了一个新的范式,但AI for Science在那个时候并没有一个明确的Benchmark。好在以前很多做量子力学计算的人有数据,因为计算的复杂度高,一算就要三个月,他们就在超算那等着。等待的时候他们发现DeePMD这方法挺好安装的可以试试,一试发现一天就能跑很多数据。
同时我们还做了一个开源社区DeepModelling,很快就有来自非常多不同领域,半导体、电池、合金材料、天文地理的科学家都拿AI for Science的工具做了很多应用。在这个基础上,它慢慢地形成了一个比较广泛的影响。
也是从18年开始,我们确定了分子模拟能真正打开微观工业研发的大门,而AI会推动整个工业研发新范式的变革。
创业:10亿做一个科学大模型,但当时兜里只有20万问:那个时候伟杰还在做投资,林峰博士还没毕业,为什么你们会决定要一起出来创业?
孙伟杰:我做投资就是为了创业,其实一直在找方向。
当时我看了很多AI相关的方向。我最早对AI的认知是:AI可以从大量数据里面找到背后的规律,所以说AI的价值是由它学到的规律的价值决定的。学到的规律越有价值,它就能解决越多问题。
林峰的工作让我意识到,世界上最高价值的规律不就是科学家研究出来的这些科学规律吗?它能解释世界上最复杂最多的现象。能把这么高价值的科学规律学会的话,那这个AI一定是最有价值的。
问:林峰呢?
张林峰:我在学术方面本来就很迷茫,迷茫在于虽然我特别想做一个科学家,但不知道选择怎样的方向探索,并且很长时间以来“理想中学术的样子”和“我看到很多从事学术研究的人实际展现的样子”有些不一样。幸运的是在普林斯顿又找到了AI for Science这条路。
问:所以你想做什么样的科学家?
张林峰:我希望自己还是回归好奇心的初心,解决我感兴趣的问题,定义有意义的问题,然后去解决有意义的问题。创业其实也是因为看到了这样的问题,可以在我们的认知范围内解决。
问:决定创业之后,你们有没有给公司设立一个愿景?
孙伟杰:要做一家源自中国,引领世界的科技公司。
后来发现这个牛吹出去也还挺难实现的,源自中国、引领世界、科技公司这三点可能是每一个拆出来都还行,合在一起就发现这样的公司很少。我们不敢定义自己已经实现了这样的目标,但我觉得我们确实是照这个目标在前行。
问:我们算了算,去年中国一级市场里拿到10亿以上资金的公司,除了那些做大语言模型的就是你们了。你们的融资过程应该比较顺利吧?
孙伟杰:其实每轮都遇到过很多困难。
我记得最早我们盘算了一下这个事情大概需要多少钱。当时我们想的是去训练一个涵盖宇宙所有物质的万物模型,我们觉得至少要需要10亿个数据点。一个数据点差不多10块钱,这个成本是可以优化的,如果我们优化到一个数据点1块钱,那也要10亿。但当时卡里只有20多万。
问:你们那个时候就想做预训练模型了吗?
孙伟杰:对,我们现在的状态和我们一开始设想的很像。现在做的很多东西都是19年就设想好的。当然中间有一些技术的冲击,比如2020年的AlphaFold2,比如ChatGPT,但我们本身还是很好的利用了所有新技术的浪潮。AI for Science的科学大模型,从分子模拟先是数据库,然后预训练模型,这些都是在19年我们已经做好的计划。
问:说回来,训练科学大模型要10个亿,你们一开始怎么去找钱?
孙伟杰:那个时候林峰还没毕业,不方便融资,我们就瞄准了参加比赛。
问:什么比赛?
孙伟杰:当时我们参加不少创业比赛拿到了奖金。其中最大的一笔奖金来自于中关村的颠覆性科技类项目,有1200万。我们是第一届最终入选的公司,当时花了挺大的努力,也很惊险。现场的评委非常资深,有一些评委是从事我们相关领域的,看到了我们的价值,所以说也算是比较幸运。
决赛的最终答辩是在张林峰提前定好的婚礼的第二天,前一天我们还开着车回张林峰的老家山西去举办婚礼。婚礼当天不得不喝酒,张林峰过来说:别喝太多啊,明天还要答辩呢,1200万!当时我直接就清醒了。
问:一开始反正也没法融资,所以先打比赛。
孙伟杰:对,奖金是分期到账的,对应着几个里程碑,但解决了燃眉之急。我们每个里程碑都double甚至triple完成的。
后来林峰20年初毕业,回来了我就可以融资了。当时BP都写好了,然后就碰上疫情了。那时候融资确实是摸爬滚打,林峰在线上也参与了很多次投资人的拷问,最后总算在林峰回来之前把第一轮融资搞定了。
问:第一轮拿了多少钱?
孙伟杰:1600万。第一轮融资完算是正式起步了,疫情期间我们才找了第一个办公室。后来林峰团队拿了戈登贝尔奖,把分子模拟的体系从百万直接推到亿级别,再后面的故事就有更多人知道了。
问:你们的第一个核心技术是DeePMD,但做一家公司的话,这个技术要怎么商业落地呢?
张林峰:我们做的第一件事情其实用伟杰在投资机构的方法论:做行研。那个时候我们有一个不错的开源社区,社区里面拿分子模拟技术做啥的都有,那我们就决定把这些行业都研究一遍。
孙伟杰:我们对电池、材料、半导体和药物这些领域建立的初步相对完整的认识基本上都是在那段时间。我和另一个同事很高强度的两天看一个行业,过了差不多有二三十个细分行业,看这些行业里面现在可能有哪些瓶颈。
问:当时得到了哪些结论?
孙伟杰:当时研究完,发现我们最适合做的是微尺度的工业设计和仿真。
19年8月份,我们决定先做FEP(注:FEP是一种用于计算分子A转变为分子B过程中自由能变化的计算化学方法。通过模拟分子结构细微变化引起的能量差异,能预测候选药物分子与蛋白质的结合能力,在药物研发中有重要应用。)药物领域已经有了一个微尺度的软件叫薛定谔,是一家美国上市公司,而FEP是他最核心的功能,当时也只有他做得好。但我们认为通过机器学习和分子模拟,我们可以做得更好。
张林峰:我印象比较深的结论有两个:一是很多行业不一定只有分子模拟计算是瓶颈,它有很多瓶颈,解决分子模拟then what?那这样的行业我们就放在之后再考虑。二是我们发现哪怕是在很合适的行业,要用一个新技术去解决实际问题,第一步并不是把这个新技术搞进去,而是把过去缺的课先补回来。
问:要把哪些缺的课补回来?
张林峰:学界和工业界要求的东西是不一样的。
比如前面说的FEP是计算药物分子与蛋白质结合自由能的变化。由分子A转变为分子B的过程可能有多种途径,学术界只需要关注其中有限的情况并且算准了,就足以成为一篇优秀的论文。
然而,在工业界,重点是确保转变过程中不会出现重大问题,无论是崩溃还是中断,都是不可接受的。因此,需要将解决方案提升到工业级,然后再结合更好的方案,这样才能充分发挥新方案的价值。
到2020年,我们才真正把自己定位成一家微尺度工业软件公司。现在不光是在药物领域,我们推出了BDA电池设计自动化平台Piloteye,这是世界上首个电池设计工业软件系统,而恰好电池也是我们国家的优势领域。
中国科技缺乏原始创新?一代公司有一代公司的使命问:过去中国科技企业一直被诟病说缺乏原始创新,你们怎么看这个问题?
孙伟杰:我的看法是,一代人有一代人的使命,一代公司有一代公司的使命,公司的目标是要创造经济价值,要有盈利。那在过去的一个历史阶段内,实现最大盈利目标的确可能不是通过原创技术。
国外的这些真正有非常强原创技术的公司,它一定是在实现了超额利润的基础之上,在追求下一个时代、下一个增长曲线的布局的时候,才有很多这种原创性的基础研究。
问:那你认为中国现在处在一个什么样的时代?
孙伟杰:中国已经走过了拿来主义的阶段,以后拿来主义的空间会变得越来越少。中国在很多产业已经走在世界前列了,这个时代在呼唤更多有底层创新技术的公司出现。但是当大家开始做底层创新,会发现做原始创新的效率是低的。所以说需要先对创新的方法、创新的手段做创新。
AI for Science就是对研发手段、研发能力的革新,让做底层创新的公司有更高投入产出比、更高效的研发方式。
问:当下最热的大语言模型其实我们还是在跟随国外的步伐,国内公司依然在集体追赶OpenAI。在AI for Science领域也是我们在跟随国外吗?
孙伟杰:不是,甚至有时候是反过来的。2017年鄂院士和林峰团队做出DeePMD之后,Google DeepMind才完成了一套十分相近的技术框架。我们做出用AI计算电子波函数的DeePWF之后,DeepMind又跟进了相同方向的解决方案FermiNet。2020年我们发布DeePKS,2021年DeepMind又发布了对标框架DM21。
当然,在2020年DeepMind做出了AlphaFold-2,改变了整个结构生物学领域。我们在21年成功复现了AlphaFold-2,在国内是第一个。
我可以说如果当时不是鄂老师一直在推AI for Science,我们没有创立深势科技,现在很有可能这个领域也是国外完全主导的。
问:你们的竞争者主要都有谁?
孙伟杰:主要是DeepMind和微软等。微软设置了一个全球四中心的AI for Science center。英伟达更多的聚焦在宏观、流体、固体的这些方向。国外的很多科研机构、很多高校包括美国能源部也都在这个领域有布局。
创业公司中比较有名的有SandboxAQ,他的创始人是谷歌的联合创始人谢尔盖·布林。他们也是用AI学习量子力学的方法做药物设计等方向,第一个应用的是FEP,听起来有没有很熟悉?跟我们的路径一模一样。但是它们第一轮公开市场的融资单笔已经拿到了5亿美金。
所以我说我们选了一个重要的方向,但是把自己丢进了一个地狱模式的难度里。
问:听起来确实很难,现在这个领域的人才争夺是不是也很激烈?
孙伟杰:我们近⼀年时间经历的“十动然拒”(十分感动,然后拒绝)⽐过去整个人生的都多。我们的海外的竞争对手每年是以数十亿美金为计的在投入这个领域,这个时候你就不会觉得我们融资顺了,我们还是深知自己还有很多地方可以做得更好。
问:深势科技现在有多少人?
孙伟杰:我司统计人数有两个口径,一个是全职员工,一个是总员工。
问:差异是?
孙伟杰:总员工接近300人,全职220左右,剩下的其实是实习生。
说到实习生,我们在融资的时候曾经有过一个非常“奇怪”的条款。在A轮融资的时候,领投方给我们的一个条件是,在完成本轮融资后的18个月内将公司的实习生的人数的比例降低到50%以下,说“你们公司实习生太多了”。
问:为什么会有这么多实习生?
孙伟杰:招不着全职的呀。AI for Science是个很新的领域,要求很强的跨学科能力,你既要懂Science,还要懂AI,我们根本从市场上招不到,最后决定从头去培养。全球可能最优秀的博士生有很多都在海外,但是最优秀的本科生都在国内,我们就从本科生大一大二开始培养。
问:实习生有多大比例最后留下来?
孙伟杰:那比例还是挺高的,也舍不得他们走。以前看到硅谷创业的那些故事,有很多本科就爱各种折腾的年轻人,深势就是这种人的天堂。
问:林峰怎么看这个领域的人才问题?
张林峰:人才其实不止竞争一个视角。我觉得更关键的还得是使命感和tech vision。我们要找的人,不是说希望通过AI的能力刷了个榜,或者发了篇大paper,或者说在一个技术杠杆没那么强的地方去做一些模式上的事情。我们希望吸引这些既懂AI又懂Science的人来,一起做一件虽然有挑战,但是也很有价值,有清晰实现路径的事情。
并且,“地狱模式”还有一个好处是没有过早的分工,我们可以更加放开想象力去做。我内部经常说,“如果你的反应不是退缩、而是激动”,那就应该一起做最伟大的事情。
提高原子使用率,科学大模型已经走到了GPT-2问:说说你们的科学大模型吧,伟杰前面说希望做一个万物模型,这是类似于大语言模型中的GPT吗?它进展到什么程度了?
张林峰:从技术上发展的话,我们觉得它跟GPT这样的大语言模型的相差的周期也就在一个小的技术周期内,也就是在三五年这样的周期。
问:这个对比结论是怎么得出来的?
张林峰:我们看AI的发展,在2011年的时候逐渐地证明了神经网络可以解决很多问题。2014到15年AlphaGo这种现象级应用出现之后,行业逐渐开始进入到技术基础设施建设期,这时候出现了TensorFlow、PyTorch这样的框架。18年出现了预训练模型,20年有了GPT-3。去年ChatGPT之后就进入到了应用的涌现期。
AI for Science差不多就是晚一个周期,15、16年那个时候人们开始用AI解决一些科学问题,包括AlphaFold最开始出现也是在那时候。然后到了20年有两个比较关键的点,一个是DeePMD拿到了戈登贝尔奖,另一个是AlphaFold2出世,证明AI for Science毫无疑问是可以做出非常牛逼的应用的,行业进入了技术设施建设期。现在该有的基础设施基本也都出现了。
而且我觉得AI for Science由于借鉴了很多过去大模型发展的路径,它的速度可能还会比大语言模型要更快一些。
问:这么一比较感觉确实很像。那你们现在找到了AI for Science领域的“GPT”模型架构吗?
张林峰:我觉得我们找到了GPT,甚至说AI for Science领域的GPT已经处在GPT2的阶段了,对应的是我们现在的面向物理世界的 DPA、面向化学世界的 Uni-Mol、面向生物世界的 Uni-RNA,还有其他,这些都是“微观大模型”的代表,都包含在我们的深势宇知®大模型体系中。接下来的问题就是Scale,然后再去期待这个上面怎么样找到更多的应用。
问:这里的Scale,和大语言模型中的Scailling law是一个含义吗?
张林峰:Scale这块是一个值得讨论的点,技术其实不一样,语言体系是自回归的,它天然有一个Scale的特性。
自然法则本来是Scale的,但我们有点像反过来,是anti-scale,这就是为什么要搞到原子级,因为你是scale back然后再重新reconstruct的过程,这个点是不一样的。
另外一个就是说科学问题的结构更丰富,很多时候不是一个单模态的扩展,而是这个组合型的scale,这也跟大模型有一些不同。当然训练模型的逻辑是一致的,有大规模的数据、大规模的训练模型实现更好的迁移创造和生成。
问:你们是怎么看AGI的?AGI和AI for Science是什么关系?
张林峰:与其谈我的理解还是不如谈大家觉得是啥,看起来大家觉得AGI是一个在计算机上的具有智能的一个系统。AGI在数字世界实现了闭环,更多的是一个具有通识的一个智能体。
而对于AI for Science来说是利用AI去拓宽人们的认知的边界,拓宽我们的底层构建能力,去重塑整个世界。到最后其实我们会发现AGI最后的边界还是物理,无论是物理规律还是物理的实体,在这一轮数字世界的闭环的基础上,下一步可能还是要跟物理世界产生一个有效的连接,这也是AGI和AI for Science产生连接的地方。
问:所以AI for Science其实是精确的模拟了物理世界,这样数字世界的智能体能更好地跟这个精确模拟的物理世界进行一些交互?
孙伟杰:先认知后模拟。AI学习虚拟世界的文字、图片的时候也是先认知它,然后才能生成想要的内容。那么AI学习了物质世界的底层的规律后,它就是理解了世界底层的原理,能生成我们想要的物质。所以我觉得AI for Science是掌握了物质的密码。以后想要什么物质可以用AI来帮我们设计、帮我们生成。
AGI不可能只认识数字世界的东西,也必须得理解我们的客观物理世界。所以,AI for Science也一定是通用人工智能其中的一部分。
问:如果给你们一个立马实现某一个愿望的机会,你们会想要实现一个什么样的愿望?
孙伟杰:我希望看到原子尺度的打印,你要啥打啥。
问:什么是原子尺度的打印?
张林峰:就是你每一个原子放在哪都是能打印出来的。其实到最后最大的瓶颈还是制造,原子尺度的活字印刷术。
孙伟杰:原子尺度的活字印刷术,这个是终极业务,这个如果实现的话这是上帝的业务。
问:如果这是一个终极目标,深势科技在其中要扮演什么角色?
张林峰:深势科技希望形成一个技术生态体系,来帮助人们做微尺度的科学研究和工业研发。从底层来说,其实是帮大家如何提高原子的利用率。给定这样的一个路径,我们就可以看到一些地方需要更加深入极致的产品打磨,另外一些地方需要非常开放的大规模反馈迭代。
目前,我们已经有专注软件的DeepModeling社区、提供“教学研用”一体化服务的玻尔科研空间站以及涉及数据模型工作流的AIS Sqaure。有了这些基础设施,科研工作者就能通过新的方式集结和协作起来,我们今年在推出DPA-2之后,也面向社区发起了OpenLAM大原子模型计划。
问:大原子模型?对标大语言模型吗?
张林峰:对,我们希望推动的技术不是比特世界的 Foundation Model,而是原子世界的 Foundation Model,并且是通过开源开放的方式来推动。
开源精神其实和我们的文化是一致的,我们想要推动一个向善的、真正做好事的技术体系,并且在生态共建的过程中持续成就伙伴。我们给OpenLAM起了个口号叫“征服元素周期表”。我们希望通过OpenLAM进一步打破数据壁垒,让研究人员可以一键获取任意元素组合体系的势函数,而不再需要费力生成大量新的第一性原理计算数据。
另一方面,我们一直说重构,发起这样一个大规模的开源协作本身也是“重构科研协作”的一个实践,鄂老师一直强调科研未来要走向“安卓模式”,我们认为未来的平台化科研和工业研发应该就是这个样子。