端侧AI何时会普及？澎湃科技：我们观察到一个现象，虽然现在AI硬件的风声很大，但实际上AI手机在整体市场占有的份额并不高，消费者对于AI硬件的整体感受度也不强，各位是怎么看端侧AI的发展趋势的？郑爱国：AI手机并不是普及度不高，而是在普及过程中面临技术突破的制约，导致大众还没有看到AI在端侧的应用。目前大模型的能力在云端已经很强，但是在端侧要压缩大模型的尺寸，而且受限于本地的算力，大模型还不能发挥其极致的性能，但我相信这个阶段很快就会过去。我们的模型厂商和硬件平台都在努力让大模型在本地的性能更好，让它在端侧迎来爆发。关于这个爆发何时来临，我认为大家的预测都可能会偏保守，相信随着大模型能力的加持，明年就能看到很多AI在终端的应用，“陪伴在人们身边的超级助理”会大面积出现。这个助理不仅仅有大语言模型的文字创造能力，还会有多模态功能。联想的AI PC基于本地模型、本地算力、个人知识库、自然语言交互、个人隐私保护，能够成为个人的设备助理、服务助理、工作助理。以前访问本地文档，需要记住它在哪、文件名是什么、存在哪个目录里，现在把所有文档放在个人知识库里，用户需要的时候就可以直接询问AI。按照未来大模型的发展趋势，随着算力越来越强，未来端侧可以提供更大参数的模型，再加上多模态功能，我认为明年、后年这种场景会越来越多。徐晧：大语言模型对参数要求较高，但现在我们已经实现了在手机上可以运行一百亿参数以下的模型，在PC上我们演示的是一百三十亿以下，并且这个能力还在不断提高。比如我们之前在端侧演示了基于Stable Fusion的生成式AI可以在一秒以内根据文字要求生成高清图片，以及其他大语言模型和多模态的在端侧独立运行的演示，我预计今年和明年，大家会看到相当数量的生成式AI和多模态AI在终端侧的应用场景不断涌现。李大海：我们现在戏称这些模型还是“硅基幼崽”，还很年轻、还很弱小，是人在用知识不断去喂养它。我相信，有一天它可能会成为人的朋友，再过一段时间，它甚至可能变成人的导师。我觉得人跟机器人、跟AI的关系是在不断变化的。大模型日新月异带来革命性新机会澎湃科技：AI搭载在电脑或者手机上有哪些难点？郑爱国：大家日常关注到的模型都是云端的千亿、万亿参数级的模型，而端侧大模型目前最高只能达到百亿参数。端侧大模型怎么更好地理解用户意图，是把大模型应用到本地的最大难点。在大模型能够理解意图之后的第二个难点在于，怎么让大模型把相应的功能调用起来，读取本地知识库，再综合生成正确的答案。第三个难点是在硬件方面，怎么让大模型速度更快，同时功耗更低。李大海：对于端侧模型演进，受两个因素影响：一是大模型知识密度（知识密度 = 模型能力 / 模型参数）的摩尔定律，我们叫面壁定律，它每8个月会翻一倍，另一个就是端侧算力的不断提升，这两个因素叠加之后，相信端侧模型会进步非常快。我们的目标是在端侧实现GPT-4水平的模型，如果能做到这一点，端侧的应用会进一步地爆发。徐晧：还有一个技术难点是，大语言模型数量众多而且不断演进，每个月我们都能看到一些新的模型发布。我们需要考虑的是，哪些模型是可以尽快落地的，哪些模型是我们能够缩小到较小的规模后在端侧运用的，我们会结合用户反馈对这些模型有更好的、更精准的定位，这样就不用因为层出不穷的大模型而经常更换使用的模型。澎湃科技：大模型的日新月异，也给硬件厂商带来了一些挑战,各位怎么看？徐晧：可以从两个维度看这个问题。首先，当我们说智能终端的时候，它有很多不同的终端形态，有智能手机，有AI PC，有自动驾驶车，还有智能机器人。其次，每一个终端上都有其独特的应用场景和技术要求，也有不同的技术路线和不同的大模型，如处理文字的模型、有多模态的模型、有智能体等。每一个方向都有它的技术难点，也都有技术挑战。我们不光要对每个终端形式做支持，还要关注不同厂商在每个终端上的技术侧重点，并且在每个智能终端上都要把握最新的技术趋势。端侧AI的爆发不仅是对硬件、软件，对整个生态系统都是一个挑战，但也是巨大的机遇。一旦大语言模型成熟之后，它所有的终端形式、和所有的应用都会有大幅度的功能提升，这对所有从业者来说都是非常好的技术创新和商业落地的机会。郑爱国：我们从原来串行做产品的方式，现在已经完全变成并行开发的模式。原来过去几十年其实在做一件事，但是在过去的一年里，我们可能做的都不止十件事，可能是一百件事。在硬件方面，我们现在跟踪独立显卡、集成显卡NPU、内置NPU、外置NPU等，硬件平台就已经有无数条技术线。在模型方面，我们不仅关注端侧比较小的模型，还关注端到端的解决方案，在边侧也要看600亿、700亿规模的模型。同时，大模型的使用场景也是五花八门。总之，我觉得现在挑战是一方面，但更多的是兴奋。AI能够创造更多用户场景和新的产业机会，能身处其中是特别兴奋的一件事。在价格战中错位竞争澎湃科技：目前大模型产业出现了明显的价格战趋势，怎么看待这个现象，为什么是现在？李大海：在我看来，大家有能力去做价格战，首先是因为技术上的突破。面壁智能提出了一个大模型的摩尔定律，按照这个定律的发展，推理的成本确实是在持续地下降。在成本下降的过程中，采取一些营销措施让用户、让行业感受到技术的进步，我觉得这也是一个好的策略。长期来说，我相信未来一定会产生又便宜又有毛利的API服务。作为一个端侧模型公司，我们不会参与价格战，因为我们的模型本身就放在端上，对于用户来说这个模型的成本是零。端侧模型在推理的时候不用将数据上传到云端去，所以端侧模型能够相对云端模型错位竞争，不用陷入到价格战中。澎湃科技：说起应用的话，怎么看AI硬件的成本问题？怎么降低成本，让更多的人能接受？郑爱国：我觉得这是个误解。大家说起AI PC就觉得好像是高价位的，并非如此，其实全价位段的AI PC都有。而且现在大模型对配置的要求没有大家想象得那么高，中国用户更不用担心这个问题，因为中国的PC市场现在是全球卷得最厉害的。AI PC确实需要内存够大，端测大模型要运行起来，就要一直要放在内存里。现在大家之所以能看到的产品比较少、比较贵，是因为把大模型放在硬件平台还有很多工作要做，比如软硬件的适配等，以确保它体验好、功耗低。我预计，未来大家会看到有越来越多价格竞争力的产品出现。