如何让大模型真正「下地干活」?|去大湾区一起踏浪AGI+
大模型为想象力、生产力的迭代提供了更广阔的空间。我们认为,迅速引入大模型为企业降本增效只是第一步,更高的天花板在于AI对于产品力的打磨。
同时,结合大湾区蓬勃发展的机器人产业和我们多年布局机器人赛道的行业观察,我们还讨论了多模态大模型对机器人赛道所带来的提升与挑战。
作为基础模型与应用层之间的中间层,向量数据库是Memory for AI,用于存储、索引和搜索来自机器学习模型嵌入的海量非结构化数据集,将数据对象翻译成AI的语言。
与传统的计算架构不同,AI架构中神经网络交互是一次Embedding的过程。大语言模型相当于Embedding的中央处理器、数据库做存储、Prompt则是一次交付过程。类比传统架构,为了提高效率,中间计算的部分会被存储起来,这样在算力紧张的时候就可以直接调用。
李晨 Zilliz联合创始人
用大模型做应用产品,有大量信息存储的需求。如果所有信息都进入模型,不仅模型体积会非常大,而且计算成本会非常高,会比向量召回高千万倍以上。因此,大模型需要向量数据库实现信息的连接与索引,解决记忆存储的问题。
此外,AutoAI、虚拟智能体等产品已经开始商业化运营。为发展并保持其个性和行为,Ta们也需要“长期记忆”,也就是用于存储的向量数据库。
Zilliz不仅为大模型提供“记忆体”,还快速为大模型的使用者上线了新应用。相较于传统的 AI 开发流程,Zilliz利用大型语言模型和向量数据库和一位Prompt engineer,在短时间内开发出了 AI 应用osschat.io,它可以把 GitHub 上一些热门项目的知识内容输入进去,方便用户快速检索,避免大型模型胡言乱语、自说自话,去解决特定场景的问题。
李晨也提到,大模型的能力将极大利好开发者,「AI民主化」将为广大开发者和创业者带来非常好的机会。参考当前github的数据,在开发者这一侧,还是以应用开发者为主,AI开发者还是非常少的,但在可预见的未来3-5年里,传统的应用开发者可能会结合大模型,涌入AI开发者的阵营。
在云启前沿科技组的AGI+美国之旅后,我们将来自硅谷一线的思考与启发带到了活动现场。在大模型的应用层生态百花齐放时,如何定义「好产品」是更为重要的课题。Midjourney短时间内收获千万用户,是因为画得「好」。审美的好坏带有一定主观性,因此这更考验企业“定义好”的能力。
在「创造与技术的未来边界」圆桌中,四位嘉宾回答了来自现场观众关于技术的多个提问。
甘如饴 IDEA数字经济研究院 封神榜大模型开源团队负责人
使用自然语言的生成式AI已经展现出如此好的使用效果,这是非常令人兴奋的。在数据方面,我们要更重质量而非数量,进一步提高数据的质量,而非盲目扩充数据量。
Wendy Yao 前GoogleX AI科学家 GoogleX Tidal 创始工程师
在变化特别快的技术环境下,我们还不知道未来会是怎样。AI可能不会出现新的Insights,但它应该可以做到和已有的电子化、信息化的数据拉平所有信息差。
陈 昱 云启 合伙人
很多产品都可以在大模型的基础上重新去定义和做一遍,只要模型够好,很多想象中的产品都可以实现。但创业是长线的,一个产品或企业真正在行业中有所反馈,一定是有滞后性的。如果太追求速度的话,可能会影响产品的质量。
Emily 云启 投资副总裁
未来,开源模型和私有模型会共存。开源模型选择更丰富、可控性更强,更易于微调;一站式封闭大模型稳定性更好,在full-feedback-loop模式下更利于模型进化,并进一步提高准确率和可靠性。
机器人被看作是大模型延伸至物理世界的重要媒介,面对大模型的能力涌现,机器人的感知、决策、交互、移动环节能够快速迭代,并完成过去被认为难以解决的问题。
在「AGI+机器人的创新与挑战」圆桌中,三位嘉宾与云启投资人共同探讨了大模型 + 机器人的新生态正面临哪些新机会与新挑战。
毕 盛 华南理工大学 副教授 大数据与智能机器人重点实验室
大模型可以让机器人拥有思维判断能力,更好地服务人类。未来,机器人可能要涉及到边端和云端的划分,可以考虑在某些情况下启用边端模型 + 云端计算的模式,充分调用超大模型的能力。
岳玉涛 集萃深度感知技术研究所所长、董事长 青腾未来科技学堂校友
多模态模型出现后,可以基于自然语言和符号训练机器人。在遇到意外场景、复杂性的追踪检测时,机器人是有可能通过神经网络来处理应对的。未来大模型面临三个关键问题:第一,与物理世界的交互闭环能力;第二,任意多步逻辑推理能力;第三,自主训练和学习能力。
严启凡 大方智能 联合创始人 博智林基础研究院的院长
传统机器人还是会把感知、决策、控制、规划、驱动等几个大方向分开分析,会根据不同方向对时效性和准确性的要求去分别加权处理,未来如果启用大模型算力时,我们会需要评估好成本投入。
桑 煜 云启 前沿科技组投资人
大模型拉平了技能与认知的壁垒,但始终还是停留在虚拟世界的层面。机器人为AI走进现实世界、进行物理交互提供了更大空间。在收集足够多高质量行业数据的前提下,大模型让机器人有可能进行自适应和个性化处理。在实际落地时,公司也要考虑优化性价比,寻找功耗与能效的平衡点。
如想加入社群,请扫码联系编辑。

责任编辑: 小艺