为企业提供 AI 模型生产力工具,MLOps 服务商「星鲸科技」获数千万元天使轮融资
MLOps 服务商「星鲸科技」获数千万人民币天使轮融资,投资方为南山资本及远镜创投。
「星鲸科技」是一家 AI 管理和协同的服务商,为此提供 MLOps 平台和工具,成立于 2022 年。创始人徐串曾任前百度云首席架构师,前旷视科技首席架构师。
MLOps(机器学习运维,Machine Learning Operations)是一个快速成长的新兴领域。目前,MLOps 的市场规模 22 年达到 11 亿美元,有望实现高速增长,预计 2027 年将达到 59 亿美元。
就像云计算的兴起带动了软件研发和运维的改革,直接催生了 DevOps 赛道的兴起,MLOps 的道理也类似——原来,工程师需要在本地完成的软件研发,并且完成一个步骤后才移交到下一步骤,如今通过 DevOps 工具,从规划到部署的整个生命周期都能 " 上云 ",能够做到实时同步,并且统一了工作流,大大提升了软件开发效率。
MLOps 即是 AI 生产环境的工作 " 流水线 "。狭义上的 MLOps,即是将 AI 模型的设计、部署、运维统一管理起来。通过构建一系列流程、方法和平台工具,MLOps 能够让数据工程师、算法科学家、ML 工程师、测试、 业务研发等多个团队在上面进行沟通、协作和整合。
随着 AI 大模型成为热点,企业对 MLOps 的需求也水涨船高。前几年,企业训练和应用的 AI 技术主要应用的是小模型,无论是开发还是部署都相对容易,但 AI 的开发几乎都没有实现内部流程自动化,部署上线时间长;模型训练过程手动记录,项目交接难。而如今的大模型在数据、计算量、运维层面难度更高,拥有一个统一的开发、训练、部署运维工具,就显得更有必要。
AI 从设计、训练到部署运维是非常长的链条。而星鲸科技的定位,则是先围绕数据和模型两个环节,提供 MLOps 平台和服务。
徐串表示,之所以先围绕数据和模型,而不是做 " 大而全 " 的方案,是因为数据处理和模型是 AI 训练的核心环节,星鲸的路线,是先专注在这两个核心环节,再向外拓展更多能力。
" 如果说过去企业私有化模型的开发部署还是需要专门的算法工程师,那么在大语言模型时代,这件事会变得更加标准化,企业更多精力会放在建立自己的数据集上,通过合适的 Prompt(提示词)对模型进行微调以适合企业自身业务需求。这个过程中,对于数据和模型的标准化管理会显得更加重要。" 徐串解释。
当前,星鲸科技已经初步搭建起了包括数据和模型两大功能板块的平台。
在数据管理方面,星鲸科技可以灵活匹配不同的数据格式,用户只需少量代码即可实现数据导入 ,并且对不同数据集版本为数据添加各类标签以便管理。星鲸还会提供可定制的可视化组件工具,支持客户自己进行开发。
在模型环节,星鲸定义了标准的模型交付包,支持将模型文件、配置、相关推理代码等进行统一管理。在适配性上,星鲸也支持包括 GPU、CPU、车载芯片等设备。星鲸平台支持数据在线运行,快速显示模型评测结果。
" 现在 AI 生产的链条非常长,这导致 AI 应用门槛居高不下。未来,AI 普惠的趋势不会改变,如果我们将开发、部署等环境那些多余的能够去掉之后,用平台来做这种自动化对接,那意味着我们通过用 MLOps,能够减少人力成本,将 AI 技术的应用成本降到最低。" 徐串表示。
MLOps 应用在生产环节后,实际效果会怎么样?徐串举例,如果是在工业场景,以前一个百万级 AI 项目的传统做法是,至少需要一个现场的实施人员,对接客户的各种需求;以及一位算法开发人员,需要针对客户做定制化开发;甚至连数据也需要专人进行采集,从数据收集、管理、模型设计到最终,人力和物力成本都会很高。但在应用了 MLOps 平台后,以上环节的时间都能大大减少。
在 MLOps 这一细分领域,如今已经有包括 Kuberflow、Databricks mlflow 等开源项目,应用覆盖很广;而 AWS、百度等大厂也会自研 MLOps 平台,并且通常与 AI 服务一起打包对外;另外还有 Weights&Biases、Tecton、OctoML 等初创公司,也已经获得数亿美元的融资。
星鲸科技的优势在于何处?徐串表示,星鲸科技看好的是在大模型时代,开源生态将占据十分重要的地位。类似目前移动端市场的苹果和安卓两大生态,大模型也将分为闭源和开源两方。重视数据隐私的企业会更加倾向于私有化部署自己的模型,而不是把数据交给像 OpenAI 这样的第三方公司。星鲸采取开源的产品化路线,定位第三方开源软件,能够避免企业被底层的云厂商绑定,并且也能更灵活地针对客户场景提供服务,支持私有化部署。
目前的星鲸 Starwhale开源版本既支持企业端部署,也支持个人开发使用。除此之外,星鲸科技还即将推出星鲸云,包含目前开源的各类大模型和数据集,支持模型微调、评估和部署,方便中小企业和个人使用。
在市场策略上,星鲸科技会从自动驾驶等 AI 计算需求快速增长领域开始,如今团队已经完成产品初步开发,已与数家自动驾驶初创公司、供应商等进行合作。今年,星鲸也将会加速商业化落地。
如想加入社群,请扫码联系编辑。
责任编辑: 小艺