benchmark是啥意思(ai产品验证是什么?)

   2023-03-23T14:29:13   38456 人阅读

在这一轮AI技术产品化的过程,我们看到的是技术和产品相互成就,螺旋上升的过程。在这个过程中,作者从三个阶段来看AI产品的成熟度,就是产品是否通过了技术验证、产品验证、商业化验证。一起来文中看看吧。

一、AI产品的技术验证

AI技术,我们只看深度学习为代表的所谓“新一代人工智能技术”。但是深度学习为代表的人工智能技术,在笔者看来又分为两个阶段,第一阶段是有监督+小模型,第二阶段是自监督+大模型+多模态的阶段,这里就不展开说,有兴趣可以等我总结《AI产品经理看两代深度学习技术的产品化落地之路》。

无论AI技术怎么划分,一个企业依托AI技术的产品化和商业化,都绕不开要解决解决技术验证的问题。技术验证是验证什么?为什么需要技术验证?在产品落地过程中我们还经常听到POC(proof of concept)我们叫概念验证,我们暂且认为在AI产品验证中,POC就是技术验证。

技术验证的目的,是技术在场景应用中的可行性验证,比如算法可以支持人脸识别,但是在非洲的人脸识别行不行,这个就得找一个对应的场景或者数据验证一下,最后可能精度不够高,或者没有足够数据,无法满足客户场景需求,那么这个就是AI算法上不可行了。

再比如L4自动驾驶,假设政策标准的要求是某种测评标准下要达到行人检测100%召回率,也就是一个都不能漏,可能包含了雨天、黑夜、黑夜暴雨、覆盖数万公里,这样苛刻的评测标准,那么在某个阶段,某些公司的技术可能没那么先进,那么对这些企业来说,这就是技术不可行,就是无法通过技术验证的,就更不要说产品验证、商业化验证了。

尽管有一些技术不行的产品,确实实现了产品化甚至商业化,但是实际上,技术不行导致使用体验极其糟糕,就比如很早我就看到用人脸识别做一个锁,但是经常无法识别,好在输入密码这个功能一直保留着,那它本质上还是一个密码锁,而且绝大部分时间,就是一个纯手动密码锁。

如何实现技术验证?最重要的还是一套符合商业场景需求的评价基准,我们一般称为benchmark,这也是学术上惯用的方式,但是这里我们讲的是满足商业场景需求的评价基准,这是和学术评价基准不同的本质区别,毕竟我们的目标是产品化和商业化,而不是写一篇论文。(后续《实现商业场景的技术验证——构建符合商业场景需求的评测基准》中详细讲)

二、AI产品的产品验证

技术可行就可以产品化了吗?那当然不是,技术产品化之路有几个两大难题,第一个是成本难题,第二就是应用闭环。成本难题好理解,技术要产品化和商业化,不能太贵。应用闭环是指从简单核心技术,到整个产品化流程的闭环。这两个问题在下面展开讲。

技术的早期都伴随高成本,毕竟无论是技术、人才还是生态在技术突破的早期都是稀缺。拿自动驾驶汽车来说,早期的激光雷达,动辄几十万上百万,比车本身还贵,但随着近5年自动驾驶的发展,激光雷达成本骤降到千元,已经在一些新势力汽车中安排上了。这也就是边际成本递减效应。产品验证要做的,是明确技术路线主流且生命周期较长,实现产品的边际成本递减,还要关注技术成本在解决用户问题本身的价值。

在我的职业生涯中,我曾经看到某团队做出了极其昂贵(数百万)的算法平台,并指望这个产品可以落地到预算只有10w级的客户群体上,而市面上有许多同类产品就是10w级别的价格。

应用闭环是技术到产品100公里的最后10公里,为什么是10公里而不是1公里,因为这件事也没那么简单,特别在业务门道多的领域,坑着实多。

在AI领域,早期都是算法可行,就订单可行了。但实际上,技术可行验证很多时候,掐头去尾,数据很理想地给输入,输出也很简单地呈现,但很多时候,业务的要求,如何获取数据,或者说打通不同系统的数据、如何管理中间的数据和结果,得到的结果面对不同的业务利用什么业务逻辑处理等,规模化情况下如何高效调度等等,这些都是典型的AI工程化问题。但是这些问题很多时候,并没有在技术验证中考虑,但这些问题却非常麻烦。

例如产品化过程中,面向的行业有特定的严格的标准,甚至放在今天,对国产化有非常高的要求,这都可能掐死已通过的技术验证。在我经历的过往一个产品在提供给某个大厂,就因其严格的安全要求,使得产品的技术组件几乎大换血,产品的加密方案也实现重构。从技术到考虑业务场景真实的需求,设计满足流程要求、安全保护、授权、漏洞、运维要求等等的产品,这是应用闭环,真正实现产品从0~1。

三、AI产品的商业化验证

在AI技术产品化,面向G端和B端的时候,有时候产品往往变成单一项目交付,或者时小范围项目交付,产品商业化泛化能力不够。一方面是产品商业化设计上欠缺考虑,一方面也跟产品落地的场景和特征有关系。

比如面向G端安全相关部门的业务,你就很难通过saas收费,很多时候是私有化交付,这个面向不同客群有不同的模式。面向G端的一些项目,产品经理会发现产品化路上依然很难摆脱繁重的定制、运维等,项目制负重前行,人力、维护、管理等难度都非常大,没有好的销售渠道通路、以及售后支持,如何玩转?显然,产品可能功能不错,但是如何让下游集成厂商或者运营商很好用起你的产品,减少人力投入、减少维护管理。问题多多。

如果在这些方面经不起商业化的验证,产品依然很难存活。

举个例子:AI早期企业码隆科技给沃尔玛做了一套AI称重系统,并且在沃尔玛获得认可,严格来说,从功能和体验上是一个不错的产品,但是在商业化上并不顺利。再举个例子,早期格灵深瞳有一 款行为分析产品,投入了很多,但是做出来之后一直无法变现,直到一个偶然的项目,针对银行场景安防的一个极其特殊的操作而被用上,但是产品的设计之初,并没有这样的设想,属于运气式地找到了商业化场景。

商业化验证主要是通过商业模型或者叫商业模式,从付费模式、渠道通路、合作生态、价值主张、时机、客户关系等等多个维度验证产品的商业化可行,当然这个商业模型还包括一个最核心的就是投产比ROI,简单来说还是账最后要算得过来。

在商业化验证这个环节,还有一个比较有趣的案例,就是百度的robotaxi。百度在robotaxi上面在国内是走的最领先的,在出租车这套商业模型中,一旦实现替代人,那么车自己就一直在接客赚钱了,那么车的价格,人力的价格,运营车辆的寿命,收入等核算下来,商业模型在可行性上逐渐看到希望,比如百度最新一代的robotaxi已经把成本做到了25w,粗算只要2.5年就可以回本,而对比当前出租车司机还需要支付费用,省掉出租车司机之后成本可以大幅下降。当然,百度现在还在持续试运行,但是可以看到在不远的未来,这套商业模式可能会成功。

做一个好的AI产品,道阻且长,成功经过技术验证、产品验证、商业验证考验,真正进入良性飞轮状态的少之又少,加油吧AI产品经理。

本文地址: http://www.ycbundytube.com/shbk/693.html
版权声明:本文为原创文章,版权归  俊才生活记 所有,欢迎分享本文,转载请保留出处!
PREVIOUS:耶和华是爱(基督徒婚礼歌曲)
NEXT:羊驼是什么意思(羊驼(alpaca)和驼羊(alpaca)的区别)