首个面向产业应用的AI开源评测基准AI-Rank正式发布

导读:(全球TMT2020年12月17日讯)近日,在2020中关村大数据日暨数字经济融合创新发展论坛上,中关村智用人工智能研究院(以下简称智用研究院)、百度、浪潮联合发布了面向产业应用的AI开源评测基准AI-Rank。此基准是在中关村管委会、中国科协科学技术传播中心的...

(全球TMT2020年12月17日讯)近日,在2020中关村大数据日暨数字经济融合创新发展论坛上,中关村智用人工智能研究院(以下简称“智用研究院”)、百度、浪潮联合发布了面向产业应用的AI开源评测基准AI-Rank。此基准是在中关村管委会、中国科协科学技术传播中心的指导下,智用研究院、百度、浪潮联合发起,基准所采用的评价体系可通过多个指标测试综合评分,能够客观、全面、系统地反映人工智能产业的现状及其发展方向。

区别于已有评测基准只注重单一速度指标,AI-Rank主指标侧重对方案面向产业应用水平的考量,通过多维度拟合给出综合表现,并提供系列子指标以对系统的技术优势进行全面展示。具体来讲,AI-Rank具备三大特色:面向产业应用进行指标设置,设定更广泛、系统、实用的量化评价体系;增加软件赛道,不能单纯比拼硬件速度,同时测评面向产业真实应用的软件能力;支持国产化,考察国产化生态,实现硬件、算法、平台的一体化协同发展。针对软件赛道,在同样的硬件设置上,综合考虑多种典型硬件配置,考察软件的综合表现,例如模型覆盖率、性能表现等。在硬件赛道,则会在给定的软件环境和AI任务上,针对不同硬件进行多方位指标的测试,以评价不同硬件的性能表现。

现场还发布了AI-Rank发展路线图计划,通过构建基石选择核心平台、算法、硬件,设定观察员席位参与讨论;吸引价值链上各环节参与者,包括企业科研机构与学校等参与并提供贡献两方面,最终将AI-Rank打造成国际领先的、具有广泛影响力和公信力的知名标准认证体系,通过开放性测评平台及专业认证服务,为企业在AI产业中带来巨大增值价值。目前,AI-Rank已经启动成员招募,并于明年5月30日公布第一次评估结果。