谷歌发布云视频智能API,要给计算机视觉“黑暗物质光芒”

发布时间:2017-03-10

 随着移动视频应用的推动,手机直播、VRAR视频、直播互动等实时视频系统应用越来越广,基于视频营销、视频巡检、视频协助等应用在企业、娱乐、教育等市场普遍应用。但我们看到基于视频内容的分析还发展滞后,谷歌发布的云视频智能API给我们带来新的机遇,视频不仅仅是发布出来和观看的价值,还能够用于智能分析,基于内容挖掘价值,将成为未来新的发展机遇。

 

Google Cloud Next' 17大会上,谷歌负责人工智能和机器学习研究的负责人李飞飞女士,介绍了谷歌人工智能研究的新成果,以及可以供外部开发者利用的新接口等,发布了新的机器学习APIVideo Intelligence API,可以自动识别视频中的物体,让视频实现可搜索。

李飞飞称,视频一直被视为计算机视觉里面的暗物质,无非像图片一样实现便捷的搜索,但新的API可以帮助开发者开发出从视频中读取实体的应用。

 

Google Video Intelligence演示中,视频API可实现搜索棒球、狗这样的实体,并标出在视频中出现的位置,从而得到物体在视频中出现的频率。除了提取数据,API还允许在对变换的场景打标签。

 

随着移动视频应用的推动,手机直播、VRAR视频、直播互动等实时视频系统应用越来越广,基于视频营销、视频巡检、视频协助等应用在企业、娱乐、教育等市场普遍应用。但我们看到基于视频内容的分析还发展滞后,谷歌发布的云视频智能API给我们带来新的机遇,视频不仅仅是发布出来和观看的价值,还能够用于智能分析,基于内容挖掘价值,将成为未来新的发展机遇。

 

Google Cloud Next' 17大会上,谷歌负责人工智能和机器学习研究的负责人李飞飞女士,介绍了谷歌人工智能研究的新成果,以及可以供外部开发者利用的新接口等,发布了新的机器学习APIVideo Intelligence API,可以自动识别视频中的物体,让视频实现可搜索。

李飞飞称,视频一直被视为计算机视觉里面的暗物质,无非像图片一样实现便捷的搜索,但新的API可以帮助开发者开发出从视频中读取实体的应用。


在Googl Cloud Video Intelligence API 演示中,视频API可实现搜索棒球、狗这样的实体,并标出在视频中出现的位置,从而得到物体在视频中出现的频率。除了提取数据,API还允许在对变换的场景打标签。

 

google cloud video intelligence API Conference meeting demo



演示视频:http://app-zbk.zhiboyun.com:8008/videos/12
 

在谷歌云官网视频内容智能识别频道,我们可以看到:

强大视频分析能力

谷歌云视频智能API提供REST API,通过提取视频特征数聚,能够进行视频内容搜索和分析。通过这些API方法,能够帮助用户识别主要的物体对象,分离音频信号,截取每帧视频截图。

获取视频传达信息

云视频智能API让开发者在不需要机器学习和计算机视觉知识的前提下, 从视频中提取动作信息。云视频智能API通过不断改善算法,新的概念引入,让算法更精确。

快速检索视频目录

云视频智能API帮助用户基于各种对象名称检测视频,了解个人视频目录内容,在每个视频上打上可理解的视频标签,就像搜索文本文件一样简单。

从噪音中分离信号

使用云视频智能API, 可以识别隐藏在声音噪音中的商业信息,或者在一段视频、截图、帧数据中检测出符合某种特征的实体。

 

在谷歌云官方网址上,https://cloud.google.com/video-intelligence/#demo 我们可以看到多组介绍和演示 视频智能API”的例子。

通过这一技术,谷歌能够识别视频当中的各种动物、物体、风景等内容,识别视频场景的变化。

DEMO-1 Style Detection

视频标签: 在整个视频中检测实体,例如狗、花朵、人等

Video LabelsDetect objects, such as dog, flower, human, in the entire video. 
 

Cloud Video Intelligence API Demo

(识别视频中戴眼镜的场景比例)

 

Cloud Video Intelligence API Demo

(识别出场景变化,艺术、学校、学习等关键场景及比例)

 

google Cloud Video Intelligence API Demo

(谷歌云视频智能API 程序编写)
 

Google Cloud Video Intelligence API DEMO Style DetectionVideo URL

http://app-zbk.zhiboyun.com:8008/videos/13

 

DEMO-2Vision API

谷歌云视频智能API 说明,例子讲解概念和工作方式,举例如何识别人脸、识别车辆等场景。

 

 Cloud Video Intelligence API Demo
Google Cloud Video Intelligence API DEMO,识别出卡通、图形、设计等场景和比例 )

 

(Google Cloud Video Intelligence API DEMO ,识别出车辆,玩具等场景和比例)
Google Cloud Video Intelligence API DEMO ,识别出车辆,玩具等场景和比例)

 

Google Cloud Video Intelligence API DEMO
Google Cloud Video Intelligence API DEMO

 

Google Cloud Video Intelligence API DEMO Style DetectionVideo URL

 http://app-zbk.zhiboyun.com:8008/videos/15

 

Demo 3Volleyball Court
 

Google Cloud Video Intelligence API DEMO

(识别旅游场景,树木、篱笆等)

 

 Cloud Video Intelligence API Demo
Google Cloud Video Intelligence API DEMO,调用代码 )

 

 

 

Google Cloud Video Intelligence API,工作过程WEB 页面视频:

http://app-zbk.zhiboyun.com:8008/videos/11

 
 

还有一个在近期Google 对外提供演示的例子, 动物园老虎的例子视频智能识别。
 

Cloud Video Intelligence API Demo ZOO

Google Cloud Video Intelligence API DEMO,对动物园场景视频智能识别数据展示 )


VIDEO URL 视频地址: http://app-zbk.zhiboyun.com:8008/videos/10

 

从功能上,这些识别技术和过去的图像识别、人脸识别存在相似之处,不过谷歌已经把识别提升到了视频的新领域。

目前,视频识别依然是一个新技术。许多互联网公司无法识别视频内容,要求用户在上传时提供诸多的标签,从而利用标签作为搜索依据。

过去,谷歌已经把许多机器学习的技术及时变成了软件开发接口,让开发者应用到自己的软件产品中。据悉,谷歌也正在把上述的视频内容识别变成接口,对外开放。

视频识别将具有重大的应用场景,比如在安全、打击恐怖主义等领域,政府或者警方可以对视频画面进行实时的监控和分析,快速抓捕恐怖分子。

经让互联网进入了网络视频时代,短视频、视频直播、手机直播、直播互动等新应用不断出现,但是与此同时,视频搜索的长期落后,成为行业的一个短板。不少消费者已经发现,在一些搜索引擎的视频搜索服务中,出现了准确率太低的现象,主要原因是搜索企业对于视频内容完全无法识别,他们只能根据视频周边的文字内容、视频标题等附加信息进行搜索,这导致差错率大大提高,也影响了用户发现更多精彩的视频内容。

值得一提的是,在人工智能、机器学习和图像识别方面,谷歌和Facebook展开了一场军备竞赛。在去年的一次开发大会上,Facebook相关团队负责人也曾经表示,Facebook已经具备了成熟的图像识别技术,目前正在进行视频识别的研究,希望能够尽早识别出视频中的人脸,方便搜索好友之间发送的大量视频。

除了视频API,李飞飞还表示Google的机器学习引擎ML Engine会向更广泛的用户提供。该引擎可以使用TensoFlow框架开发机器学习模型。

她还在演讲中提到,希望能让AI实现民主化,让更多人享受到AI的便利。

 


参考链接: