随着移动视频应用的推动,手机直播、VR、AR视频、直播互动等实时视频系统应用越来越广,基于视频营销、视频巡检、视频协助等应用在企业、娱乐、教育等市场普遍应用。但我们看到基于视频内容的分析还发展滞后,谷歌发布的云视频智能API给我们带来新的机遇,视频不仅仅是发布出来和观看的价值,还能够用于智能分析,基于内容挖掘价值,将成为未来新的发展机遇。
Google Cloud Next' 17大会上,谷歌负责人工智能和机器学习研究的负责人李飞飞女士,介绍了谷歌人工智能研究的新成果,以及可以供外部开发者利用的新接口等,发布了新的机器学习API:Video Intelligence API,可以自动识别视频中的物体,让视频实现可搜索。
李飞飞称,视频一直被视为计算机视觉里面的“暗物质”,无非像图片一样实现便捷的搜索,但新的API可以帮助开发者开发出从视频中读取实体的应用。
在Google Video Intelligence演示中,视频API可实现搜索棒球、狗这样的实体,并标出在视频中出现的位置,从而得到物体在视频中出现的频率。除了提取数据,API还允许在对变换的场景打标签。
随着移动视频应用的推动,手机直播、VR、AR视频、直播互动等实时视频系统应用越来越广,基于视频营销、视频巡检、视频协助等应用在企业、娱乐、教育等市场普遍应用。但我们看到基于视频内容的分析还发展滞后,谷歌发布的云视频智能API给我们带来新的机遇,视频不仅仅是发布出来和观看的价值,还能够用于智能分析,基于内容挖掘价值,将成为未来新的发展机遇。
Google Cloud Next' 17大会上,谷歌负责人工智能和机器学习研究的负责人李飞飞女士,介绍了谷歌人工智能研究的新成果,以及可以供外部开发者利用的新接口等,发布了新的机器学习API:Video Intelligence API,可以自动识别视频中的物体,让视频实现可搜索。
李飞飞称,视频一直被视为计算机视觉里面的“暗物质”,无非像图片一样实现便捷的搜索,但新的API可以帮助开发者开发出从视频中读取实体的应用。
在Googl Cloud Video Intelligence API 演示中,视频API可实现搜索棒球、狗这样的实体,并标出在视频中出现的位置,从而得到物体在视频中出现的频率。除了提取数据,API还允许在对变换的场景打标签。
演示视频:http://app-zbk.zhiboyun.com:8008/videos/12
在谷歌云官网视频内容智能识别频道,我们可以看到:
强大视频分析能力
谷歌云视频智能API提供REST API,通过提取视频特征数聚,能够进行视频内容搜索和分析。通过这些API方法,能够帮助用户识别主要的物体对象,分离音频信号,截取每帧视频截图。
获取视频传达信息
云视频智能API让开发者在不需要机器学习和计算机视觉知识的前提下, 从视频中提取动作信息。云视频智能API通过不断改善算法,新的概念引入,让算法更精确。
快速检索视频目录
云视频智能API帮助用户基于各种对象名称检测视频,了解个人视频目录内容,在每个视频上打上可理解的视频标签,就像搜索文本文件一样简单。
从噪音中分离信号
使用云视频智能API, 可以识别隐藏在声音噪音中的商业信息,或者在一段视频、截图、帧数据中检测出符合某种特征的实体。
在谷歌云官方网址上,https://cloud.google.com/video-intelligence/#demo 我们可以看到多组介绍和演示 “视频智能API”的例子。
通过这一技术,谷歌能够识别视频当中的各种动物、物体、风景等内容,识别视频场景的变化。
DEMO-1 ,Style Detection
视频标签: 在整个视频中检测实体,例如狗、花朵、人等
Video Labels:Detect objects, such as dog, flower, human, in the entire video.
(识别视频中戴眼镜的场景比例)
(识别出场景变化,艺术、学校、学习等关键场景及比例)
(谷歌云视频智能API 程序编写)
Google Cloud Video Intelligence API DEMO ,Style Detection,Video URL:
http://app-zbk.zhiboyun.com:8008/videos/13
DEMO-2, Vision API
谷歌云视频智能API 说明,例子讲解概念和工作方式,举例如何识别人脸、识别车辆等场景。
(Google Cloud Video Intelligence API DEMO,识别出卡通、图形、设计等场景和比例 )
(Google Cloud Video Intelligence API DEMO ,识别出车辆,玩具等场景和比例)
(Google Cloud Video Intelligence API DEMO )
Google Cloud Video Intelligence API DEMO ,Style Detection,Video URL:
http://app-zbk.zhiboyun.com:8008/videos/15
Demo 3, Volleyball Court
(Google Cloud Video Intelligence API DEMO,调用代码 )
Google Cloud Video Intelligence API,工作过程WEB 页面视频:
http://app-zbk.zhiboyun.com:8008/videos/11
还有一个在近期Google 对外提供演示的例子, 动物园老虎的例子视频智能识别。
(Google Cloud Video Intelligence API DEMO,对动物园场景视频智能识别数据展示 )
VIDEO URL 视频地址: http://app-zbk.zhiboyun.com:8008/videos/10
从功能上,这些识别技术和过去的图像识别、人脸识别存在相似之处,不过谷歌已经把识别提升到了视频的新领域。
目前,视频识别依然是一个新技术。许多互联网公司无法识别视频内容,要求用户在上传时提供诸多的标签,从而利用标签作为搜索依据。
过去,谷歌已经把许多机器学习的技术及时变成了软件开发接口,让开发者应用到自己的软件产品中。据悉,谷歌也正在把上述的视频内容识别变成接口,对外开放。
视频识别将具有重大的应用场景,比如在安全、打击恐怖主义等领域,政府或者警方可以对视频画面进行实时的监控和分析,快速抓捕恐怖分子。
经让互联网进入了网络视频时代,短视频、视频直播、手机直播、直播互动等新应用不断出现,但是与此同时,视频搜索的长期落后,成为行业的一个短板。不少消费者已经发现,在一些搜索引擎的视频搜索服务中,出现了准确率太低的现象,主要原因是搜索企业对于视频内容完全无法识别,他们只能根据视频周边的文字内容、视频标题等附加信息进行搜索,这导致差错率大大提高,也影响了用户发现更多精彩的视频内容。
值得一提的是,在人工智能、机器学习和图像识别方面,谷歌和Facebook展开了一场军备竞赛。在去年的一次开发大会上,Facebook相关团队负责人也曾经表示,Facebook已经具备了成熟的图像识别技术,目前正在进行视频识别的研究,希望能够尽早识别出视频中的人脸,方便搜索好友之间发送的大量视频。
除了视频API,李飞飞还表示Google的机器学习引擎ML Engine会向更广泛的用户提供。该引擎可以使用TensoFlow框架开发机器学习模型。
她还在演讲中提到,希望能让AI实现民主化,让更多人享受到AI的便利。