科技

您的位置:主页 > 科技 >

谷歌详细介绍MediaPipe对象检测与追踪系统‘滚球体育’

发布日期:2021-03-08 19:04浏览次数:
本文摘要:科技快报(映维网2019年12月11日)MediaPipe是用作建构跨平台多模态应用于ML管道的框架,其还包括较慢ML推理小说,经典计算机视觉和媒体内容处置(如视频解码)。在2019年6月举办的CVPR大会,MeidaPipe月开源,版本是v0.5.0。自那以后,谷歌相继公布了一系列的ML管道示例。 科技快报日前,谷歌撰文讲解了又一个MediaPipe示例:Object Detection and Tracking。

滚球体育

科技快报(映维网2019年12月11日)MediaPipe是用作建构跨平台多模态应用于ML管道的框架,其还包括较慢ML推理小说,经典计算机视觉和媒体内容处置(如视频解码)。在2019年6月举办的CVPR大会,MeidaPipe月开源,版本是v0.5.0。自那以后,谷歌相继公布了一系列的ML管道示例。

科技快报日前,谷歌撰文讲解了又一个MediaPipe示例:Object Detection and Tracking。谷歌首次叙述了新的公布的Box Tracking解决方案,并说明了它是如何与Object Detection融合并获取一个对象检测与跟踪系统。科技快报Box Tracking in MediaPipe科技快报MediaPipe v0.6.7.1带给了一种Box Tracking解决方案,而后者多年来仍然驱动着Motion Stills,YouTube隐私模糊不清,以及Google Lens的动态跟踪功能,并且它是利用经典的计算机视觉方法。

融合跟踪与ML推理小说可产生有价值且有效地的管道。所以,谷歌将Object Detection和Box Tracking融合在了一起,并创立了一个对象检测与跟踪管道。与每帧运营检测比起,反对跟踪的管道不存在多个优点:科技快报获取了基于实例的跟踪,即对象ID需要在多帧中保持。科技快报检测不一定必须每帧运营。

这样可以运营阻抗更高但更加准确的检测模型,同时为移动设备维持管道轻盈和动态。科技快报在跟踪的协助下,对象定位在时间方面保持一致,这意味著在整个帧中注意到的晃动较小。科技快报谷歌的标准化Box Tracking解决方案利用了视频或摄像头馈送东流中的图像帧,为方框方位获取时间砍,解释要跟踪的2D目标区域,然后计算出来每帧必须跟踪的方框方位。

在这个特定的用例中,方框的接续方位来自于对象检测,但接续方位同时可以由用户或其他系统手动获取。谷歌的解决方案包括三个主要组件:运动分析组件,流包组件,网卓新闻网,以及方框跟踪组件。

每个组件都PCB成MediaPipe计算器,并且Box Tracking解决方案整体回应为一个MediaPipe子图,如下右图:科技快报MotionAnalysis计算器萃取整个图像的特征(如低梯度角),随时间推移跟踪所述特征,将其分类为前景特征和背景特征,并估算局部运动矢量和全局运动模型。FlowPackager计算器将估算的运动元数据包为有效地格式。

BoxTracker计算器从FlowPackager计算器提供所述运动元数据和接续方框的方位,并随时间跟踪方框。BoxTracker计算器仅有用于由MotionAnalysis计算器分解的运动数据(不必须RGB帧)来跟踪单个对象或区域,同时区分其他对象或区域入。科技快报为了跟踪输出区域,谷歌首先利用了与所述区域比较不应的运动数据,然后使用递归轻权重大于二乘法(Iteratively Reweighted Least Aquares;IRLS)将参数模型数值到所述区域的权重运动向量。每个区域都不存在一个跟跟踪态,还包括平均速度,一组长时间特征与离群特征ID,以及区域质心等等。

滚球体育官网

跟踪状态的可视化请求参看右图,绿色箭头是正常值的运动矢量,红色箭头是离群值的运动矢量。请注意,由于每个特征的色块强度随时间推移大体维持恒定,所以仅有依赖特征ID才可隐式捕捉所述区域的外观。另外,通过将区域的运动分解成为camera运动和单个对象运动,你甚至可以跟踪无特征区域。

科技快报这一架构的优势在于,通过将运动分析拆分到专用的MediaPipe计算器,并跟踪整个图像的特征,谷歌可以构建很大的灵活性和恒定的计算能力,而且受所跟踪区域的数量容许。由于在跟踪过程中不用倚赖RGB帧,所述解决方案获取了在一批帧中内存元数据的灵活性。

通过内存,你可以及时地跟踪区域的向前和向后移动;甚至必要实时到登录的时间砍,从而构建随机采访跟踪。科技快报Object Detection and Tracking科技快报下面是用作对象检测与跟踪的MediaPipe示例图,它由4个计算出来节点构成:PacketResampler计算器;先前公布的ObjectDetection子图;环绕上述BoxTrakcing子图的ObjectTracking子图;以及绘制可视化效果的Renderer子图。

科技快报一般来说来说,ObjectDetection子图仅有在催促时运营,例如以给定帧速率或由特定信号启动时。更加明确地谈,在将视频帧传送到ObjectDetection之前,本示例中的PacketResampler将它们继续取样为0.5 fps。你可以在PacketResampler中将这一选项配备为有所不同的帧速率。

科技快报ObjectTracking子图在每个起源于帧动态运营以跟踪检测到的对象。它需要利用额外的功能来拓展上述的BoxTracking子图:当新检测抵达时,它将用于IoU(Intersection over Union;交并比)将当前跟踪的对象/方框与新的检测相关联,从而移除过时或反复的方框。


本文关键词:谷歌,详细,介绍,滚球体育官网,MediaPipe,对象,检测,与,追踪

本文来源:滚球体育-www.inforenang.com