1、人工智能技术应用核心课程系列教材数据标注工程概念、方法、工具与案例第4章视频数据标注4.2 视频数据标注工具人工智能技术应用核心课程系列教材4.1 视频数据标注简介4.3 视频数据标注案例解析4.4 本章小结 4.5 作业与练习 视频数据标注是用机器自动生成自然语言文字来描述视频内容的过程。它在视觉和文字之间起到非常重要的桥接作用。视频数据标注目的是对场景中活动目标进行位置、形状、动作、色彩等有关特征进行标注；提供大量数据供跟踪算法使用，从而实现对场景中活动目标进行检测、跟踪、识别，以及进一步的行为分析及事件检测。4.1 视频数据标注简介 第4章视频数据标注（1）视频数据标注是实现视频搜索功能
2、的必然要求。互联网中的视频数据正以惊人的速度在增长，必须有新的检索方式来满足用户对视频的检索需求。而视频数据标注通过语义、内容等方式标注，则有利于视频数据搜索、管理和收藏。（2）视频数据标注要求是视频数据自身特征决定的。丰富的视频数据包含的海量信息，其内容更加丰富、直观和生动。这是其他媒体类型所无法比拟的。因此，视频数据的自身优势，决定了视频数据标注的发展前景更广阔。（3）视频数据标注是视频数据应用场景日益增加的需求。与图像技术一样，视频数据也可以应用于互联网娱乐、智能家居、智能医疗、新零售、安防、自动驾驶等领域。而且，相较于图像数据而言，图像数据是在一个时间点上的数据，而视频数据是在一段时间
3、上连续的一系列图像数据的集合，表达的信息更加丰富，因此具有更广的应用场景。4.1.1 视频数据标注的意义4.1 视频数据标注简介 第4章视频数据标注视频数据标注任务包含视频标签的时间位置、空间位置和标签信息标注等内容。标注文件的输出格式推荐使用易解析、易存储的数据格式，包括JSON、XML等。标注文件应该包含详细的标签信息。每个独立的标签应包含以下的信息：（1）标签编码：每个标签的独立编号；（2）文件路标：待标注视频文件名称或路径；（3）置信度：为标签的置信度；（4）每个标签中可能包含多个对象，对于每个对象需包含： 对象类型：例如 scene_classification； 对象详情：具体描述
4、对象的时间、空间信息和内容信息，或与其他 object的关系信息。对于视频中起始和结束帧的位置描述也应该放到对象详情中，比如：Object frame_index start 以及Object_frame_index_end。4.1.2 视频数据标注任务4.1 视频数据标注简介 第4章视频数据标注视频源数据管理包含视频信息管理和视频目录管理两大块。（1）视频信息管理：包含视频上传、视频修改、视频查询、视频删除、下载视频等功能。（2）视频目录管理：包含添加目录、删除目录和目录排序功能。视频管理的用例图如图所示。4.1.3 视频源数据管理4.1 视频数据标注简介 第4章视频数据标注第4章视频数据标
5、注4.1 视频数据标注简介人工智能技术应用核心课程系列教材4.2 视频数据标注工具4.3 视频数据标注案例解析4.4 本章小结 4.5 作业与练习 视频数据标注工具主要用于标注框标注、视频帧标注（俗称视频打点）、属性标注、视频跨帧追踪等。本标注工具涉及的术语如表所示。4.2.1 视频数据标注工具4.2 视频数据标注工具第4章视频数据标注（1）视频数据标注工具界面：视频数据标注工具界面包括工具栏、视野区、状态栏、属性区、对象列表区五个部分，如图所示。4.2.1 视频数据标注工具4.2 视频数据标注工具第4章视频数据标注（1）视频数据标注工具界面：工具栏、视野区、状态栏、属性区、对象列表区五个部分
6、功能介绍如下： 工具栏：用于整体任务或者显示的控制，可以进行任务获取、保存、撤销、恢复、提交等功能； 属性区：用于修改选中对象的属性。属性可以有单选、多选和输入3种类型，属性有可选和必选两类。 对象列表区：对象列表用来显示本条数据中已经标注的对象，前面是对象编码，后面是对象类别。可以在对象列表中选择某个对象。 帧控制区域：针对视频帧的操作，可对整条数据或单帧数据进行无效操作。4.2.1 视频数据标注工具4.2 视频数据标注工具第4章视频数据标注（2）视频追踪的逻辑：在视频跨帧追踪中，为了加快标注速度进行了自动化追踪的设计。 针对每个对象进行跨帧追踪，如果该对象在某帧进行了手动操作（包括调整位置
7、和调整属性），该帧中该对象的属性变为“手动”，该帧被称为该对象的“关键帧”。 两个关键帧中间的帧（中间这些帧被称为非关键帧）中的对象会根据前后两个关键帧中同一编码对象的位置进行插值运算（对于x、y、z坐标线性插值）。关键帧中对象的位置进行变动后会重新计算。 关键帧到本条数据的头或者尾部会一直复制关键帧的位置。 非关键帧对象的属性，会复制往上最近一个关键帧的。 如果非关键帧变成了关键帧，会重新针对相邻的关键帧计算非关键帧的位置，调整其后的非关键帧的属性。4.2.1 视频数据标注工具4.2 视频数据标注工具第4章视频数据标注视频数据标注流程：主要包括标注、质检、初验、终验、返修和查看界面，确认无误
8、后，保存、提交。（1）标注：针对未标注的数据或者预识别处理后的数据进行标注，如图所示。标注内容包括：新建对象、选中对象、移动对象、删除对象、修改对象、整条无效、当前帧无效、是否离开、属性选择、提交。4.2.2 视频数据标注流程4.2 视频数据标注工具第4章视频数据标注（2）质检：质检人员对数据标注人员标注结果的核验。视频数据标注质检界面如图所示。4.2.2 视频数据标注流程4.2 视频数据标注工具第4章视频数据标注（3）返修：返修指标注人员对不合格标注数据进行修改、提交的过程，视频数据标注返修界面如图所示。4.2.2 视频数据标注流程4.2 视频数据标注工具第4章视频数据标注视频数据标注工具可
9、以用于视频追踪标注、属性标注、准确率统计等。（1）视频追踪标注。具体内容如下： 标注内容：行人、车辆及其他物体运动轨迹及状态追踪； 标注要求：标注框标注+静态属性+动态属性+标注对象编码一致； 通用要求：标注框贴合度，标注准确度（误标注、漏标注），对象编码一致性。 数据来源：对原始视频进行抽帧处理，形成连续的图片。 标注页面分为四大区域：工具区、标注对象窗口、标注属性窗口、帧控制区域。 标注方式：对视频中出现的关键物体进行追踪标注，支持线下抽帧方式导入标注平台进行视频数据标注； 动态属性：标注物随着运动状态会发生变化的属性，如遮挡情况、阶段情况、运动轨迹等。4.2.3 典型视频数据标注方法4.
10、2 视频数据标注工具第4章视频数据标注（2）视频属性标注。通过视频了解动态信息，对动态事物进行属性判断或追踪性标注。具体内容如下： 标注内容：标注物位置、状态变化，属性判断，其他特点； 标注工具：包括展示区、标签区和统计区； 标注方式：播放视频，理解视频内容，标注视频属性，包括视频高清/低清；视频问题类型如卡顿、花屏、声画不同步等。4.2.3 典型视频数据标注方法4.2 视频数据标注工具第4章视频数据标注（2）视频属性标注。标注界面如图所示。4.2.3 典型视频数据标注方法4.2 视频数据标注工具第4章视频数据标注（3）标注准确率计算。数据质检完成后，根据标注结果与质检结果比对情况，计算标注的
11、准确率，标注人员和质检人员均可以在任务执行情况页面查看实时的准确率，准确率计算界面如图所示。4.2.3 典型视频数据标注方法4.2 视频数据标注工具第4章视频数据标注第4章视频数据标注4.2 视频数据标注工具人工智能技术应用核心课程系列教材4.3 视频数据标注案例解析4.4 本章小结 4.1 视频数据标注简介4.5 作业与练习 项目背景：该项目为某公司标注项目，应用于人体追踪识别领域，周期为2个月，规模为20万张。标注对象：使用矩形框标注所有人像，并对目标物给出分类和唯一的对象编码以及描述的其他字段。标注方法：（1）使用矩形框标注，需要包含整体物体，可以略大一些，遮挡比例需要预估。（2）整体物
12、体每10个视频帧标注一次，如遇特殊情况需要反馈后调整标注次数。（3）单视频帧标注多个对象编码，跨帧调整标注，设定属性继承，自动化追踪补全中间帧数该ID属性及矩形框。（4）合格率要求：标注框准确率95%以上，计算方式：准确率=正确标注框数/全部标注框数*100%。数据标注流程：原始数据清洗筛选数据标注数据初验（项目组）终验交付。4.3.1 矩形框标注案例：人体追踪属性标注4.3 视频数据标注案例解析第4章视频数据标注人体追踪标注属性示意图如下图所示。4.3.1 矩形框标注案例：人体追踪属性标注4.3 视频数据标注案例解析第4章视频数据标注项目背景：对足球比赛视频中的关键事件进行视频帧标注（俗称视
13、频打点），标注内容包括：事件起始帧、事件结束帧、事件类型、事件实际起止时间。标注事件：共11个，包括比赛开始、进球、射门、点球、任意球、角球、红黄牌、换人、庆祝事件、事件回放和视频损坏数据标注要求：（1）主要事件起始帧、终止帧误差分别不超过1秒为标注合格；（2）每段事件标注对应的属性包括：事件类型、事件实际起止时间；（3）为保证标注准确，标注时视频播放速度不超过2倍速；（4）漏标或事件类型判断有误，此段标注视为错误；（5）以一个主要事件的标注为单位，标注准确率在95%以上。4.3.2 视频帧标注案例：足球视频数据标注4.3 视频数据标注案例解析第4章视频数据标注数据标注流程：原始数据清洗筛选数
14、据标注数据初验（项目组）终验交付。视频标注界面及标注展示如图所示。4.3.2 视频帧标注案例：足球视频数据标注4.3 视频数据标注案例解析第4章视频数据标注第4章视频数据标注4.2 视频数据标注工具人工智能技术应用核心课程系列教材4.4 本章小结 4.3 视频数据标注案例解析4.1 视频数据标注简介4.5 作业与练习 本章主要介绍了视频数据标注的标注工具、标注任务、视频追踪标注、视频属性标注，以及针对人体、车辆、商场以及足球运动视频的案例分析。视频数据标注区别于图像数据标注主要是有时间轴，且视频数据标注能预测人们行为和物体运动轨迹，将会在更多场景取得更加智能化的应用。4.4 本章小结 第4章视频数据标注第4章视频数据标注4.2 视频数据标注工具人工智能技术应用核心课程系列教材4.5 作业与练习 4.3 视频数据标注案例解析4.1 视频数据标注简介4.4 本章小结 1什么是视频标注？2视频标注的内容什么？3视频标注主要应用于哪些应用场景？4视频序列标注有哪些流程步骤？5视频追踪标注的标注内容、通用标注要求是什么？6视频属性标注工具都有哪些？7如何进行视频追踪标注？8如何进行视频属性标注？9视频标注的规范是什么？10视频打点主要应用于哪些场景？习题：
