探秘视频数据挖掘的系统设计

　　据《硅谷》杂志2012年第19期刊文，视频技术的广泛应用产生海量的视频数据，挖掘视频数据中隐藏的规律和模式已成为一项重要且必要的工作，对所设计的视频数据挖掘系统中各主要模块的功能进行描述，对视频数据挖掘方法进行有益的探索。
　　关键词：视频数据挖掘；视频结构化；数据立方体
　　0引言
　　通过视觉对外部世界进行感知是人类获得外界信息的重要途径，人们将通过视觉获得的信息进行提取，并将其提供给大脑用以分类、对比、分析和记忆，这个过程与计算机对视频数据的处理很类似。随着电子技术的高速发展，除了传统的摄影器材，能够产生视频数据的设备种类越来越多，应用越来越广泛，如手机、相机、电脑、监控摄像头等。大量视频数据的产生，使自动从视频或图像数据中提取出人们所需要的数据成为一种重要的现实要求。视频挖掘可以广泛地应用到新闻视频、监控视频、纪录影片、数字图书馆等应用系统中，如从交通监视视频中，提取交通事故的模式、分析交通拥塞的原因等。
　　与数据挖掘以往面对的文本数据对象不同，视频数据挖掘面向的对象视频数据是非规则的且信息量非常庞大的数据格式，它不具备文本数据那样的语法及段落等规则，这就需要计算机具备与人相似的能力，比如人可以通过眼睛看到静止及运动的物体，感受其颜色、形态、移动方向、速度等各种信息并在头脑中留下印象。类似的计算机处理视频数据时要对视频对象的类似属性做出相应处理，不仅要对其存储和识别，还要寻找其内在的规律和有用的模式。
　　有关多媒体数据挖掘在国内的研究虽然起步较早，但一直未形成规模，成果也很有限。：武汉大学曹加恒等【1】提出了MDMP，这是一种以多媒体数据库为平台的多媒体数据挖掘原型系统。该系统描述了挖掘处理与知识表示，对多媒体数据特征立方体构建等相关知识进行了讨论，可以用来挖掘用户感兴趣的知识。国防科技大学栾悉道等【2】在定义新闻视频挖掘的含义并区分模式识别与多媒体数据挖掘等概念的基础上提出了新闻视频挖掘的框架，对新闻视频这种特定的视频数据的挖掘技术进行了深入研究。。
　　本文的组织结构为，首先对视频数据挖掘及相关概念进行了讨论，设计了一种视频数据挖掘的系统结构，对该系统中各主要模块的功能进行了描述，对视频数据挖掘方法进行了有益的探索。
　　1视频数据挖掘及相关概念
　　1.1视频数据挖掘
　　综合与视频数据挖掘有关的各类文献，一般认为，视频数据挖掘技术是对所挖掘的视频数据库中的数据不进行任何前提假设【3】，完全依赖在数据处理过程中获得的关于图像内容、物体结构特征、运动方式等特点，并根据这些信息在空间和时间上的变化所反映出的内在本质联系，采用已成熟的传统的数据挖掘方法去发现挖掘对象中存在的、未知的、有意义的结构模式，行为模式，事件模式等知识。
　　1.2视频数据结构化
　　传统的数据挖掘面向的对象是数据库中完全结构化的数据，WEB数据挖掘面向的是网页等半结构化数据，视频数据虽然有各种不同的数据格式，但都是非结构化的数据，其基本结构是由帧、镜头、关键帧、场景组成的层次结构。为了对视频数据进行有效挖掘，需要对视频数据进行结构化处理。结构化的过程为：对视频图像帧进行检测，通过对前后图像帧边缘对比，检测出不同的镜头单元，通过对镜头单元中的各图像帧进行分析提取该镜头单元的视频关键帧。视频组的获得则依赖于对所得关键帧的分析结果，在视频组的基础上，通过分析视频组间的相互关系确定视频场景。
　　2视频数据挖掘的系统框架设计
　　视频挖掘的系统框架如图1所示。图1反映了一个完整的从视频数据中发现模式的过程，包括数据预处理、多维数据分析、视频挖掘功能模块、解释/评估模块等。
　　
　　图1视频挖掘的系统框架
　　2.1数据预处理模块
　　数据预处理由两部分组成，首先由于视频技术在各领域和现实生活中的大量应用，视频数据来源十分广泛，不仅存储视频数据的介质多，而且视频数据的格式有几十种之多，为了应用数据挖掘工具进行有效的数据挖掘，必须要对视频数据挖掘的对象进行数据预处理，确定一种对于挖掘工具最为有效的数据格式，将所有视频数据统一在相同的存储介质上并对数据格式进行转换，得到统一格式的视频数据。由于新的视频数据格式不断涌现，数据预处理模块要不断更新，以适应各种视频数据转换。其次需要对视频数据进行结构化。结构化的结果是得到镜头单元，关键帧，视频组及场景。采用的方式包括物理及结构特征比较，色度边界比较，特征提取等，更进一步的技术可以借助字幕，语音等辅助结构化过程。
　　2.2视频数据库
　　视频数据库由媒体库、特征库、知识库组成，是整个挖掘系统的基础。其中媒体库中的内容是数据预处理模块处理过的视频数据，由于已经进行了数据结构化处理，可以方便地应用于多维数据分析模块。特征库里包含了应用于不同类型的视频数据挖掘所需要的语义、特征和模式，根据用户要求的挖掘类型进行相应的符合匹配。知识库包含领域知识和通用知识。
　　2.3多维数据分析模块
　　由于视频数据具有多维属性，每个图像帧都有颜色、亮度、结构特征等静态属性，它与关键帧有被表征的关系。镜头单元、视频组、场景具有动态属性，如颜色变化、亮度变化、形状变化、物体运动方向、速度等，这种多维属性的特征适于建立一个立方体进行描述。立方体虽然本身是三维的，但它代表了人类从多维角度观察世界的抽象方法。我们利用此概念来描述进行视频数据挖掘时需要根据不同属性建立多维立方体，从多维角度提取特征并结合特征库进行相似度匹配。
　　为了防止维数过多造成立方体庞大，挖掘工作量成指数增长，选择属性时应根据不同的挖掘应用及要求，有重点的选择，以尽少的维数，较高的效率实现最多的有用模式发现。
　　2.4视频挖掘功能模块
　　挖掘功能模块是视频挖掘系统的核心模块，在以上处理步骤的基础上，将以往一些已成熟的数据挖掘方法应用于视频数据挖掘，以发现其中的有用信息和模式，常用的挖掘方法有分类、聚类和关联方法。
　　分类是一种重要的数据挖掘方法，其目的是学会一个分类函数或分类模型，把数据库中的数据映射到给定类别中的某个类别。为了对常规数据进行分类需要先建立一个模型，然后使用模型进行分类。视频对象的分类就是把视频对象作为训练数据集，训练数据集的单个视频对象作为训练样本，并随机选取。根据特征库及用户需求确定一个模型，把视频数据对象映射到模型中的不同类别中，可以通过用户交互判断模型中数据分类的合理性，如果不理想可以修改参数或调整特征库重新分类，以获得期望结果。
　　视频聚类分析是将聚类分析方法应用于对视频数据的挖掘，将具有相似特征的图像帧，镜头单元等按特征进行划分类别，使不同类别中的视频对象具有最小的相似度，而同一类别中相似度最大。
　　关联规则应用于视频数据挖掘可以从视频数据集中提取出现次数最多具有最小支持度阀值数据对象，找到频繁模式集合，通过对模式的分析总结得到符合事物内在规律的判断并起到决策指导作用。如对同一地段多次发生交通事故的视频进行数据处理。
　　2.5解释/评估模块
　　挖掘出来的模式并非都是知识，只有经过解释和评估了的模式才能成为知识。在模式的解释和评估阶段，需要引入人和知识库的判断。有趣的模式将为决策提供有力的支持。
　　2.6可视化用户界面
　　在视频数据挖掘过程中，用户需要根据需求输入各种条件，数据处理过程也需要根据中间结果进行参数调整。作为视频数据挖掘系统，提供一个良好的、可视化的用户界面是必要的。可视化技术贯穿整个挖掘的全过程。在视频数据准备阶段，用户可能需要使用直方图等统计可视化技术来显示有关数据，以期对数据有一个初步的了解；在视频挖掘阶段，需要使用与具体领域相关的可视化工具；特别是在挖掘结果的表达与解释评估阶段，更离不开可视化技术的帮助。
　　3结束语
　　视频数据种类繁多，不同类型的视频具有不同的特点和模式，如监控视频、新闻视频、体育视频、电影视频等，通过不断的挖掘工作技术及经验积累，充实特征库和知识库，挖掘的结果将越来越符合用户要求。同时也需要更多的研究投入，发现新的更好的灵活高效的挖掘技术应用到相关行业领域中去，创造出更多经济效益和社会效益。
　　作者简介：
　　赵伟（1965-）女，辽宁沈阳人，硕士，副教授，研究方向：数据挖掘。