项目简介：基于视觉的游戏界面构造是十分困难的，因为它往往涉及复杂的图像处理和机器学习算法等只有领域专家才能掌握的知识，并且常常需要对各种算法进行繁琐、重复地开发，这大大阻碍了视觉界面的应用。而目前已有的大多数视觉界面工具箱普遍存在复杂难用的问题，缺乏统一的开发方法与支撑平台为非视觉专业的游戏开发人员提供有力的支持。对于非计算机视觉专业的普通游戏开发人员来说，需要通用的开发工具，能够方便、快速地实现特定领域的视觉界面应用，从而提高设计和开发的效率。 针对以上问题，在充分分析视觉界面的交互特征基础上，提出了非接触型设备交互模型；基于数据流图方法建立了支持连续信息输入的数据流模型来描述视觉界面信息的处理流程；在以上研究基础上，面向互动娱乐行业的实际需求，基于“paint-view-correct”隐喻构建了视觉界面设计开发工具IEToolkit。它包含了构造一个基于视觉界面的交互系统所需要的方方面面，尝试了各种新的技术，力求为界面开发者提供有力的支持。该工具箱能够为基于视觉界面的互动游戏的设计开发提供统一的平台和有效的解决方案，基于这个工具箱开发人员可以构建不同的基于视觉交互的互动娱乐游戏应用。

产品性能：对外封装和屏蔽了具体的图像处理、机器学习等底层的技术细节，降低了视觉界面开发难度。支持界面开发人员迅速地从视频流中提取出所需要的视觉交互特征信息； 系统内部提供了灵活的交互机制，支持高层的视觉交互事件处理机制和通用的视觉交互技术管理机制。对外则提供了可视化的用户界面，用户能够根据不同的应用定制或者扩展新的视觉手势类型并灵活地定义高层手势交互语义； 使用了插件设计思想提供了可扩展的接口，方便开发人员对系统特点进行灵活的扩展； 实现了对系统内部多个分类器的统一管理，方便用户根据实际应用需求对这些分类器进行动态配置。

应用行业：电子与信息

产业化前景分析:视觉交互是普适计算环境中自然人机交互的核心和热点课题之一，视觉界面的构造则是其中的基础和关键问题。支持视觉界面设计开发的软件工具箱IEToolkit及基于该工具箱的通用的软件开发方法，为视觉界面的设计和开发提供了一个统一的平台和实现方法学，国内尚未见同类研究成果，具有较好的创新性，对人机交互及软件工程领域的研究和应用具有一定的参考价值。结合承担单位在视觉界面研究与应用方面的工作基础和市场上的应用需求，课题组在开发上确定了“一个平台，多个应用”的课题开展指导思想，着重研究开发视觉界面设计开发工具平台，它有效地解决了传统工具箱所面临的训练过程复杂、学习门槛过高、难以直接与传统游戏开发系统集成等一系列问题。基于IEToolkit可以开发多个面向互动娱乐领域的游戏交互系统。如果将这一研究成果积极推广，与多家游戏公司建立密切的合作关系并辅助以良好的商业模式，市场前景将非常广阔。

应用范围：本系统面向的是非视觉专业的普通界面开发人员，为他们提供了一个支持快速的视觉界面系统开发平台。基于该工具箱平台，普通界面设计开发人员能够随意地把真实物理空间中(anywhere)的任何物体(anything)都变为互动娱乐系统中的道具，增强交互用户的临场沉浸感和交互性，因地制宜地享受娱乐系统带来的乐趣。可广泛适用于面向互动娱乐的各种应用领域，例如虚拟/增强现实、机器人控制、智能空间及计算机游戏等。 随着人机交互技术的发展，各种新的交互手段不断涌现，使人机交互朝着更加自然、高效和智能化的方向前进。基于视觉的用户界面是post-WIMP时代的一种重要的界面形式，与传统的WIMP交互方式相比视觉交互能够使用户摆脱鼠标键盘的束缚而采用一种更加自然、无约束的交互方式，从而提供给用户更大的交互空间、更多的交互自由度和更逼真的交互体验，具有较高的应用价值和良好的应用前景，因此被国内外越来越多的研究者所关注，迅速成为了人机交互领域一个热门的研究方向，并被广泛应用于虚拟/增强现实、普适计算、智能空间以及基于计算机的互动游戏等多个领域。