五分钟技术趣谈 | 浅谈虚拟现实与眼动追踪技术

,眼动追踪技术经历了从直接观察到侵入式再到非侵入式的发展过程。早期的眼动追踪技术主要应用于心理学领域，常用直接观察法粗略地描述眼动。侵入式眼动追踪法，如机械记录法、探查线圈记录法等需要测量装置与眼部直接接触。机械记录法直接将橡胶吸盘吸附在眼球表面来记录眼动数据，十分容易造成眼部不适。探查线圈记录法则需将感应线圈嵌入眼睛中，通过线圈在电磁场中运动产生的电磁信号来记录眼动轨迹，此方法对眼睛有一定的伤害，无法长时间佩戴。,20世纪以来，摄像技术、红外技术与计算机技术的发展推动了非侵入式眼动追踪技术的研发。非侵入式眼动追踪方法包括红外线法、视频记录法等。红外线法，如巩膜-虹膜边缘法，利用红外光照射人眼，并在眼部周围安装红外光敏管来接收巩膜和虹膜边缘处反射的红外光。通过眼球转动时巩膜和虹膜反射的不同红外光线无接触地测出眼动。视频记录法主要利用摄像机记录眼动过程，通过计算机自动分析处理视频图像获取眼动数据。摄像机采集眼部图像或眼球反射的红外线图像，通过预设的模型进行图像数据与实际注视点的映射，实现非侵入式的瞳孔检测和注视点估计。,随着数字影像设备、计算机视觉、图像处理、机器学习的快速发展，现代的眼动追踪方法大多采用图像采集设备记录眼动的视频，然后利用图像处理技术提取与眼动相关的特征，通过建立模型实现眼动追踪。目前常用的方法有基于二维映射的眼动追踪方法和基于外观的眼动追踪方法等。,基于二维映射的眼动追踪方法通过构建实际注视点与检测的二维视线参数的映射模型来实现眼动追踪。瞳孔-角膜反射向量法是目前主流的基于二维映射方法之一，其基本原理是当红外光源照射眼部时角膜会产生明显的反射，若红外光源和图像采集设备固定，当眼球转动时瞳孔位置会发生改变，而角膜反射光斑的位置不会变化，因此可将其作为瞳孔运动的参照点，根据瞳孔中心与角膜反射点的相对位置变化来估计眼球的运动。如图1 所示，首先在校准环节根据已知注视点与瞳孔-角膜反射向量构建瞳孔中心与角膜反射向量的映射函数。校准时受试者需观察屏幕上特定位置出现的点，校准点通常为1点、3点、5点、9点及13点，利用角膜、瞳孔与反射光斑的信息来分析实际注视点与瞳孔-角膜反射向量之间的关系，目前主要采用多项式拟合、支持向量回归、神经网络等方法。然后用摄像机采集眼部图像，经过图像处理后识别瞳孔中心与红外光源在角膜的反射点，构建瞳孔-角膜反射向量。最后将瞳孔-角膜反射向量作为输入，通过预设好的映射函数计算出实际注视点。,
,图片,图1 瞳孔-角膜反射向量法示意图,基于外观的眼动追踪方法通常以人脸图像或眼部图像为输入进行高维特征提取，然后通过机器学习方法学习高维特征与低维视线之间的映射函数。该方法设备简单，但需要大量的训练数据来学习映射函数。早期主要采用KNN、支持向量机、随机森林等方法进行训练。随着大量开源数据集的收集和公开，以卷积神,经网络为代表的深度学习模型也被大量地应用到基于外观的眼动追踪方法中。训练完成后的模型，以眼部图像作为输入即可获取实际注视点的位置。,眼动追踪能够帮助用户获取物体位置并得到观察事物深度的特点，使其在虚拟现实与增强现实领域能为用户提供更好的交互体验和沉浸感。眼动追踪在VR领域主要有注视点渲染、眼控交互、虚拟社交、身份识别以及眼动数据分析五大应用。,(1)注视点渲染：基于人眼的视觉生理特征，对用户注视的中央凹视野区域进行高清渲染，边缘视野则使用低分辨率渲染。从而降低渲染带来的画面延迟，提升渲染帧率，降低GPU压力，减轻用户的眩晕感，显著提升用户的沉浸式操控体验。,(2)眼控交互：作为辅助交互的一种新形态，帮助用户通过眼睛就可以与VR场景中的元素进行交互，实现选择、瞄准、注意力反馈等交互内容，进而在VR场景中建立眼动、手柄、手势、语音等多模态的自然交互系统。,(3)虚拟社交：在VR环境中，通过虚拟人物(Avatar)实时重现人眼的各种动作状态，如视线方向、眨眼、眯眼等。在VR社交、VR会议等VR应用中使用，可以丰富虚拟人物的情感表达，带来更加贴近真实的虚拟社交体验。,(4)身份识别：在账号快捷登录、虚拟超市支付等有身份验证需求的场景中，针对用户佩戴VR头显时人脸识别不可用的特殊性，通过眼球追踪技术进行身份识别和注册，绑定用户的账户信息，提升VR使用的安全性与便捷性。,(5)眼动数据分析：收集用户的眼动数据，通过注视时长、注视次数等分析其注意力分布情况，结合心理分析，可用于用户体验分析、市场营销分析、教育培训、心理康复、视觉训练、军事训练等众多领域。,实际应用场景中，基于外观的注视点估计方法需要大量的训练数据使得深度模型算法稳定性更强，但眼动数据的采集标注通常会耗时费力，因此研究小样本情况下的新型学习理论与方法，如元学习、迁移学习、数据对抗生成等方法具有重要的研究意义。其次，以往VR眼镜常用的菲涅尔光学方案的空间较大，因此眼动追踪模块的光学设计空间充裕，但随着PANCAKE光学方案的应用，光路设计的空间被极度压缩，原先的眼动追踪光学方案无法实现。因此将眼动追踪的光路设计和空间需求压缩到很小的空间内是亟待解决的问题，在空间有限的情况下实现眼动的图像获取，应用到PANCAKE VR一体机中。