投影机投射的光线是可见光部分,它的红外部分被它内部的过滤膜过滤掉了,这样对于摄像机来讲它看不到投影机投射的内容,如果红外线如果强的话,摄像机就可以看见人体了。夜视摄像头主动发射红外,然后传感器接受红外,那么互动投影中最难的部分,人体与背景虚拟对象的分割就解决了,摄像机得到的是一副黑白的单色背景的包括人的图像。
检测人体的运动,采用的是图像差分技术,差分就是把摄像头得到的连续两帧的图像进行相减,那么得到的是什么呢,得到的是运动的部分,所以说只要人在动,差分就会把动的部分截取下来。接下来就是分析得到的数据了,再将虚拟部分投射出来了。当然复杂的互动投影不只是这些技术,这些只是最基本的原理了,其间还涉及到摄像机的标定,光流法寻找运动方向,性能的优化处理,特殊的效果。