求教触摸屏控制与摄像机几何校正相关问题

各位好，本人现是一名大四狗，我有个关于毕设相关的问题要问问各位大神。
现说说我的课设的思路吧。摄像机摄取目标图像，远程传输到控制台，通过触摸屏显现出来，然后通过点击触摸屏上的图像点，达到控制机械装置完成相关动作。（可能描述的不太好啊，担待）
    现在有大问题，就是摄像机由于角度问题不能如实反映物体间的位置关系，这样在触摸屏上点的那个点，并不是实际反应的点。所以需要一个几何校正的过程。我在网上查的大多数的几何校正都是针对照片的，而不是针对实时图像的。所以求哪位大神给个指点。（退一步讲，只要能在触屏上点一个点，保证机械装置能到你希望的点就行）

具体说一下你的问题了?什么机械装置啊。

是一个360度舵机驱动的装置，由3个360度舵机组成，两个控制机械手的X、Y轴，一个控制Z轴，通过控制舵机转动的圈数来控制机械手的位置。摄像头得到台球的图像后，通过模式识别得到台球的坐标，然后驱动舵机完成后续操作。
现在想问的主要是，摄像头如何通过模式识别得到台球坐标，（需要进行透视校正，以及台球特征点提取，）
只要是类似的图像识别方面的都可以，我这主要没做过，不知道该如何下手。