Здравствуйте, Vzhyk2, Вы писали:

V>Там или физическую модель сложной делать или работать в мировых 3d координатах нужно.

Понятное дело, что в мировых координатах и с хорошей моделью будет лучше. У меня есть надежда, что VR устройства так и делают. Потому что простой вариант детектора точек с оптическим потоком и Калманом в пикселях на картинке делается на OpenCV с полпинка (мой старый ответ на SO с видео). В реальных продуктах надо сильно улучшать, делать нормальный трекинг и математическую модель.