重庆对外经贸学院,重庆市,401520;
摘要:随着虚拟现实和增强现实技术的快速发展,3D 空间视频生成技术面临着精度与效率难以平衡的挑战。本文提出了一种基于单目深度估计与多分支修复的轻量化 3D 空间视频生成方法。该方法通过设计基于 Sliced MLP 的参数共享深度表征学习网络,实现了高效的单目深度估计。同时构建了包含空域优化、时域一致性和语义约束的多分支修复框架,有效解决了深度估计中的边缘模糊、时序不一致等问题。实验结果表明,所提方法在保持轻量化设计(8.12M 参数)的同时,在 NYU-Depth V2 数据集上的平均相对误差预期达到 0.142,与计算密集型方法相比取得了竞争性的性能表现。
关键词:单目深度估计;多分支修复;3D 空间视频;轻量化算法;深度学习
参考文献
[1]A.Saxena,S. H. Chung, and A. Y. Ng, “Learning depth from single monocular images,”Advances in neural information processing systems, vol. 18, 2005.
[2]S. F. Bhat, I. Alhashim, and P. Wonka, “Adabins: Depth estimation using adaptive bins,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 4009–4018.
[3]S. Niklaus, L. Mai, J. Yang, and F. Liu, “3d ken burns effect from a single image,” in ACM Transactions on Graphics (ToG), vol. 38, no. 6. ACM, 2019, pp. 1–15.