基于Miloco的视觉-语言融合智能家居交互研究
黄晓菊

西安翻译学院，陕西西安，710105；

摘要：智能家居瓶颈正由设备互联转向人机智能交互。本文以小米开源端侧视觉—语言模型（Vision-Language Model,VLM）平台Miloco为对象，研究家庭场景中的视觉—语言融合交互。在端侧时延、算力与隐私强约束下，本文形式化多模态意图理解与设备协同问题，辨析端云部署的本质差异，提出由感知、理解、规划到执行四层协同框架，构建覆盖多场景消融实验的混合评测体系，兼顾主客观量化指标，为端云协同下的多模态意图交互系统提供完整的技术路径与验证方案。分析表明，VLM为隐私敏感场景下自然、主动的智能家居交互提供了可行路径。

关键词：智能家居；VLM；人机交互；Miloco

参考文献

[1]小米Miloco团队：端侧大模型重构家庭智能范式[EB/OL].(2025-11-15).

[2]Rey-Jouanchicot J.Adaptation in smart home automation systems:A systematic review of decision-making and interaction[J].Internet of Things,2025,31:101588.

[3]刘伟峰,沈瑜,王治华,等.面向动态应用场景的智能家居自适应控制方法[J].电力系统自动化,2025,49(11):147-158.

[4]焦利敏,李红伟,曲宗峰,等.基于DeepSeek推理大模型的智能家电智能体技术路线及应用[J].家电科技,2025(1):43-47.

[5]Calò T.Enhancing smart home interaction through multimodal command disambiguation[J].Personal and Ubiquitous Computing,2024,28:985-1000.

[6]焦利敏等.从感知到认知：智能家电的智能化阶段演进与未来趋势综述[J].家电科技,2026.

[7]多模态AI在智能家居场景中的感知决策与交互信息技术研究[J].2026.

[8]A.Xiao."Robi Butler:Remote multimodal interactions with household robot assistant,"in 2025 IEEE(ICRA),Atlanta,GA,USA,2025,pp.4337–4344.

[9]HUANG Y.Vinci:a real-time smart assistant based on egocentric vision-language model for portable devices[J].PACM IMWUT,2025,9(3):1-33.

[10]Qwen Team.Qwen3-VL-4B:Technical report and model release[R].Alibaba Group,2025.