项目演示
系统实机演示视频
展示小车在真实草坪环境中的自主导航与建图过程
智能草坪割草机器人在草地环境中自主导航
智能草坪割草机器人在草地环境中自主导航_2
智能草坪割草机器人在草地环境中自主导航_3
智能草坪割草机器人在草地环境中自主导航_4
小车实物照片
建图过程和步骤
硬件优化前后分割效果对比
使用Yolo-v8进行边界识别
项目介绍
本项目旨在开发一种基于纯视觉、扩散策略和BEV投影的自主探索与建图框架，用于草坪环境下的自动驾驶小车。项目利用 YOLOv8 和 NoMaD 等先进算法，在保证低成本（仅使用RGB-D相机）的同时，实现高鲁棒性、高实时性的自主导航。
该系统的主要技术优势包括：
- 创新的双路径特征提取机制：结合NoMaD扩散策略生成多样性轨迹，通过BEV验证确保安全
- 自适应空间注意力模型：YOLOv8-seg实现草坪/非草坪像素级分割，在复杂光照下保持高鲁棒性
- 边缘端实时推理优化：通过TensorRT加速，将推理时间从4000ms降至200-300ms
- 三维可视化结果展示：BEV鸟瞰视角提供全局地图与路径规划可视化
经过严格实地验证，该系统在多个领域的应用效果优于传统方法，成功解决了传统SLAM在重复环境中定位失败、依赖电子围栏部署繁琐、以及深度学习模型在嵌入式平台推理延迟高等问题。
低成本硬件
仅使用RGB-D相机，无需昂贵的LiDAR或RTK-GPS，大幅降低硬件成本
纯视觉导航
基于视觉感知实现自主探索与建图，适应复杂非结构化环境
实时性能
整体规划延迟控制在200ms内，满足机器人实时决策要求
视频展示
小车导航过程1
小车导航过程2
小车导航过程3
参考文献
- Sridhar A, Shah D, Glossop C, et al. NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration[C]//2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024: 63-70.
- Sani E, Sgorbissa A, Carpin S. Improving the ROS 2 Navigation Stack with Real-Time Local Costmap Updates for Agricultural Applications[C]//2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024: 17701-17707.
- Jocher, G., Chaurasia, A., & Qiu, J. (2023). Ultralytics YOLOv8 (Version 8.0.0) [Computer software]. Zenodo. https://doi.org/10.5281/zenodo.7629658
- NVIDIA. TensorRT: High-Performance Deep Learning Inference[EB/OL]. https://developer.nvidia.com/tensorrt, 2024.