深度学习增强3D城市模型

在这篇文章中,我们描述了一个为阿姆斯特丹 3D 城市模型自动添加门窗的系统(可以在这里访问)。 计算机视觉用于从城市全景图像中提取有关门窗位置的信息。 由于这种类型的街道级图像广泛可用,因此该方法可用于较大的地理区域。

处于开发阶段的阿姆斯特丹 3D 城市模型可用于更轻松地向公众传达空间规划。 此外,公众可以更多地参与市政府的规划决策和宗旨。 城市模型由简化形状的建筑物组成; 在 CityGML1 术语中,它们处于细节级别 2 (LOD2)。 在建筑物上添加门窗可以实现许多新的用例,包括应急响应规划、城市可持续性和城市模拟(例如,“采光权”对新建筑潜在建设的影响)。

阿姆斯特丹3D城市模型

本文所提出的系统可以分为以下三个步骤:

1、从全景图像中提取立面纹理

第一步利用建筑物视频数据从街道全景图像中识别、校正和提取建筑物的纹理区域。下图为说明提议的处理管线第一阶段想法的示例。

(左)从阿姆斯特丹 Hartenstraat 拍摄的全景图像。 (中)全景图像的位置及其与建筑物足迹数据之间的关系。 (右)修正后的立面纹理。

2、从提取的纹理中检测门窗

第二步是使用 Mask R-CNN(一种深度卷积神经网络)从建筑物的纹理区域检测门窗。 我们生成了超过 980 张高质量的分割掩模图像来训练网络。

(左)修正后的立面纹理。 (中左)手动注释的分割掩模图像,地面实况。 (中右)边界框、分割掩模和相应的类标签。 (右)边界框表示检测到的门窗。

3、将检测到的门窗添加到 3D 模型中

在第三步(也是最后一步)中,将先前检测到的门窗与输入的 CityGML LOD2 模型对齐,以构建 CityGML LOD3 模型。

上图为使用所提出的系统在 LOD3 中生成虚拟街道场景。 使用 Azul CityGML 查看器  进行可视化。

这是该项目的演示视频 ,代码可以从github下载。


原文链接:A Deep Learning Approach to Enhance 3D City Models

BimAnt翻译整理,转载请标明出处