NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割
来自慕尼黑工业大学、都灵理工大学和AUDI AG的研究人员发表了一篇论文，介绍了一种名为 MeshGPT (pdf) 的新方法，用于使用先进的 AI 技术创建 3D 形状，特别是三角形网格。 这些 3D 形状是你在视频游戏、电影和虚拟现实中经常看到的类型。
1、MeshGPT简介
创建 3D 形状的一大挑战是使它们看起来逼真，同时保持文件大小较小且形状易于使用。 过去，人们使用过从数字块中雕刻形状或使用算法从点云创建密集网格等方法。 但是，这些方法可能会创建太大的文件或形状看起来不太正确的文件。
MeshGPT 通过使用类似于AI生成文本的技术来解决这个问题。 正如 AI 可以预测句子中的下一个单词一样，MeshGPT 可以预测 3D 形状的下一部分。 它通过学习大量现有的 3D 形状并了解它们通常如何组合在一起来实现这一点。
该过程首先采用三角形（3D 形状的构建块）并将其转换为人工智能可以理解的形式。 这就像将单词翻译成人工智能知道的语言。 然后人工智能会了解这些三角形通常如何排列以创建不同的形状。
经过训练后，MeshGPT 可以通过预测三角形的排列来生成新的形状。 它从一个起点（如句子中的第一个单词）开始，并不断添加三角形以形成完整的形状。 结果是一个逼真的 3D 形状，具有清晰的边缘和细节，而且也很紧凑，这意味着它不会使用不必要的三角形。如这个视频所示：
研究人员发现，MeshGPT 在这项任务上比以前的方法更好。 它能够创造出更详细、更紧凑的形状，看起来更接近人类艺术家可能创造的形状。
2、MeshGPT技术细节
MeshGPT 流程的第一步是开发几何形状的“词汇表”。 这是通过使用编码器-解码器模型来完成的，该模型将三角形网格转换为AI可以理解和使用的格式。 编码器分析现有的三角形网格并将它们转换为一系列标记或嵌入 - 本质上是三角形及其排列的数字表示。 这些嵌入捕获有关网格的基本几何和拓扑信息，例如顶点的位置和三角形的方向。
一旦模型学习了这些几何词汇，MeshGPT 就会使用transformer（一种神经网络）来生成新的网格。 这一过程是自回归的，这意味着模型一次一步进行预测，每一步都基于之前的预测。 从初始标记开始，transformer预测序列中的下一个标记，逐渐构建完整的网格。 该模型的训练包括教会它识别三角形排列的模式，从而使其能够预测真实且连贯的网格结构。
MeshGPT 的一个显着优势是它能够生成不仅真实而且紧凑的网格。 紧凑性是指在不使用不必要的三角形的情况下创建详细且准确的形状。 这对于数字应用程序中的高效渲染和操作至关重要。 MeshGPT 通过从现有网格的大量数据集中学习，了解如何保持其生成的形状的高保真度，同时避免不必要的复杂性，从而实现这一目标。
在性能方面，MeshGPT 比以前的方法显示出显着的改进。 研究表明，MeshGPT 生成的形状具有更好的覆盖范围和保真度，紧密模仿人类创建的网格的效率和细节。 这是根据形状覆盖率和 FID（Frechet Inception Distance）分数进行量化的，其中 MeshGPT 优于现有方法。 该模型能够直接生成三角形序列的网格，同时保持高水平的细节和真实感，标志着 3D 形状生成领域的重大进步。
原文链接：MeshGPT: transforming 3D meshes with AI
BimAnt翻译整理，转载请标明出处
