2026年9月11日，麻省理工学院计算机科学与人工智能实验室的研究人员与谷歌和日本东北大学合作，开发出一款编辑软件：可以根据AI提示生成 3D 模型，然后允许用户对打印过程中容易损坏的部位细节进行修复。
△InstructMesh：用于制造的生成式 3D 模型的选择性细化
生成式 3D 工具通常只知道物体应该是什么样子，而不知道它应该如何运作，所以一个杯子可能无法盛放咖啡，而且网格也很难编辑。新程序 InstructMesh 将微软的 TRELLIS 生成器与 GPT-4 相结合，用户可以选中一个区域，用语言描述缺陷，然后应用局部几何修复，或者使用滑块进行更精细的调整，例如调整厚度。
CSAIL团队利用修复后的网格打印出各种家居用品：一个被龙身包裹、龙尾作把手的马克杯，蝴蝶翅膀造型的眼镜，一个闪亮的蓝色贝壳状哨子，以及一个章鱼造型的饮料机，每条触手都能倒出饮料。他们还制作了一个牛仔布质感的护膝，与病人的牛仔裤颜色相配；以及一个类似虾的毛刷机器人外壳，内部装有电机，可以在桌面上滑动。
论文第一作者、麻省理工学院博士毕业生法拉兹·法鲁奇（Faraz Faruqi）说道：“我们希望将3D生成器的功能和LLM的推理能力结合起来，在一个交互式空间中创造出人们真正想要的物体，”为了测试新手能否在制作前发现问题，研究团队让 TRELLIS 重现 Thingiverse 上的热门模型。生成的网格中近 80% 存在结构缺陷。经专家审核，使用 InstructMesh 的新手大约 90% 的情况下都能识别并修复这些问题。用户还制作了手机支架和花瓶，并发现滑块在放大或拉伸选定区域方面非常实用。
△图中展示了一个缠绕着龙纹的马克杯，从数字模型到3D打印的全过程。这是麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究人员在制作前创建并进行局部修复的众多物件之一。（图片来源：Alex Shipps/MIT CSAIL，素材来自研究人员和Adobe Stock）
法鲁奇说：“用户得到了他们想要的东西，并且可以根据需要轻松调整设计。他们所见即所得，产品也确实如广告宣传的那样好用。”麻省理工学院电子工程与计算机科学系和机械工程系副教授、计算机科学与人工智能实验室（CSAIL）成员斯蒂芬妮·穆勒是本研究的资深作者。合作作者包括来自谷歌、东北大学和CSAIL的研究人员。谷歌和麻省理工学院-惠普研究所合作研究项目为研究提供了支持。研究团队将于11月在ACM用户界面软件与技术研讨会上发表相关论文。
来源：南极熊
0 留言