输入文本段落，AI可以设计可以实际构建的乐高？
来自CMU的研究人员提出了改变游戏规则的人。
只需输入“金属紫色电吉他”，AI就可以产生一个乐高模型，该模型不仅具有逼真的外观，而且可以牢固地站立！
与传统的3D建模工具不同，Meta的Llama模型进行了微调，并组合了47,000个稳定的结构数据集，以确保98.8％的设计符合物理定律。
这是第一个可以将文本输入转换为物理稳定的乐高设计的AI模型。
当前，数据集，代码和模型都是开源的。
纸张地址：
项目地址：
与生成奇怪（和不稳定）设计以适应您的输入请求的AI发电机不同，该设计遵循物理定律，这意味着。
不仅是匹配文本说明（提示单词）的乐高模型，还可以确保它们可以在现实世界中逐件建造，无论是由人类测试人员手工构建还是在机器人帮助的情况下建造。
建造高背椅的乐高进程
图1：生成的乐高模块通过带有力传感器的两臂机器人系统，根据AI生成的说明，拾取和放置构建块，最后形成了成品乐高产品。
生成的乐高成分不仅包含特定的结构，还包括油漆喷涂机纹理图案，根据及时的单词。
图2：生成的乐高组件
生成带有及时单词纹理模式的乐高组件
根据迅速的单词金属紫色电吉他，生成的乐高零件是吉他形的，下部是紫色
与以前生成3D建模的工具相比，最大的优势是它生成的结构是稳定的。
许多现有的3D生成模型着重于创建具有详细几何形状的不同对象，但是最终的设计通常无法物理实现。
没有适当的支持，设计的一部分可能会崩溃，漂浮或保持断开连接。
并且生成的设计在物理上是98％的时间。
突破传统3D建模的局限性
如何提供稳定的设计？
首先，一个元开源的大型模型，Llama-3.2-1B-，进行了微调。为了训练模型，团队构建了一个名为的新数据集。
它包含超过47,000个稳定的乐高结构，28,000个独特的3D对象，每个对象都会产生来自GPT-4O的描述性标题，例如描述，例如“简化”，“ Slim Boats”或“具有惊人格栅的经典风格汽车”，以及相应的3D LEGO组件。
图3：a）系统将乐高的设计分为一系列文本标记，在右至顶的栅格扫描中排序，b）将砖序列与描述配对，以微调Llama-3.2---1b。 c）在推理中，根据文本提示，通过一一预测砖来逐步生成乐高设计
对每个结构进行物理分析，以确保它可以在现实世界中构建。
此外，该团队使用独立的软件工具来增强构建块预测模型，该模型可以使用模拟重力和结构力来验证物理稳定性的数学模型。
图4：考虑乐高重力和结构力的物理模型，以预测乐高分子分量后的稳定性
作为第一个预先训练的LLM，该模型无法预测下一个单词，而是逐渐预测要添加下一个构建块，从而逐渐构建了一个由乐高积木组成的完整世界。
首先生成一系列精确放置的乐高积木，将起作用。
对于序列中的每个新构建块，系统可确保它不会与现有的构建块相撞并能够适应建筑物空间。
设计完成后，它使用上述数学模型来验证该模型可以直立而不会崩溃。
如果在实际构造过程中生成的模型的某些组件崩溃，则系统还将识别第一个不稳定的构建块并进行回溯，将其删除，然后将所有后续的构建块，然后尝试不同的方法。
这种物理意识到的回滚方法被证明是重点。没有它，只有24％的设计才能建立，而使用完整的系统时的成功率为98.8％。
图5：生成的不稳定组件，在回滚中删除
乐高不仅是一个玩具，而且其目的远不止加速新一代乐高玩具的设计，还降低了乐高商店的玩具价格。
证明的技术实力具有实际用途。
能够设计稳定的乐高积分组件还可以允许大型型号设计可以打印3D的组件，然后机器人将这些组件拼接到具有逼真功能的工具中，例如无人机，无人驾驶船只和模型车辆。这些在技术上是一致的。
物理模型和不稳定组件的回滚使它们能够成为第一个具有极高可靠性的预训练模型，并且可以产生稳定的3D结构。
当然，仍然存在一些局限性。
当前版本仅在20×20×20的建筑空间内工作，仅使用八种标准构件类型。
研究团队目前支持一组固定的乐高积木，计划将砖库扩展，以包括较宽的尺寸和砖块类型，例如斜坡和地板瓷砖。
研究人员希望将其培训数据集扩展到包含比当前可用的21个类别更多的对象。
作者的介绍
邓
邓（Deng）是卡内基·梅隆大学（CMU）机器人学院的博士生，由Deva和Jun-Yan Zhu共同执导。此前，他于2020年获得北京大学的学士学位。
邓小平的研究方向主要是计算机辅助的创作，他目前的研究工作得到了微软研究所的博士学位奖学金。
刘
刘是卡内基·梅隆大学（CMU）机器人计算机科学学院（CMU）的博士生，他的主管是智能控制实验室的Liu教授。
他的研究指示是机器人学习/控制，生成制造和人机合作。
刘获得了卡内基·梅隆大学（CMU）的电气和计算机工程学士学位，并获得了辅修机器人技术的学士学位。
在他的本科学习期间，他曾在教授领导的实验室工作，重点是传感器融合和建筑结构检测的三维重建。
参考：
本站候鸟号已成立3年，主要围绕财经资讯类，分享日常的保险、基金、期货、理财、股票等资讯，帮助您成为一个优秀的财经爱好者。本站温馨提示：股市有风险，入市需谨慎。
暂无评论