使用Omniverse Replicator SDK构建自定义、物理级精确的合成数据生成管线

使用Omniverse Replicator SDK构建自定义、物理级精确的合成数据生成管线

图1：Replicator 使用基于开放标准的 Omniverse 平台，以及 OmniGraph 和 Farm 架构提供的可延伸性和可扩展性

Omniverse Replicator SDK 由六个用于自定义合成数据工作流程的主要组件组成：

语义模式编辑器：通过对 3D 资产及其 prim 进行语义标记，Replicator 可以在渲染和数据生成过程中对目标对象进行注释。语义模式编辑器提供一种通过用户界面将这些标签应用于 prim 的方式。

可视化器：为分配给 3D 资产的语义标签以及 2D/3D bounding box、法线、深度等注释提供可视化功能。

随机发生器：域随机化是 Replicator 最重要的功能之一。用户可以使用随机发生器创建随机化的场景，从资产、材质、照明和摄像机位置等随机化能力中取样。

注释器：从 Omni.syntheticdata 扩展程序中提取 AOV 和其他输出，生成用于深度神经网络（DNN）训练的精确标记注释。

写入器：处理来自注释器的图像和其他注释，并生成用于训练的 DNN 专用数据格式。

用于 AI 训练的合成数据

为了训练一个用于感知任务的 DNN，通常需要从数百万图像中手动采集数据，然后对这些图像进行手动注释和有选择性的增强。

图2：数据采集和注释任务图

人工数据采集和注释是一项费力而主观的任务。在采集和注释真实图像的过程中，即便只是像大规模 2D bounding box 这样的简单注释也会带来许多人力协调方面的挑战。分割等所涉及到的注释存在资源限制，并且手动执行此类任务时的准确性要差得多。

图3：语义分割任务的复杂性

在采集和注释完毕后，数据将被转换成 DNN 可用的格式，然后训练用于感知任务的 DNN。一般情况下，接下来会通过超参数调节或改变网络结构来优化网络性能。在对模型性能进行分析时，可能会导致数据集发生变化，在大多数情况下，还需要进行一轮手动数据采集和注释，这种人工数据采集和注释的迭代循环是昂贵、乏味且缓慢的。

凭借以合成方式生成的数据，团队就能以一种高成本效益的方式启动和加强带有准确注释的大规模训练数据的生成。此外，合成数据生成还有助于解决与长尾异常、缺乏可用训练数据和在线强化学习有关的挑战。不同于人工采集和注释的数据，以合成方式生成的数据具有较低的摊销成本。由于数据采集/注释和模型训练周期一般具有迭代性，因此这一点十分有益。

图4：使用 Omniverse Replicator 生成带有准确注释的大规模训练数据

Omniverse Replicator 通过利用 Omniverse 平台的众多核心功能和最佳实践来解决这些挑战，包括但不限于物理级精确、逼真的数据集和对超大数据集的访问。

为了生成物理级精确的逼真数据集，需要使用各种 RTX 技术、基于物理学的材质和物理引擎等 Omniverse 平台的所有核心技术进行准确的光线追踪和路径追踪。

使用 Omniverse Replicator 和 TAO 工具套件加速现有的工作流程

开发者、工程师和研究人员可以将 Omniverse Replicator 与现有的工具进行整合，来加快 AI 模型的训练速度。例如，在生成合成数据后，开发者可以利用 NVIDIA TAO 工具套件快速训练他们的 AI 模型。TAO 工具套件利用迁移学习让开发者无需事先掌握 AI 专业知识，就能根据其用例来训练、调整和优化模型。

图6：用于合成数据生成和模型训练的 Omniverse Replicator 和 TAO 工具套件工作流程

使用 Omniverse Replicator 构建应用

Kinetic Vision 是一家为零售、内部物流、消费性制造和消费性包装品行业的大型客户提供服务的系统集成商。为了向客户提供高质量的合成数据服务，该公司正在开发一个基于 Omniverse Replicator SDK 的新企业应用。

图7：Lightning AI 应用正在基于 Replicator 生成的合成数据来训练和测试 DNN。

图8：使用 Omniverse Replicator 构建的 NVIDIA Isaac Sim（左）和 DRIVE Sim（右）合成数据生成能力

使用Omniverse Replicator

审核编辑 ：李倩

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。