带你了解 TensorFlow Lite Task Library模型接口

带你了解 TensorFlow Lite Task Library模型接口

文 /Lu Wang、Chen Cen、Arun Venkatesan 和 Khanh LeViet

概述

额外的代码

支持的 ML 任务

TensorFlow Lite Task Library 目前支持六个 ML 任务，包括视觉和自然语言处理用例。下面将逐一进行简要介绍。

ImageSegmenter 图像分割器预测图像的每个像素是否与某个类相关联。这与物体检测（检测矩形区域中的物体）和图像分类（对整个图像进行分类）相反。除图像处理外，ImageSegmenter 还支持两种类型的输出蒙版：类别蒙版和置信度蒙版。

NLClassifier 和 BertNLClassifier

NLClassifier将输入文本分为不同的类别。可对该通用 API 进行配置，使其可以加载任何支持文本输入和分数输出的 TFLite 模型。

BertNLClassifier 与 NLClassifier 类似，不同之处在于，此 API 专门为 BERT 相关模型量身定制，需要在 TFLite 模型之外进行 Wordpiece 和 Sentencepiece 分词。

支持的模型

Task Library 与下列已知的模型源兼容：

TensorFlow Hub Task Library 模型集合（图像分类/物体检测/图像分割/问答）。

TensorFlow Lite Model Maker 创建的模型。

AutoML Vision Edge 创建的模型。

Task Library 还支持符合每个 Task API 的模型兼容性要求的自定义模型。关联的文件（即标签图和 vocab 文件）和处理参数（如果适用）应正确填充到模型元数据中。有关更多详细信息，请参见 TensorFlow 网站上针对每个 API 的文档。

使用 Task Library 运行推理

图 1. ImageSegmenter 输入图像

图 2. 分割蒙版

然后，您可以在结果中使用彩色标签和类别蒙版来构造分割蒙版图像，如图 2 所示。

为您的用例构建一个 Task API

如果现有 Task 库不支持您的用例，则您可以利用 Task API 基础架构并构建自定义 C++/Android/iOS 推理 API。有关更多详细信息，请参阅本指南。

未来工作

我们将继续改善 Task Library 的用户体验。近期的路线图如下：

改善 C++ Task Library 的易用性，例如为希望从源代码构建的用户提供预构建的二进制文件并创建人性化工作流。

使用 Task Library 发布参考示例。

通过新的任务类型支持更多的机器学习用例。

改善跨平台支持，针对 iOS 支持更多任务。

反馈

欢迎大家提供反馈，并就 Task Library 中支持的新用例给出建议。请向 tflite@tensorflow.org 发送电子邮件或在 GitHub 中提 issue。

致谢

这项成果离不开以下人员的共同努力：

Task Library 原生/Android/iOS 基础架构和 Text API 的主要贡献者 Chen Cen。

以及 Tian Lin、Sijia Ma、YoungSeok Yoon、Yuqi Li、Hsiu Wang、Qifei Wang、Alec Go、Christine Kaeser-Chen、Yicheng Fan、Elizabeth Kemp、Willi Gierke、Arun Venkatesan、Amy Jang、Mike Liang、Denis Brulé、Gaurav Nemade、Khanh LeViet、Luiz GUStavo Martins、Shuangfeng Li、Jared Duke、Erik Vee、Sarah Sirajuddin 以及 Tim Davis 都对本项目给予了大力支持，在此一并表示感谢。

原文标题：推出 TF Lite Task Library 接口，简化 ML移动端开发流程

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。