主页 > G润生活 >Google正式发表TensorFlowLite预览版,提供 >

Google正式发表TensorFlowLite预览版,提供

Google正式发表TensorFlowLite预览版,提供

Google 正式发表 TensorFlow Lite 开发者预览版,这是针对行动和嵌入式设备的轻量级解决方案。TensorFlow Lite 是一种全新的设计,具有三个重要功能—轻量级、跨平台、快速。

下面是来自 Google Developers Blog 的详细资讯:

今天,我们正式发布 TensorFlow Lite 开发者预览版,这是针对行动和嵌入式设备的轻量级解决方案。TensorFlow 可以在许多平台上运行,从机架上大量的服务器到小型的物联网设备,但近几年,随着大家使用的机器学习模型呈指数级增长,需要将训练模型的平台扩展到行动和嵌入式设备上。TensorFlow Lite 支援设备上机器学习模型的低时延推理。

TensorFlow Lite 是一种全新的设计,它支援以下功能:

轻量级:支援机器学习模型的推理在较小二进制数下进行,能快速初始化/启动。

跨平台:可以在许多不同的平台上运行,现在支援 Android 和 iOS

快速:针对行动设备进行了优化,包括大大减少了模型加载时间、支援硬体加速。

如今,越来越多的行动设备中含有专用的定制硬体来更高效地进行机器学习。TensorFlow Lite 支援 Android 神经网络 API,大家在使用 TensorFlow Lite 时可以利用这些有用的加速器。

当加速器不可用时,TensorFlow Lite 会返回到 CPU 来执行,这将保证模型仍然可以在一大批设备上快速运行。

结构

下图是 TensorFlow Lite 的结构设计:

Google正式发表TensorFlowLite预览版,提供

模块如下:

TensorFlow Model: 储存在硬碟上已经训练好的 TensorFlow 模型

TensorFlow Lite Converter: 将模型转换为 TensorFlow Lite 文件格式的程式。

TensorFlow Lite Model File: 基于 FlatBuffers 的模型文件格式,针对速度和大小进行了优化。

可以将 TensorFlow Lite Model File 部署到 Mobile App ,如上图中所示:

Java API: 处于 Android App 中 C++ App 上,方便封装。

C++ API: 加载 TensorFlow Lite Model File,调用解释器。

上面的这两个库在 Android 和 iOS 端都可用。

Interpreter:使用一组运算符来执行模型。运算符可以选择,如果不含运算符,只有 70KB,加载所有的运算符之后为 300KB。比起需要 1.5 M的 TensorFlow Mobile,能使容量大大减小。

在 Android 设备上,Interpreter 支援 Android 神经网路 API,可以用它进行硬体加速。如果没有可用的加速器,则默认使用 CPU。

开发人员还可以使用 C++ API 来自定义 kernel。

模型关于 TensorFlow Mobile

正如大家知道的那样,TensorFlow 可以透过 TensorFlow Mobile API 对模型进行行动和嵌入式部署。展望未来,TensorFlow Lite 应该被看作是 TensorFlow Mobile 的升级。随着一步步的成熟,它将成为在行动和嵌入式设备上部署模型的推荐解决方案。

TensorFlow Lite 目前是预览版,大家仍然可以使用 TensorFlow Mobile。

TensorFlow Lite 的功能有很多,目前仍处于紧锣密鼓的开发阶段。这次的发表中,使用受限平台,来保证一些最重要的常见模型的性能不受到影响。

我们计划根据用户的需要来考虑未来优先扩展的功能。我们的开发目标是简化开发人员的体验,并让模型能部署到一系列行动和嵌入式设备上。

很高兴开发者也在帮助 TensorFlow Lite 项目的顺利进行。我们将会以与 TensorFlow 相同的热情来支援和启动 TensorFlow Lite 社群。欢迎大家来使用 TensorFlow Lite。

TensorFlow Lite 页面

网址



上一篇: 下一篇: