Lingvo —— 在 Tensorflow 中构建神经网络的框架
快速开始
安装
设置 Lingvo 有两种方法:通过 pip 安装固定版本,或者克隆仓库并使用 bazel 构建它。Lingvo 为每种情况都提供了 Docker 配置。
如果您只想按原样使用框架,最简单的方法是通过 pip 安装它。这使得使用 Lingvo 框架的固定版本开发和训练自定义模型成为可能。但是,很难修改框架代码或实现新的自定义操作。
如果您想进一步开发框架并可能贡献拉取请求,则应避免使用 pip 并用克隆仓库进行替代。
pip 安装:
该 Lingvo 的 pip 封装包可以通过pip3 install lingvo
安装
从源代码构建:
先决条件是:
- 安装 TensorFlow 2.5
- 一个
C++
编译器(只正式支持 g++ 7.3) - bazel 构建系统。
git clone
存储库,然后使用 bazel 直接构建和运行目标。Codelab 中的python -m module
命令需要映射到bazel run
命令上。
Docker:
Docker 配置可用于这两种情况:
- lib.dockerfile 预装了 Lingvo pip 包
- dev.dockerfile 可用于从源代码构建 Lingvo
运行 MNIST 图像模型
准备输入数据
pip:
mkdir -p /tmp/mnist python3 -m lingvo.tools.keras2ckpt --dataset=mnist
bazel:
mkdir -p /tmp/mnist bazel run -c opt //lingvo/tools:keras2ckpt -- --dataset=mnist
将在以下文件中创建/tmp/mnist
:
mnist.data-00000-of-00001
: 53MBmnist.index
: 241 字节
运行模型
pip:
cd /tmp/mnist curl -O https://raw.githubusercontent.com/tensorflow/lingvo/master/lingvo/tasks/image/params/mnist.py python3 -m lingvo.trainer --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log
bazel:
(cpu) bazel build -c opt //lingvo:trainer (gpu) bazel build -c opt --config=cuda //lingvo:trainer bazel-bin/lingvo/trainer --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderr

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
每日一博 | BaikalDB 在百度统计的应用实践
作者简介:林江红,百度商业平台研发部资深研发工程师。主要负责百度统计数据系统研发,对构建高性能、高可用的数据处理系统有较多实践和较深入的理解。 欢迎关注 Star github.com/baidu/BaikalDB 国内加速镜像库gitee 1. 百度统计介绍 百度统计是百度推出的一款稳定、专业、安全、全球领先的中文网站流量分析平台,为网站的精细化运营决策提供数据支持,进而有效提高企业的投资回报率。 1.1 百度统计是什么 百度统计产品的使用十分简单,只需要在页面中嵌入一段JS代码,就会自动开始记录用户行为,并沉淀为宝贵的数据资产。在此基础上,提供了用户分层、数据看板、访客流失分析、打通投放平台等各种手段,帮助客户将一个个的访客变成忠实的客户。 经过12年的发展,累积服务客户数超过1千万,月活客户22万+,每天帮助客户沉淀数据资产150亿+。 1.2 数据系统简介 先介绍数据处理系统的输入输出,以线下超市作为类比,统计的SDK就相当于超市中的监控探头,探头记录每个顾客逛超市的各种路径:走进超市、看了一件商品就走了/继续买买买、结账离开等;而统计的SDK则是记录每个访客进来之后打开一个页...
- 下一篇
Systemd 首席开发者:Linux 在磁盘加密和认证启动安全方面存在不足
Systemd 首席开发者 Lennart Poettering 在一篇有关于Linux 上认证启动和磁盘加密情况的长篇博文中表示,虽然 Linux 对全盘加密(Full Disk Encryption,FDE)、UEFI SecureBoot 和可信平台模块(Trusted Platform Module,TPM)等技术的支持已经有很久的历史。 “但大多数发行版对它们的设置方式并不像它们应该有的那样安全,而且在某些方面可以相当坦率的说是很奇怪。事实上,现在如果你的数据存储在当前的 ChromeOS、Android、Windows 或 MacOS 设备上,可能比存储在一些典型的 Linux 发行版上更安全。” 根据介绍,通用的 Linux 发行版(即 Debian、Fedora、Ubuntu......)在 15 年前就采用了全盘加密,以及 LUKS/cryptsetup 基础架构;Lennart 认为,此举是向更安全的环境迈出的一大步。之后在差不多十年前,大型发行版又开始将 UEFI SecureBoot 添加到其引导过程中。 对可信平台模块(TPM)的支持也在很久以前就被添加到了发...
相关文章
文章评论
共有0条评论来说两句吧...