浅谈深度学习的落地问题

2021-02-21 545

前言

深度学习不不仅仅是理论创新，更重要的是应用于工程实际。

关于深度学习人工智能落地，已经有有很多的解决方案，不论是电脑端、手机端还是嵌入式端，将已经训练好的神经网络权重在各个平台跑起来，应用起来才是最实在的。

(caffe2-ios:https://github.com/KleinYuan/Caffe2-iOS)

这里简单谈谈就在2018年我们一般深度学习落地的近况。

Opencv

Opencv相比大家都比较了解，很流行很火的开源图像处理库，人工智能深度学习大伙，Opencv自然不能落下。早在去年Opencv开始加入Dnn模块，并且一直更新，但是有点需要注意，Opencv的深度学习模块是用来inference推断而不是用来训练的。

为什么，因为现在已经存在很多优秀的深度学习框架了(TensorFlow、Pytorch)，Opencv只需要管好可以读取训练好的权重模型进行推断就足够了。

(opencv-4.0.0已经发布)

自己试着跑了一下Opencv版的yolov3，利用yolo官方训练好的权重，读取权重并且利用Opencv的前向网络运行——速度还可以，在i5-7400 CPU上推断用了600+ms。

而我用2017版MacBookPro-2.3GHz版本的CPU(i5-7260u)则跑了500ms。要知道这是完全版本的yolo-v3。如果进一步优化的话，在稍微好点的CPU端是可以跑到10fps！

另外在learnopencv相关文章中，也有详尽的评测：

在6核12线程的CPU中可以跑到200ms，速度相当快了，而且优化的空间还是有的。

为什么Opencv版的比Darknet版的速度快那么多，是因为Opencv的Cpu端的op编写过程中利用了CPU-MKL等很多优化库，针对英特尔有着很好的优化，充分利用了多线程的优势(多线程很重要，并行计算比串行计算快很多)。

当然这些优化还不是尽头，Opencv也在一直更新：

Opencv可以作为一个不错的落地的深度学习推断平台，只要安装好Opencv，就可以跑深度学习代码了，不需要安装其他深度学习框架了。但是有点需要注意，Opencv最好的实践是CPU端，GPU端Opencv对cuda的支持不是很好，Opencv只有利用OpenCL支持GPU，但速度没有cuda库快。

Pytorch-v1.0

Pytorch-v1.0的预览版已经发布了，正式版应该是在国庆节的第一天发布。

但我们在观察Pytorch的1.0文档中已经可以熟知，为什么Pytorch-v1.0称为从研究到生产：

最重要的三点：

分布式应用
ONNX的完全支持
利用C++部署生成环境

简单谈谈第三个要点，看了官方的说明文档，Pytorch也做了类似于Opencv工作，新的Pytorch支持直接应用Pytorch的C++部分从而编译可以单独执行Pytorch的推断部分而不需要安装所有Pytorch的组件。

近期会测试一下Pytorh和Opencv相比在Cpu端的速度，看看哪个对CPU端的优化更好些。

IOS、安卓

IOS最大的看点就是：Iphone最新出来的A12仿生处理器！

5W亿次每秒运行速度，跟专业显卡比起来可能不算什么，但是在手机端，意思可想而知。

只是不知道具体的速度如何，跑Yolo的话可不可以实时，期待之后的测评吧。

不过在HomeCourt这款APP中(中国目前还不可以使用)，凭借A12强大的性能，貌似可以实时追踪人体骨架。还是很值得期待的。

至于安卓端，因为华为的芯片还没有具体公布，目前在移动端上的神经网络框架大部分是用CPU跑。

速度快慢就看在arm端的优化如何了。

比较流行的两个框架是ncnn(主要是cpu)和mace(也支持Gpu)。都在发展阶段，前者出世1年左右，后者出世半年不到。

也期待一下吧！

后记

深度学习落地，最繁琐的莫过于配置各种环境，希望之后各大深度学习框架能够在落地这块加大投入，实现快速方便地部署吧！

配一张Openpose的配置信息： (OpenPose中对Windows的要求较为苛刻)

撩我吧

如果你与我志同道合于此，老潘很愿意与你交流；
如果你喜欢老潘的内容，欢迎关注和支持。
如果你喜欢我的文章，希望点赞👍 收藏 📁 评论 💬 三连一下，这对我真的很重要！

想知道老潘是如何学习踩坑的，想与我交流问题~请关注公众号「oldpan博客」。老潘也会整理一些自己的私藏，希望能帮助到大家，点击神秘传送门获取。

微信关注我们

原文链接：https://my.oschina.net/iamoldpan/blog/4958224

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

博士大佬整理的机器学习算法知识手册 | 附PDF下载

小编最近整理了自己总结的机器学习算法文章并打包成压缩文件，感兴趣的同学可下载交流。文件包含了：机器学习基础，监督学习方法、非监督学习方法，Python数据科学和深度学习等相关知识，若初学者在自学周志华老师的西瓜书或李航老师的《统计学习方法》的过程中感到困惑时，可查阅该机器学习算法知识手册，说不定会有新的idea，截取文章《浅谈频率学派和贝叶斯学派》的评论：监督学习方法：非监督学习方法： Python数据科学： PDF获取方式： 1.扫码关注【深度学习初学者】 2.在【深度学习初学者】后台回复“0205”即可（建议复制）本文分享自微信公众号 - 视学算法（visualAlgorithm）。如有侵权，请联系 support@oschina.cn 删除。本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

2021-02-20

636

续上篇，这篇我们来进一步探索 Tye 更多的使用方法。本篇我们来了解一下如何在 Tye 中如何进行日志的统一管理。 Newbe.Claptrap 是一个用于轻松应对并发问题的分布式开发框架。如果您是首次阅读本系列文章。建议可以先从本文末尾的入门文章开始了解。必不可少的日志管理对应用进行日志记录和分析是诊断排查线上问题的重要手段。而简单基于控制台或者文件的直接记录既不利于开发者直接读取也不利于大规模分析。因此，开发者往往会选择一些诸如Exceptionless或者ELK之类的日志管理方案，来实现线上环境的日志管理。但是，我们仍然缺少一个在开发环境小巧可用、部署简易、最小资源占用、可视化良好的日志管理方案。故而，本案例，让我们来使用Tye中已经扩展可用的Seq工具，来作为开发环境的日志管理和可视化工具。创建测试应用 create-tye-seq-test.sh dotnet new sln -n TyeTest dotnet new webapi -n TyeTest dotnet sln ./TyeTest.sln add ./TyeTest/TyeTest.csproj...

2021-02-21

553

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。