首页 文章 精选 留言 我的

精选列表

搜索[腾讯云ide],共10000篇文章
优秀的个人博客,低调大师

基于Pub/Sub模式的阿里云IoT同步调用详解

1.同步调用场景 1.1 背景 MQTT协议是基于PUB/SUB的异步通信模式,无法实现服务端下发指令给设备端,同时需要设备端返回响应结果的场景。 IoT物联网平台基于MQTT协议制定了一套请求和响应的同步机制,无需改动MQTT协议即可实现同步通信。应用服务器通过POP API发起Rrpc调用,IoT设备端只需要在Timeout内,按照固定的格式回复Pub消息,服务端即可同步获取IoT设备端的响应结果。 具体流程如下: 1.2 Topic格式约定 请求:/sys/${productKey}/${deviceName}/rrpc/request/${messageId} 响应:/sys/${productKey}/${deviceName}/rrpc/response/${messageId} $表示变量,每个设备不同 messageId为IoT

优秀的个人博客,低调大师

在阿里云EMR上使用Intel Analytics Zoo进行深度学习

简介 Analytics Zoo是由Intel开源,基于Apache Spark和Inte BigDL的大数据分析和AI平台,方便用户开发基于大数据、端到端的深度学习应用。 系统要求 JDK 8 Spark 集群(推荐使用EMR支持的Spark 2.x) python-2.7(python 3.5,3.6也支持), pip 安装Analytics Zoo Analytics Zoo 最新的release版本是0.2.0 Scala安装 下载pre-build版本 可以从github,analytics主页下载到pre-build版本 通过script build 安装Apache Maven,设置Maven环境 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 如果使用ECS机器进行编译,推荐修改Maven仓库mirror <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> 下载Analytics Zoo release版本,解压后在目录下运行 bash make-dist.sh build结束后,在dist目录中包含了所有的运行环境。将dist目录放到EMR软件栈运行时统一目录。 cp -r dist/ /usr/lib/analytics_zoo python 安装 Analytics Zoo支持pip安装和非pip安装,pip安装会安装pyspark,bigdl等,由于EMR集群已经安装了pyspark,通过pip安装有可能引起冲突,所以采用非pip安装。 非Pip安装 首先要运行 bash make-dist.sh 进入pyzoo目录,安装analytcis zoo python setup.py install 设置环境变量 在scala安装结束后将dist目录放到了EMR软件栈统一目录,然后设置环境变量。编辑/etc/profile.d/analytics_zoo.sh,加入 export ANALYTICS_ZOO_HOME=/usr/lib/analytics_zoo export PATH=$ANALYTICS_ZOO_HOME/bin:$PATH EMR已经设置了SPARK_HOME,所以无需再次设置。 使用Analytics Zoo 使用Spark来训练和测试深度学习模型 使用Analytics Zoo来做文本分类,代码和说明在github。根据说明下载必须的数据。提交命令: spark-submit --master yarn \ --deploy-mode cluster --driver-memory 8g \ --executor-memory 20g --class com.intel.analytics.zoo.examples.textclassification.TextClassification \ /usr/lib/analytics_zoo/lib/analytics-zoo-bigdl_0.6.0-spark_2.1.0-0.2.0-jar-with-dependencies.jar --baseDir /news 通过ssh proxy来查看spark运行详情页面。同时查看日志,能够看到每个epoch的accuracy信息等。 INFO optim.DistriOptimizer$: [Epoch 2 9600/15107][Iteration 194][Wall Clock 193.266637037s] Trained 128 records in 0.958591653 seconds. Throughput is 133.52922 records/second. Loss is 0.74216986. INFO optim.DistriOptimizer$: [Epoch 2 9728/15107][Iteration 195][Wall Clock 194.224064816s] Trained 128 records in 0.957427779 seconds. Throughput is 133.69154 records/second. Loss is 0.51025534. INFO optim.DistriOptimizer$: [Epoch 2 9856/15107][Iteration 196][Wall Clock 195.189488678s] Trained 128 records in 0.965423862 seconds. Throughput is 132.58424 records/second. Loss is 0.553785. INFO optim.DistriOptimizer$: [Epoch 2 9984/15107][Iteration 197][Wall Clock 196.164318688s] Trained 128 records in 0.97483001 seconds. Throughput is 131.30495 records/second. Loss is 0.5517549. 在Analytics Zoo中使用pyspark和Jupyter来进行深度学习训练 安装jupyter pip install jupyter 使用下面命令启动。 jupyter-with-zoo.sh 使用Analytics Zoo,采用内置的Wide And Deep 模型来进行推荐,相关内容可参考github。 首先导入数据 然后定义模型和优化器进行训练查看训练结果

优秀的个人博客,低调大师

Python网络编程(socketserver、TFTP云盘、HTTPServer服务器模型)

HTTP? HTTP是一个应用层协议,由请求和响应构成,是一个标准的客户端服务器模型。HTTP是一个无状态的协议。 通常承载于TCP协议之上,有时也承载于TLS或SSL协议层之上,这个时候,就成了我们常说的HTTPS 默认HTTP的端口号为80,HTTPS的端口号为443。 what? 无状态什么鬼? HTTP无状态协议是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息, 则它必须重传,这样可能导致每次连接传送的数据量增大。另一方面,在服务器不需要先前信息时它的应答就较快 由于web等客户端与服务器交互的应用程序出现后HTTP的无状态严重阻碍了这些应用的实现效率 说以就产生了cookie和Session cook

优秀的个人博客,低调大师

阿里云CPFS在人工智能/深度学习领域的实践

AI/DL在迅速发展 随着数据量的爆发式增长和计算能力的不断提升,以及在算法上的不断突破,人工智能(AI,Artificial Intelligence )和其支持的深度学习(DL,Deep Learning)计算模型取得了突飞猛进的发展。 去年,中国制定了《新一代人工智能发展规划》立志要在AI总体技术和应用2020年与世界前沿同步,2025年AI成为产业升级和经济转型的主要动力,2030年,中国要成为世界主要AI创新中心。AI已经上升为国家策略,针对AI的投资也在不断迅速增长。AI加持的自动驾驶汽车,自然语言处理,人脸识别等等行业已经逐渐变成现实,这些将深刻改变人类的生活和生产方式。 AI/DL的数据处理流程 采集数据:根据业务需要,实际采集相应的数据,或者从专门的数据采集公司购买现成的原始数据。数据预处理:这些原始数据可能会存在有缺

资源下载

更多资源
Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册