首页 文章 精选 留言 我的

精选列表

搜索[腾讯云认证],共10000篇文章
优秀的个人博客,低调大师

基于Pub/Sub模式的阿里云IoT同步调用详解

1.同步调用场景 1.1 背景 MQTT协议是基于PUB/SUB的异步通信模式,无法实现服务端下发指令给设备端,同时需要设备端返回响应结果的场景。 IoT物联网平台基于MQTT协议制定了一套请求和响应的同步机制,无需改动MQTT协议即可实现同步通信。应用服务器通过POP API发起Rrpc调用,IoT设备端只需要在Timeout内,按照固定的格式回复Pub消息,服务端即可同步获取IoT设备端的响应结果。 具体流程如下: 1.2 Topic格式约定 请求:/sys/${productKey}/${deviceName}/rrpc/request/${messageId} 响应:/sys/${productKey}/${deviceName}/rrpc/response/${messageId} $表示变量,每个设备不同 messageId为IoT

优秀的个人博客,低调大师

在阿里云EMR上使用Intel Analytics Zoo进行深度学习

简介 Analytics Zoo是由Intel开源,基于Apache Spark和Inte BigDL的大数据分析和AI平台,方便用户开发基于大数据、端到端的深度学习应用。 系统要求 JDK 8 Spark 集群(推荐使用EMR支持的Spark 2.x) python-2.7(python 3.5,3.6也支持), pip 安装Analytics Zoo Analytics Zoo 最新的release版本是0.2.0 Scala安装 下载pre-build版本 可以从github,analytics主页下载到pre-build版本 通过script build 安装Apache Maven,设置Maven环境 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 如果使用ECS机器进行编译,推荐修改Maven仓库mirror <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> 下载Analytics Zoo release版本,解压后在目录下运行 bash make-dist.sh build结束后,在dist目录中包含了所有的运行环境。将dist目录放到EMR软件栈运行时统一目录。 cp -r dist/ /usr/lib/analytics_zoo python 安装 Analytics Zoo支持pip安装和非pip安装,pip安装会安装pyspark,bigdl等,由于EMR集群已经安装了pyspark,通过pip安装有可能引起冲突,所以采用非pip安装。 非Pip安装 首先要运行 bash make-dist.sh 进入pyzoo目录,安装analytcis zoo python setup.py install 设置环境变量 在scala安装结束后将dist目录放到了EMR软件栈统一目录,然后设置环境变量。编辑/etc/profile.d/analytics_zoo.sh,加入 export ANALYTICS_ZOO_HOME=/usr/lib/analytics_zoo export PATH=$ANALYTICS_ZOO_HOME/bin:$PATH EMR已经设置了SPARK_HOME,所以无需再次设置。 使用Analytics Zoo 使用Spark来训练和测试深度学习模型 使用Analytics Zoo来做文本分类,代码和说明在github。根据说明下载必须的数据。提交命令: spark-submit --master yarn \ --deploy-mode cluster --driver-memory 8g \ --executor-memory 20g --class com.intel.analytics.zoo.examples.textclassification.TextClassification \ /usr/lib/analytics_zoo/lib/analytics-zoo-bigdl_0.6.0-spark_2.1.0-0.2.0-jar-with-dependencies.jar --baseDir /news 通过ssh proxy来查看spark运行详情页面。同时查看日志,能够看到每个epoch的accuracy信息等。 INFO optim.DistriOptimizer$: [Epoch 2 9600/15107][Iteration 194][Wall Clock 193.266637037s] Trained 128 records in 0.958591653 seconds. Throughput is 133.52922 records/second. Loss is 0.74216986. INFO optim.DistriOptimizer$: [Epoch 2 9728/15107][Iteration 195][Wall Clock 194.224064816s] Trained 128 records in 0.957427779 seconds. Throughput is 133.69154 records/second. Loss is 0.51025534. INFO optim.DistriOptimizer$: [Epoch 2 9856/15107][Iteration 196][Wall Clock 195.189488678s] Trained 128 records in 0.965423862 seconds. Throughput is 132.58424 records/second. Loss is 0.553785. INFO optim.DistriOptimizer$: [Epoch 2 9984/15107][Iteration 197][Wall Clock 196.164318688s] Trained 128 records in 0.97483001 seconds. Throughput is 131.30495 records/second. Loss is 0.5517549. 在Analytics Zoo中使用pyspark和Jupyter来进行深度学习训练 安装jupyter pip install jupyter 使用下面命令启动。 jupyter-with-zoo.sh 使用Analytics Zoo,采用内置的Wide And Deep 模型来进行推荐,相关内容可参考github。 首先导入数据 然后定义模型和优化器进行训练查看训练结果

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册