首页 文章 精选 留言 我的

精选列表

搜索[云上实践],共10000篇文章
优秀的个人博客,低调大师

限时优惠 | 全方位提升云上企业业务连续性

活动规则: 应用实时监控ARMS:满700减100,同时提供15天免费试用性能测试PTS:满500减100链路追踪Tracing Analysis:满1000减288,同时提供免费使用额度 核心使用场景: 1、应用即将上线,但对线上容量和应用性能瓶颈没有把握? PTS x ARMS,打造经典压测监控方案,支持新版本性能基线测试、大促场景测试和线上容量规划等场景。(了解更多) 2、业务出现报警信息,却无从下手? ARMS提供分布式环境下完整的监控体系,实现从页面到数据库、从应用性能到基础架构资源、从 IT 到业务的端到端监控。(了解更多) 3、突发流量洪峰超出系统承载上限,无从应对? PTS 与 AHAS 打造经典压测流控方案,提早发现性能短板的同时,并能进一步确保系统的稳定性。(了解更多) 活动入口:这里

优秀的个人博客,低调大师

在阿里云EMR上使用Intel Analytics Zoo进行深度学习

简介 Analytics Zoo是由Intel开源,基于Apache Spark和Inte BigDL的大数据分析和AI平台,方便用户开发基于大数据、端到端的深度学习应用。 系统要求 JDK 8 Spark 集群(推荐使用EMR支持的Spark 2.x) python-2.7(python 3.5,3.6也支持), pip 安装Analytics Zoo Analytics Zoo 最新的release版本是0.2.0 Scala安装 下载pre-build版本 可以从github,analytics主页下载到pre-build版本 通过script build 安装Apache Maven,设置Maven环境 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 如果使用ECS机器进行编译,推荐修改Maven仓库mirror <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> 下载Analytics Zoo release版本,解压后在目录下运行 bash make-dist.sh build结束后,在dist目录中包含了所有的运行环境。将dist目录放到EMR软件栈运行时统一目录。 cp -r dist/ /usr/lib/analytics_zoo python 安装 Analytics Zoo支持pip安装和非pip安装,pip安装会安装pyspark,bigdl等,由于EMR集群已经安装了pyspark,通过pip安装有可能引起冲突,所以采用非pip安装。 非Pip安装 首先要运行 bash make-dist.sh 进入pyzoo目录,安装analytcis zoo python setup.py install 设置环境变量 在scala安装结束后将dist目录放到了EMR软件栈统一目录,然后设置环境变量。编辑/etc/profile.d/analytics_zoo.sh,加入 export ANALYTICS_ZOO_HOME=/usr/lib/analytics_zoo export PATH=$ANALYTICS_ZOO_HOME/bin:$PATH EMR已经设置了SPARK_HOME,所以无需再次设置。 使用Analytics Zoo 使用Spark来训练和测试深度学习模型 使用Analytics Zoo来做文本分类,代码和说明在github。根据说明下载必须的数据。提交命令: spark-submit --master yarn \ --deploy-mode cluster --driver-memory 8g \ --executor-memory 20g --class com.intel.analytics.zoo.examples.textclassification.TextClassification \ /usr/lib/analytics_zoo/lib/analytics-zoo-bigdl_0.6.0-spark_2.1.0-0.2.0-jar-with-dependencies.jar --baseDir /news 通过ssh proxy来查看spark运行详情页面。同时查看日志,能够看到每个epoch的accuracy信息等。 INFO optim.DistriOptimizer$: [Epoch 2 9600/15107][Iteration 194][Wall Clock 193.266637037s] Trained 128 records in 0.958591653 seconds. Throughput is 133.52922 records/second. Loss is 0.74216986. INFO optim.DistriOptimizer$: [Epoch 2 9728/15107][Iteration 195][Wall Clock 194.224064816s] Trained 128 records in 0.957427779 seconds. Throughput is 133.69154 records/second. Loss is 0.51025534. INFO optim.DistriOptimizer$: [Epoch 2 9856/15107][Iteration 196][Wall Clock 195.189488678s] Trained 128 records in 0.965423862 seconds. Throughput is 132.58424 records/second. Loss is 0.553785. INFO optim.DistriOptimizer$: [Epoch 2 9984/15107][Iteration 197][Wall Clock 196.164318688s] Trained 128 records in 0.97483001 seconds. Throughput is 131.30495 records/second. Loss is 0.5517549. 在Analytics Zoo中使用pyspark和Jupyter来进行深度学习训练 安装jupyter pip install jupyter 使用下面命令启动。 jupyter-with-zoo.sh 使用Analytics Zoo,采用内置的Wide And Deep 模型来进行推荐,相关内容可参考github。 首先导入数据 然后定义模型和优化器进行训练查看训练结果

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册