使用Spark SQL进行流式机器学习计算（上）-低调大师

使用Spark SQL进行流式机器学习计算（上）

2019-06-25 692

今天来和大家聊一下如何使用Spark SQL进行流式数据的机器学习处理。本文主要分为以下几个章节：

什么是流式机器学习
机器学习模型获取途径
系统演示

1. 什么是流式机器学习

通常，当我们听到有人提到实时数据机器学习时，其实他们是讨论：

他们希望有一个模型，这个模型利用最近历史信息来进行预测分析。举一个天气的例子，如果最近几天都是晴天，那么未来几天极小概率会出现雨雪和低温天气
这个模型还需要是可更新的。当数据流经系统时，模型是可以随之进化升级。举个例子，随着业务规模的扩大，我们希望零售销售模型仍然保持准确。

第一个例子我们可以将它归为时序预测。第二个例子中，模型需要更新或者重新训练，这是一个non-stationarity问题。时序预测和non-stationarity数据分布是两类不同的问题。本文主要关注第二类问题，对于这类问题，一般的解决方

微信关注我们

原文链接：https://yq.aliyun.com/articles/706563

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute 费用暴涨之新增SQL分区裁剪失败

现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。分析：我们先明确MaxCompute SQL后付费的计费公式：一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(￥/GB)。变量主要是输入量和复杂度，但实际上复杂度最高也就为4，由复杂度引起的费用暴涨是比较罕见，我们不妨先把排查重点放在输入量上。排查：查看Logview的inputs信息如上图会发现input的分区量是14个，这个与预想的（SQL条件中只指定一个分区）不一致。问题就出在这里，此时基本可以判断这个SQL的分区

2019-06-26

752

MaxCompute客户端工具是阿里云大数据计算服务MaxCompue产品官方客户端工具，通过客户端工具可以连接MaxCompute项目，完成包括数据管理、数据上下传、作业执行、用户及授权管理等各项操作。但有用户会碰到在Windows下的命令行中执行odpscmd后，查询包含中文字符的表数据时出现乱码的情况，本文将给出问题分析和解决方法，帮助大家快速处理这样的问题。问题描述：Windows用户下载配置配置客户端（odpscmd）后，在查询包含中文字符的表数据时，会出现乱码情况，如下图所示：问题分析：MaxCompute对中文默认使用utf-8字符集的编码方式，客户端乱码的原因是因为用户访问的客户端侧（也就是windows下的cmd命令行）没有使用utf-8对查询反馈的字符进行解析展示，所以需要查看cmd的当前显示字符设置是否为ut

2019-06-26

739

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。