《构建实时机器学习系统》一3.4　数据分析的三个要点-低调大师

《构建实时机器学习系统》一3.4　数据分析的三个要点

2017-09-07 689

3.4　数据分析的三个要点

本书后面的章节中将会以前面发现的均值回归的性质为依托，设计实时机器学习交易策略进行交易。好多读者看到这里可能已经跃跃欲试，等不及要开始搭建服务器开始赚他一个亿了。但是在这之前我们需要总结一下在开展机器学习工作前期关于数据分析的几个原则。

3.4.1　不断验证假设

验证假设是否正确是机器学习前期数据分析最重要的目的。这里的假设包括但不限于：数据的格式、变量的数量、数据是否缺失、是否有极端值、采样是否均衡等。上面这些假设，如果稍有差错，就会让在后面得到的机器学习模型无用武之地。
与此同时，我们通过数据清理得到的结果也需要经过假设验证以保证数据的完整性。最后，在实时应用中，我们往往需要考虑如下这些情况。
极端值：线下建模往往都会在第一步就过滤掉极端值，但是在实时环境中，极端值是客观存在的。
缺失值：再优秀的系统也有宕机出

微信关注我们

原文链接：https://yq.aliyun.com/articles/212049

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《构建实时机器学习系统》一第3章数据分析工具 Pandas 3.1　颠覆 R 的 Pandas

第3章数据分析工具 Pandas 3.1　颠覆 R 的 Pandas 进行机器学习应用的第一步是理解和探索数据，为此我们需要一套交互性很强的软件。一款理想的数据分析软件可以轻松地从多个来源读取数据、进行预处理，并且还要具有优良的统计和可视化功能，Pandas 就是这样一款软件。Pandas 是一款基于 Python 的数据分析和建模的开源软件包。2012 年两位笔者刚刚在亚马逊相识的时候，如日中天的 R工具正是机器学习和数据分析的主流，而基于Python 的数据分析工具 Pandas 正在默默无闻地发展壮大。到2016 年本书写作之时，Pandas 已经完全取代了 R，成为了主流业务中数据分析的必备软件。这样的成功与Pandas 的设计是密不可分的。这其中有以下两个方面的原因。取材于 R，超越 R：Pandas 里处处都有R 的影子。

2017-09-07

714

说起日志，大家都是耳熟能详的，一大堆日志插件映入眼帘，日志收集的方式也历历在目，但是，今天我们的重点不仅仅是收集日志了，今天我们主要说说怎么管理日志收集日志日志管理的第一件事，就是日志的收集。日志收集是开发者必备的技巧，不管是哪个开发语言，哪个开发平台，日志收集的插件都是有很多选择的。例如： .net 平台大家钟爱的log4net,支持多种存储方式（文件、数据库），多种格式，多种日志拆分方式。 java 平台主流的log4j、slf4j、logback，多种选择。日志收集的组件这里就不一一说明了，使用都是很简单的，这里重点说明一下，日志我们收集应该注意的地方： 1. 日志等级一定要规范等级说明 debug 调试信息 info 用来收集关注的信息 warn 警告信息 error 错误信息好多开发工程师记录日志总是喜欢用info级别来记录日志，一般的组件默认级别都是info,所有info默认都是会被记录的，而debug信息发布后，是不会被记录的。这是一种偷懒的做法，但这也是很普遍的做法。正确的方式应该根据日志本身的特性去设置日志的级别，其实规范的日志级别是非常重要的：正确的级...

2017-09-07

620

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。