《Scala机器学习》一一2.5　数据驱动系统的基本组件-低调大师

《Scala机器学习》一一2.5　数据驱动系统的基本组件

2017-08-01 591

2.5　数据驱动系统的基本组件
简单地说，一个数据驱动架构包含如下的组件（或者可精简为以下这些组件）：
数据收集：需要从系统和设备上收集数据。大多数的系统有日志，或者至少可选择将日志写入本地文件系统。一些系统可以通过网络来传输信息，比如syslog。但若没有审计信息，缺少持久层意味着有可能丢失数据。
数据转换层：也被称为提取、变换和加载（ETL）。现在数据转换层也可以进行实时处理，即通过最近的数据来计算汇总信息。数据转换层也用来重新格式化数据和索引数据，以便能被UI组件有效地访问。
数据分析和机器学习引擎：这层是标准数据转换层的一部分，因为这一层需要很多完全不一样的技术。构建合理统计模型的思维方式通常与快速移动数TB数据不同，尽管偶尔可以找到具有这两种技能的人。通常称这些人为数据科学家，但是他们在任何特定领域的技能通常不及专注于一个特定领

微信关注我们

原文链接：https://yq.aliyun.com/articles/174352

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

容器技术企业落地的思考与选型

计算的力量，推动着行业，推动着IT移向新的位置。重新定义计算的边界，我们在历史的潮流中总是可以看到，新的理念，新的技术，前仆后继，有的在洪流中扬名立万，有的则被无情冲刷，有的离目标仅咫尺之遥，有的则凭其变革的力量正在接受行业的检验。不管经历如何，技术都逃不过要走企业落地的路途。近年来，以Docker为代表的容器技术，红得发紫。其理念之新颖，其生态之健壮，不断被业界所津津乐道。容器技术基于各种场景的尝试与实践，在过去的两年中，更是层出不穷。一时间，容器甚至被认为是未来的基石性技术。容器技术并非新生事物，其中最具代表性的Docker，如何在当今局势下，帮助容器技术在企业级落地，另外其商业模式的探究，都将是值得深思的话题。标准化带来的价值《重新定义计算的边界》一文中，Docker带来的标准化价值被大谈特谈，不论是交付的标准化，还是资源的标准化。标准化的价值，无疑是技术在企业落地时十分重要的参考因素。技术标准可以保障技术在发展过程中，减少不稳定因素，使得技术本身趋向稳定。标准化有利于企业内部有效的技术管理，极大提高内部效率。有效的技术管理又可以帮助企业开展技术创新，提高经济效益，也可以...

2017-08-02

540

云存储这个概念一经提出，就得到了众多厂商的支持和关注。Amazon公司推出弹性块存储(EBS)技术支持数据持久性存储；Google推出在线存储服务GDrive； Microsoft 公司推出WindowsAzure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。云储存在全球发展趋势明显，给传统储存市场带来深远影响。　　云储存市场发展状况随着云存储的飞速发展，海量存储挑战愈加严峻。爆炸性增长的海量数据正如潮水般地冲击着他们的存储系统。同时，各行业对于数据的安全性要求也越来越高。云存储作为一种新兴的技术理念，正在改变着传统存储的提供与使用方式，也对存储行业带来了深远影响。云存储正在成为全球存储行业的发展潮流之一，云存储产品的应用范围正在不断扩大，并且客户群也更加细分。针对千差万别的行业应用需求，创新科认为，各行业用户只有应用创新的弹性系统架构，才能满足动态增长的存储需求。而结合其创新的弹性云存储系统架构，并采用了分布式存储技术和统一监控管理平台的大规模分布式云存储文件系统，将成为帮助各行业实现海量数据存储、容灾和备份的新模式。针对那些...

2017-08-02

515

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。