《大数据分析原理与实践》——1.4　大数据分析的过程、技术与难点-低调大师

《大数据分析原理与实践》——1.4　大数据分析的过程、技术与难点

2017-08-31 739

1.4　大数据分析的过程、技术与难点

1.大数据分析的过程

大数据分析的过程大致分为下面6个步骤：

（1）业务理解
最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将业务知识转化为数据分析问题的定义和实现目标的初步计划上。
（2）数据理解
数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。
（3）数据准备
数据准备阶段包括从未处理数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务有的能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择，以及为模型工具转换和清洗数据。
（4）建模
在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。有些技术可以解决一类相同的数据分析问题；有些技术在数据形

微信关注我们

原文链接：https://yq.aliyun.com/articles/212338

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

中国人工智能学会通讯——自然语言处理的十个发展趋势趋势 10: NLP+ 行业——与领域深度结合，为行业创造价值

趋势 10: NLP+ 行业——与领域深度结合，为行业创造价值最后是谈与企业的合作。现在像银行、电器、医药、司法、教育、金融等各个领域对NLP的需求都非常多。我预测NLP首先是会在信息准备的充分，并且服务方式本身就是知识和信息的领域产生突破。还比如司法领域，它的服务本身也有信息，它就会首先使用NLP。NLP最主要将会用在医疗、金融、教育和司法四个领域。（本报告根据速记整理）

2017-09-01

586

CNET科技行者 8月21日北京消息：“语音识别”的终极梦想，是真正能够理解人类语言甚至是方言环境的系统。但几十年来，人们并没有一个有效的策略来创建这样一个系统，直到人工智能技术的爆发。在过去几年中，人们在人工智能和深度学习领域的突破，让语音识别的探索跨了一大步。市面上玲琅满目的产品也反映了这种飞跃式发展，例如亚马逊Echo、苹果Siri 等等。本文将回顾语音识别技术领域的最新进展，研究促进其迅猛发展进程的元素，并探讨其未来以及我们距离可以完全解决这个问题还有多远。背景：人机交互多年来，理解人类一直都是人工智能的最重要任务之一。人们不仅希望机器能够理解他们在说些什么，还希望它们能够理解他们所要表达的意思，并基于这些信息采取特定的行动。而这一目标正是对话式人工智能（AI）的精髓。对话式AI包含有两个主要类别：人机界面，以及人与人沟通的界面。在人机界面中，人类与机器往往通过语音或文本交互，届时机器会理解人类 (尽管这种理解方式是有限的) 并采取相应的一些措施。图1表明，这台机器可以是一个私人助理 ( Siri、Alexa之类的产品 ) 或某种聊天机器人。图1：人机交互AI 在人...

2017-09-01

754

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。