《大数据分析原理与实践》——1.4　大数据分析的过程、技术与难点-低调大师

《大数据分析原理与实践》——1.4　大数据分析的过程、技术与难点

2017-08-31 763

1.4　大数据分析的过程、技术与难点

1.大数据分析的过程

大数据分析的过程大致分为下面6个步骤：

（1）业务理解
最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将业务知识转化为数据分析问题的定义和实现目标的初步计划上。
（2）数据理解
数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。
（3）数据准备
数据准备阶段包括从未处理数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务有的能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择，以及为模型工具转换和清洗数据。
（4）建模
在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。有些技术可以解决一类相同的数据分析问题；有些技术在数据形

微信关注我们

原文链接：https://yq.aliyun.com/articles/212338

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

中国人工智能学会通讯——自然语言处理的十个发展趋势趋势 10: NLP+ 行业——与领域深度结合，为行业创造价值

趋势 10: NLP+ 行业——与领域深度结合，为行业创造价值最后是谈与企业的合作。现在像银行、电器、医药、司法、教育、金融等各个领域对NLP的需求都非常多。我预测NLP首先是会在信息准备的充分，并且服务方式本身就是知识和信息的领域产生突破。还比如司法领域，它的服务本身也有信息，它就会首先使用NLP。NLP最主要将会用在医疗、金融、教育和司法四个领域。（本报告根据速记整理）

2017-09-01

606

CNET科技行者 8月21日北京消息：“语音识别”的终极梦想，是真正能够理解人类语言甚至是方言环境的系统。但几十年来，人们并没有一个有效的策略来创建这样一个系统，直到人工智能技术的爆发。在过去几年中，人们在人工智能和深度学习领域的突破，让语音识别的探索跨了一大步。市面上玲琅满目的产品也反映了这种飞跃式发展，例如亚马逊Echo、苹果Siri 等等。本文将回顾语音识别技术领域的最新进展，研究促进其迅猛发展进程的元素，并探讨其未来以及我们距离可以完全解决这个问题还有多远。背景：人机交互多年来，理解人类一直都是人工智能的最重要任务之一。人们不仅希望机器能够理解他们在说些什么，还希望它们能够理解他们所要表达的意思，并基于这些信息采取特定的行动。而这一目标正是对话式人工智能（AI）的精髓。对话式AI包含有两个主要类别：人机界面，以及人与人沟通的界面。在人机界面中，人类与机器往往通过语音或文本交互，届时机器会理解人类 (尽管这种理解方式是有限的) 并采取相应的一些措施。图1表明，这台机器可以是一个私人助理 ( Siri、Alexa之类的产品 ) 或某种聊天机器人。图1：人机交互AI 在人...

2017-09-01

775

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。