如何基于Spark进行用户画像？
近期，comSysto公司分享了该公司研发团队利用Spark平台解决Kaggle竞赛问题的经历，为Spark等平台应用于数据科学领域提供了借鉴。 主办方提供了一个包含5万个匿名驾驶员线路的数据集，竞赛的目的是根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征。例如，驾驶员是否长距离驾驶?短距离驾驶?高速驾驶?回头路?是否从某些站点急剧加速?是否高速转弯?所有这些问题的答案形成了表征驾驶员特征的独特标签。 面对此挑战，comSysto公司的团队想到了涵盖批处理、流数据、机器学习、图处理、SQL查询以及交互式定制分析等多种处理模型的Spark平台。他们正好以此挑战赛为契机来增强Spark方面的经验。接下来，本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。 数据分析 作为解决问题的第一个步骤，数据分析起着非常关键的作用。然而，出乎comSysto公司团队意料的是，竞赛提供的原始数据非常简单。该数据集只包含了线路的若干匿名坐标对(x,y)，如(1.3,4.4)、(2.1,4.8)和(2.9,5.2)等。如下图所示，驾驶员会在每条线路中出发并返回到原...
