关于学习的思考 - 不行就用笨办法【一千零一日】-低调大师

关于学习的思考 - 不行就用笨办法【一千零一日】

2018-05-13 554

想想自己的学习经历，自己勉强算是一个坚持自学，并且把终身学习做为重要人生目标的人。从初中开始，基本上所有的东西都是自学的，也很喜欢接触新事物，初中时，因为一些学校原因，初三撤学，然后同年考自学考上高中，高中也基本没在学校待过多久，主要是不喜欢在课堂学习。后来上了大学，专业电子信息，四年基本没上过课，主要是自学，后来读研，一直在导师公司上班，也基本没上过课，后来读博，由于种种原因，放弃了，就工作了。很奇葩的经历！
大学觉得跟着老师学太慢，就决定自学，从大一起就泡在图书馆，不知道要学些什么，就学士兵许三多，从A读到Z。是的，当时下决心大学四年，从A读到Z。我们学校藏书600多万册，全读是开玩笑，所以决定选定10到20个方向，每个方向泛读100到200本书，精读10到20本书，也就是说，要从600万册书中选2000册泛读，200到300册

微信关注我们

原文链接：https://yq.aliyun.com/articles/592384

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

旧版spark（1.6版本）将rdd动态转为dataframe

版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/80304950 我的原创地址：https://dongkelun.com/2018/05/11/rdd2df/ 前言旧版本spark不能直接读取csv转为df,没有spark.read.option(“header”, “true”).csv这么简单的方法直接将第一行作为df的列名，只能现将数据读取为rdd,然后通过map和todf方法转为df,如果csv的列数很多的话用如Array((1,2..))即Arrar(元组)创建的话很麻烦，本文解决如何用旧版spark读取多列txt文件转为df 1、新版为了直观明白本文的目的，先看一下新版spark如何实现 1.1 数据 data.csv，如图： 1.2 代码新版代码较简单，直接通过spark.read.option(“header”, “true”).csv(data_path)即可实现！ package com.d...

2018-05-14

608

前言 “当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff 汇总一些自己在大数据路上走过的弯路，愿大家不再掉坑… 1.分布式存储传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop 数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在，如果你把所有的数据都通过集中式SAN处理器进行处理，与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN，要么将所有的数据节点都集中到一个SAN。但Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。 2.超融合VS分布式注意，不要混淆超融合与分布式。某些超融合方案是分布式存储，但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试...

2018-05-14

541

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。