-
大数据开发:剖析Hadoop和Spark的Shuffle过程差异
一、前言 对于基于MapReduce编程范式的分布式计算来说,本质上而言,就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想,让每个节点只计算部分数据,也就是只处理一个分片,那么要想求得某个key对应的全量数据,那就必须把相同key的数据汇集到同一个Reduce任务节点来处理,那么Mapreduce范式定义了一个叫做Shuffle的过程...
时间:2019-04-20点击:484收藏
-
学习大数据从何学起?大数据脑图+学习路线清晰的告诉你!
近些年,大数据的火热可谓是技术人都知道啊,很多人呢,也想学习大数据相关,但是又不知道从何下手,所以今天柠檬这里分享几个大数据脑图,希望可以让你清楚明白从哪里入门大数据,知道该学习以及掌握哪些知识点;当然还有自学教程分享哦! 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,有大量干...
时间:2019-04-20点击:541收藏
-
K8S从懵圈到熟练:认证与调度
不知道大家有没有意识到一个现实,就是大部分时候,我们已经不像以前一样,通过命令行,或者可视窗口来使用一个系统了。现在我们上微博、或者网购,操作的其实不是眼前这台设备,而是一个又一个集群。 通常,这样的集群拥有成百上千个节点,每个节点是一台物理机或虚拟机。集群一般远离用户,坐落在数据中心。为了让这些节点互相协作,对外提供一致且高效的服务,集群需要操作系统。Ku...
时间:2019-04-20点击:693收藏
-
阿里云服务器配置选择方法和经验(CPU+内存+宽带)
阿里云ECS云服务器配置的选择不仅仅包括CPU核数、内存及宽带多少,还需要根据实际业务场景选择对应的规格族,云吞铺子分享阿里云服务器的选配方法和经验: 云服务器的CPU+内存选配 普通的个人小型网站,如:个人博客等小流量网站,可选择入门级配置的云服务器推荐配置:1核CPU、1G或2G内存、硬盘40G、1M或2M带宽 论坛、门户类网站:论坛、门户类网站,用户活...
时间:2019-04-20点击:653收藏
-
K8S从懵圈到熟练:读懂这一篇,集群节点不下线
排查完全陌生的问题,完全不熟悉的系统组件,是售后工程师的一大工作乐趣,当然也是挑战。今天借这篇文章,跟大家分析一例这样的问题。排查过程中,需要理解一些自己完全陌生的组件,比如systemd和dbus。但是排查问题的思路和方法基本上还是可以复用了,希望对大家有所帮助。 问题一直在发生 I'm NotReady 阿里云有自己的Kubernetes容器集群产品。随...
时间:2019-04-20点击:504收藏
-
云服务器ecs企业版快速入门概述
快速入门流程企业级用户在购买和使用云服务器ECS实例时,通常需考虑如下几点: 配置选型估算成本网络规划配置安全组制定自动快照策略镜像迁移用负载均衡实现ECS的高可用性读者对象本文档作为快速入门参考,适用于有以下需求的读者: 了解如何进行云服务器ECS实例的配置选型。对大型的实例以及具体配置整体的成本估算。需要对某一个方案进行网络规划。如何给各实例配置安全组信...
时间:2019-04-20点击:546收藏
-
阿里云服务器怎么选择合适CPU/内存和宽带配比?
如何选择合适的云服务器?各个业务的应用场景不同,选择合适的云服务器很重要,一方面不想造成资源浪费,另一方面又怕紧紧巴巴不够用。那么如何选择合适的云服务器呢?CPU、内存、宽带、地域、磁盘选择多大的,阿里云服务器配置的选择方法CPU/内存/宽带怎么选?,该篇文章中有了介绍,万卷不离其宗,要做到了解自己: 先了解自己 1、确定自己的业务类型:游戏、视频、移动应用...
时间:2019-04-20点击:554收藏
-
阿里云服务器配置的选择方法CPU/内存/宽带怎么选?
购买阿里云服务器配置如何选择?云吞铺子分享阿里云服务器配置的选择方法,包括云服务器的规格、CPU、内存和宽带: 云服务器规格怎么选? 阿里云ECS云服务器按照使用场景不同推出不同规格的云服务器,例如:sn2ne实例、突发性能t5实例、共享型xn4实例、g5实例、gn6i实例等,这些ECS实例都是阿里云为用户根据不同应用场景打造的,详细如下: sn2ne实例:...
时间:2019-04-20点击:546收藏
-
阿里云ECS云服务器规格如何选择?根据使用场景选择规格
阿里云ECS云服务器根据不同的使用场景推出了不同的规格,比如常见的规格有:通用型、计算型、内存型、大数据型、GPU型、突发性能t5实例等规格,如何选择ECS规格?云吞铺子建议用户根据自身实际的业务场景来选择: 根据业务场景选择ECS云服务器规格 云吞铺子列举几款ECS经典规格,帮助大家选择,更多规格可以移步官方文档:ECS云服务器实例规格族官方文档,根据不同...
时间:2019-04-20点击:652收藏
-
基于大数据的移动应用开发前景有哪些
最具用户友好性的技术创新中,大数据和云技术是最强大,最安全,可扩展且普遍可接受的技术,大数据可能是结构化,半结构化或非结构化的极其复杂和大量的数据,通过计算分析它可以从该数据中挖掘出有用的信息,以揭示人类行为和来自数据元素的模式,趋势和关联的相互作用,这些大数据的一些数据元素是网络流量日志,客户的交易历史,软件日志,生产数据库,在线视频,社交媒体交互等。 大...
时间:2019-04-20点击:629收藏
-
udp协议-看这篇就够了
UDP 概述 用户数据报协议 UDP 只在 IP 的数据报服务之上增加了很少一点的功能,这就是复用和分用的功能以及查错检测的功能 UDP 的主要特点 UDP 是无连接的,即发送数据之前不需要建立连接(发送数据结束时也没有连接可释放),减少了开销和发送数据之前的时延 UDP 使用尽最大努力交付,即不保证可靠交付,主机不需要维持复杂的连接状态表 UDP 是面向报...
时间:2019-04-19点击:730收藏
-
SQL Server使用sp_rename重命名约束注意事项
SQL Server使用sp_rename重命名约束注意事项在SQL Server中,我们可以使用sp_name这个系统存储过程重命名数据库中对象的名称。 此对象可以是表、 索引、 列、 别名,约束等数据类型(具体可以参考官方文档)。上周在使用这个函数重构数据库中约束的时候,遇到了下面错误,如下所示: USE AdventureWorks2014; GO s...
时间:2019-04-19点击:882收藏
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- MySQL8.0.19开启GTID主从同步CentOS8
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Thymeleaf,官方推荐html解决方案