Flink 原理与实现：内存管理-低调大师

Flink 原理与实现：内存管理

2016-07-18 679 89

如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：

Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存：对象头占了8个，boolean 属性占了1个，对齐填充占了7个。而实际上只需要一个bit（1/8字节）就够了。
Full GC 会极大地影响性能，尤其是为了处理更大数据而开了很大内存空间的JVM来说，GC 会达到秒级甚至分钟级。
OOM 问题影响稳定性。OutOfMemoryError是分布式计算框架经常会遇到的问题，当JVM中所有对象大小超过分配给JVM的内存大小时，就会发生OutOfMemoryError错误，导致JVM崩溃，分布式框架的健壮

微信关注我们

原文链接：https://yq.aliyun.com/articles/57815

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-07-19 00:00:00

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6，并安装python开发工具Jupyter notebook，通过pyspark测试一个实例，調通整个Spark+hadoop伪分布式开发环境。主要内容：配置root用户，配置Hadoop，Spark环境变量，Hadoop伪分布式安装并测试实例，spark安装并通过Jupter notebook进行开发实例，配置Jupter notebook兼容Python2和python3双内核共存开发。默认已经正确安装了JDK，并设置了JAVA_HOME(安装JDK教程较多，不再赘述) 1.配置环境变量 1.0 配置SSH ssh免密匙登录 sudo apt-get install ssh sudo apt-get install rsync ssh-keygen -t rsa //一路回车就好 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh localhost //不需要输入密码时即成功 1.1.进入root用户 1.1.1 root用户初始为禁止登陆，通过重新设...

577

2016-07-19 00:00:00

Spark应用(app jar)发布到Hadoop集群的过程

记录了Spark，Hadoop集群的开启，关闭，以及Spark应用提交到Hadoop集群的过程，通过web端监控运行状态。 1.绝对路径开启集群（每次集群重启，默认配置的hadoop集群中tmp文件被清空所以需要重新format) 我的集群安装位置是/opt/hadoop下，可以根据自己路径修改。 /opt/hadoop/bin/hdfs namenode -format /opt/hadoop/sbin/start-all.sh /opt/spark/sbin/start-all.sh 使用jps命令查看集群是否全部正确开启 2.绝对路径关闭集群 /opt/hadoop/sbin/stop-all.sh /opt/spark/sbin/stop-all.sh 3.Spark业务(app)发布到Hadoop YARN集群方式这里发布一个spark本身自带的jar发到hadoop集群中（此时hadoop和spark都已开启） cd /opt/spark ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ -...

596

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。