MaxCompute分布式计算如何提升基因大数据处理速率？

2016-10-26 629 89

在2016杭州云栖大会首日，来自华大基因的基因组学数据专家黄树嘉在大数据专场分享了《基于数加MaxCompute的极速全基因组数据分析》，他主要从全基因组测序的背景与原理、传统单机分析流程的挑战、基于MaxCompute的方案三个方面进行了分享，详细介绍了华大基因运用阿里云处理海量的实践。

以下内容根据演讲PPT及现场分享整理。

什么是基因

基因是生命的基本因素，是人类和其他生物的基础遗传物质。细胞内有染色体，染色体是由一个一个的DNA碱基组成的，这些DNA碱基表现出来的是一个个的字符串。人共有23对染色体，有30亿个碱基对，我们在处理的过程中可以把它看作30亿量级的字符串。一个人拥有这么大的数据量，我们在对其进行解读的时候，为了保证数据的准确性，需要有几十层数据的解读。30亿个碱基对多么重要？一个人生老病死、健康与否的信息都会存储在基

微信关注我们

原文链接：https://yq.aliyun.com/articles/62422

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-10-27 00:00:00

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日）主机名/hostname IP 角色 hadoop1 192.168.193.131 ResourceManager/NameNode/SecondaryNameNode hadoop2 192.168.193.132 NodeManager/DataNode hadoop3 192.168.193.133 NodeManager/DataNode 1.0.准备 1.1.目录用VMware创建3个Ubuntu虚拟机用mobaxterm远程连接创建好的虚拟机配置Ubuntu虚拟机源、ssh无密匙登录、jdk 配置Hadoop集群文件(Github源码) 启动Hadoop集群、在Windows主机上显示集群状态。 1.2.提前准备安装包 Windows10（宿主操作系统） VMware12 workstation（虚拟机） Ubun...

659

2016-10-28 00:00:00

配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。 WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。 HttpFS是独立的模块，有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties，需独立启动。而WebHDFS是HDFS内置模块，无自己的配置文件、环境配置文件和日志配置文件，随HDFS而启动。 WebHDFS配置，在core-site.xml中加入以下内容： hadoop.proxyuser.$username.hosts * hadoop.proxyuser.$groupname.groups * “$username”的值为启动HDFS的用户名，“$groupname”为启动H...

670

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。