MaxCompute分布式计算如何提升基因大数据处理速率？

2016-10-26 645

在2016杭州云栖大会首日，来自华大基因的基因组学数据专家黄树嘉在大数据专场分享了《基于数加MaxCompute的极速全基因组数据分析》，他主要从全基因组测序的背景与原理、传统单机分析流程的挑战、基于MaxCompute的方案三个方面进行了分享，详细介绍了华大基因运用阿里云处理海量的实践。

以下内容根据演讲PPT及现场分享整理。

什么是基因

基因是生命的基本因素，是人类和其他生物的基础遗传物质。细胞内有染色体，染色体是由一个一个的DNA碱基组成的，这些DNA碱基表现出来的是一个个的字符串。人共有23对染色体，有30亿个碱基对，我们在处理的过程中可以把它看作30亿量级的字符串。一个人拥有这么大的数据量，我们在对其进行解读的时候，为了保证数据的准确性，需要有几十层数据的解读。30亿个碱基对多么重要？一个人生老病死、健康与否的信息都会存储在基

微信关注我们

原文链接：https://yq.aliyun.com/articles/62422

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日）主机名/hostname IP 角色 hadoop1 192.168.193.131 ResourceManager/NameNode/SecondaryNameNode hadoop2 192.168.193.132 NodeManager/DataNode hadoop3 192.168.193.133 NodeManager/DataNode 1.0.准备 1.1.目录用VMware创建3个Ubuntu虚拟机用mobaxterm远程连接创建好的虚拟机配置Ubuntu虚拟机源、ssh无密匙登录、jdk 配置Hadoop集群文件(Github源码) 启动Hadoop集群、在Windows主机上显示集群状态。 1.2.提前准备安装包 Windows10（宿主操作系统） VMware12 workstation（虚拟机） Ubun...

2016-10-27

676

HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。 WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。 HttpFS是独立的模块，有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties，需独立启动。而WebHDFS是HDFS内置模块，无自己的配置文件、环境配置文件和日志配置文件，随HDFS而启动。 WebHDFS配置，在core-site.xml中加入以下内容： hadoop.proxyuser.$username.hosts * hadoop.proxyuser.$groupname.groups * “$username”的值为启动HDFS的用户名，“$groupname”为启动H...

2016-10-28

688

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

MaxCompute分布式计算如何提升基因大数据处理速率？

什么是基因

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

配置HDFS HttpFS和WebHDFS

相关文章

发表评论

资源下载

Mario

Nacos

Spring

Rocky Linux

欢迎您来访！