Flume+Hadoop+Hive的离线分析系统基本架构

2016-11-04 866 89
   最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，让大家对离线分析技术有一个简单的认识，并和大家一起做学习交流。

离线分析系统的结构图
     
      整个离线分析的总体架构就是使用 Flume 从 FTP 服务器上采集日志文件，并存储在 Hadoop HDFS 文件系统上，再接着用 Hadoop 的 mapreduce 清洗日志文件，最后使用 HIVE 构建数据仓库做离线分析。任务的调度使用 Shell 脚本完成，当然大家也可以尝试一些自动化的任务调度工具，比如说 AZKABAN 或者 OOZIE 等。
      


        
         
         

     

     
   
   
     
     
       
      
     
      
     
      
     
     
     

 
     
        
         
            
          
   
  在CODE上查看代码片 派生到我的代码片
  1.     
  2.     
  3.   
  4.     
  5.     
  6.     
  7.     
  8.   
  9.     
  10.     
  11.     
  12.   
  13.     
  14.     
  15.   
  16.     
  17.     
  18.   
  19.     
  20.     
  21.     
  22.     
    
      

          
   
  在CODE上查看代码片 派生到我的代码片
  1.     
  2.     
  3.     
  4.   
  5.     
  6.     
  7.     
  8.     
  9.   
  10.      
  11.     
  12.     
  13.     
  14.   
  15.     
  16.     
  17.   
  18.     
  19.     
  20.     
  21.   
  22.     
  23.     
  24.     
  25.     
  26.     
  27.     
  28.     
  29.     
  30.     
  31.     
  32.     
  33.   
  34.   
  35.   
    
        
       

      
    

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.   
  10.    
  11.    
  12.    
  13.    
  14.    
  15.    
  16.    
  17.    
  18.    
  19.   
  20.    
  21.   
  22.   
  23.       
  24.       
  25.          <>   
  26.           
  27.               
  28.                
  29.               
  30.           
  31.                 
  32.                       
  33.               
  34.                   
  35.               
  36.                   
  37.               
  38.                          
  39.                   
  40.                    
  41.                       
  42.                       
  43.                           
  44.                       
  45.                       
  46.                           
  47.                       
  48.                   
  49.                          
  50.           
  51.       
  52.       
  53.              
  54.           
  55.               
  56.       
  57.            
  58.           
  59.              
  60.                   
  61.           
  62.           
  63.           
  64.           
  65.                   
  66.           
  67.           
  68.           
  69.               
  70.           
  71.               
  72.               
  73.              
  74.                 
  75.   
  76.           
  77.             
  78.           
  79.           
  80.              
  81.           
  82.           
  83.        
  84.   
  85.   

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.    
  8.   
  9.      
  10.   
  11.   
  12.   
  13.      
  14.       
  15.          
  16.           
  17.            
  18.           
  19.            
  20.          
  21.              
  22.        
  23.             
  24.          
  25.             
  26.           
  27.           
  28.         
  29.           
  30.           
  31.         
  32.             
  33.              
  34.          
  35.          
  36.           
  37.        
  38.           
  39.           
  40.           
  41.               
  42.   
  43.           
  44.         
  45.               
  46.              
  47.              
  48.          
  49.          
  50.          
  51.             
  52.          
  53.               
  54.             
  55.          
  56.               
  57.              
  58.          
  59.               
  60.              
  61.          
  62.         
  63.           
  64.       
  65.           
  66.            
  67.      
  68.           
  69.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.      
  4.       
  5.        
  6.        
  7.        
  8.        
  9.        
  10.        
  11.        
  12.        
  13.        
  14.          
  15.            
  16.       
  17.           
  18.             
  19.       
  20.          
  21.            
  22.       
  23.           
  24.             
  25.       
  26.          
  27.            
  28.       
  29.           
  30.             
  31.       
  32.          
  33.            
  34.       
  35.           
  36.             
  37.       
  38.          
  39.            
  40.       
  41.           
  42.             
  43.       
  44.          
  45.            
  46.       
  47.           
  48.             
  49.       
  50.          
  51.            
  52.       
  53.           
  54.             
  55.       
  56.          
  57.            
  58.       
  59.           
  60.             
  61.       
  62.          
  63.            
  64.       
  65.           
  66.             
  67.       
  68.       
  69.          
  70.                         
  71.                              
  72.                                 
  73.       
  74.       
  75.       
  76.   


 




   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.    
  10.    
  11.    
  12.    
  13.   
  14.    
  15.    
  16.    
  17.    
  18.    
  19.    
  20.    
  21.    
  22.    
  23.    
  24.    
  25.   
  26.    
  27.    
  28.    
  29.    
  30.   
  31.      
  32.       
  33.          <>   
  34.           
  35.                
  36.                
  37.               
  38.               
  39.           
  40.                 
  41.                           
  42.               
  43.                  
  44.               
  45.                   
  46.                   
  47.               
  48.               
  49.                
  50.                   
  51.                   
  52.                       
  53.                   
  54.                   
  55.                       
  56.                   
  57.                          
  58.           
  59.       
  60.   
  61.         <   >  
  62.           
  63.                
  64.                
  65.               
  66.               
  67.                
  68.               
  69.           
  70.           
  71.             <>         
  72.               
  73.                  
  74.                  
  75.               
  76.                           
  77.               
  78.             <>     <>  
  79.                   
  80.                      
  81.                   
  82.               
  83.              <>   
  84.   
  85.                                             
  86.                          
  87.                          
  88.                        &&       
  89.                        
  90.                   
  91.               
  92.               
  93.                   
  94.                   
  95.                      
  96.                       
  97.                         
  98.                        
  99.                        
  100.                           
  101.                           
  102.                               
  103.                           
  104.                           
  105.                               
  106.                           
  107.                       
  108.                       
  109.                     
  110.                       
  111.                          
  112.                          
  113.                      >                               
  114.                           
  115.                             
  116.                                                                            
  117.                           
  118.                        
  119.                                              
  120.                        
  121.                           
  122.                           
  123.                               
  124.                           
  125.                           
  126.                               
  127.                           
  128.                       
  129.                                  
  130.               
  131.           
  132.           
  133.               
  134.               
  135.                  
  136.                
  137.                     
  138.                   
  139.                       
  140.                   
  141.               
  142.                
  143.           
  144.           
  145.                
  146.               
  147.                  
  148.                   
  149.               
  150.                
  151.           
  152.           
  153.       
  154.       
  155.       
  156.              
  157.           
  158.               
  159.       
  160.            
  161.                           
  162.              
  163.                   
  164.           
  165.           
  166.           
  167.           
  168.           
  169.                   
  170.           
  171.           
  172.           
  173.           
  174.           
  175.           
  176.           
  177.           
  178.               
  179.               
  180.              
  181.           
  182.           
  183.             
  184.           
  185.             
  186.           
  187.           
  188.           
  189.              
  190.           
  191.           
  192.       
  193.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.   
  8.    
  9.   
  10.      
  11.       
  12.           
  13.            
  14.       
  15.            
  16.                   
  17.                 
  18.            
  19.       
  20.       
  21.           
  22.           
  23.               
  24.               
  25.               
  26.           
  27.           
  28.           
  29.           
  30.               
  31.            
  32.       
  33.       
  34.           
  35.                   
  36.              
  37.            
  38.                 
  39.               
  40.                   
  41.               
  42.           
  43.            
  44.       
  45.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.      
  8.       
  9.        
  10.        
  11.        
  12.        
  13.        
  14.       
  15.       
  16.          
  17.            
  18.       
  19.           
  20.             
  21.       
  22.          
  23.            
  24.       
  25.           
  26.             
  27.       
  28.          
  29.            
  30.       
  31.           
  32.             
  33.       
  34.          
  35.            
  36.       
  37.           
  38.             
  39.       
  40.          
  41.            
  42.       
  43.           
  44.             
  45.       
  46.       
  47.          
  48.           
  49.                
  50.            &&      
  51.                
  52.                    
  53.                   
  54.                       
  55.                   
  56.               
  57.           
  58.            
  59.       
  60.       
  61.       
  62.          
  63.                         
  64.                         
  65.       
  66.       
  67.       
  68.       
  69.   




   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.    
  10.    
  11.    
  12.    
  13.   
  14.    
  15.    
  16.    
  17.    
  18.    
  19.    
  20.    
  21.    
  22.    
  23.    
  24.   
  25.    
  26.    
  27.    
  28.    
  29.    
  30.    
  31.    
  32.    
  33.   
  34.      
  35.       
  36.          <>   
  37.               
  38.                    
  39.               
  40.                     
  41.                                   
  42.                      
  43.                       
  44.                   
  45.                   
  46.                   
  47.                        
  48.                           
  49.                           
  50.                               
  51.                           
  52.                           
  53.                               
  54.                           
  55.                                              
  56.               
  57.           
  58.   
  59.          <   >  
  60.       
  61.                
  62.                
  63.               
  64.               
  65.                
  66.           
  67.              
  68.              
  69.       
  70.           
  71.             <>         
  72.               
  73.               
  74.             <>     <>  
  75.                   
  76.                      
  77.                   
  78.               
  79.              <>   
  80.   
  81.                                             
  82.                          
  83.                          
  84.                        &&       
  85.                        
  86.                   
  87.               
  88.               
  89.               
  90.                  
  91.                   
  92.                   
  93.                      
  94.                   
  95.                        
  96.                       
  97.                                                  
  98.                       
  99.                       
  100.                   
  101.                   
  102.                   
  103.                   
  104.                   
  105.                   
  106.                     
  107.                        
  108.                   
  109.                   
  110.                                        
  111.                    
  112.                       
  113.                       
  114.                           
  115.                       
  116.                       
  117.                           
  118.                       
  119.                   
  120.                          
  121.          
  122.   
  123.       
  124.              
  125.           
  126.               
  127.           
  128.            
  129.                           
  130.              
  131.                   
  132.           
  133.           
  134.           
  135.           
  136.           
  137.                   
  138.           
  139.           
  140.           
  141.           
  142.           
  143.           
  144.           
  145.           
  146.               
  147.               
  148.              
  149.           
  150.           
  151.             
  152.           
  153.             
  154.           
  155.           
  156.           
  157.              
  158.           
  159.           
  160.       
  161.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.   
  6.      
  7.       
  8.         
  9.         
  10.         
  11.           
  12.           
  13.               
  14.               
  15.               
  16.                
  17.           
  18.           
  19.           
  20.           
  21.           
  22.                       
  23.            
  24.       
  25.       
  26.           
  27.           
  28.            
  29.       
  30.   
  31.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.      
  8.       
  9.        
  10.        
  11.        
  12.        
  13.        
  14.        
  15.          
  16.            
  17.       
  18.           
  19.             
  20.       
  21.          
  22.            
  23.       
  24.           
  25.             
  26.       
  27.          
  28.            
  29.       
  30.           
  31.             
  32.       
  33.          
  34.            
  35.       
  36.           
  37.             
  38.       
  39.          
  40.            
  41.       
  42.           
  43.             
  44.       
  45.          
  46.            
  47.       
  48.           
  49.             
  50.       
  51.       
  52.          
  53.           
  54.                
  55.            &&      
  56.                
  57.                    
  58.                   
  59.                       
  60.                   
  61.               
  62.           
  63.            
  64.       
  65.       
  66.       
  67.          
  68.                         
  69.                              
  70.       
  71.           
  72.   




   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.    
  10.    
  11.    
  12.   
  13.    
  14.    
  15.    
  16.    
  17.    
  18.    
  19.    
  20.    
  21.    
  22.    
  23.   
  24.    
  25.    
  26.    
  27.    
  28.    
  29.    
  30.   
  31.      
  32.       
  33.          <>   
  34.           
  35.                
  36.           
  37.                 
  38.                               
  39.                  
  40.                   
  41.               
  42.               
  43.               
  44.                    
  45.                       
  46.                       
  47.                           
  48.                       
  49.                       
  50.                           
  51.                       
  52.                                          
  53.           
  54.       
  55.   
  56.          <   >  
  57.       
  58.                
  59.               
  60.               
  61.                
  62.               
  63.         <>    <>  
  64.           
  65.              
  66.              
  67.              
  68.       
  69.           
  70.             <>         
  71.               
  72.               
  73.             <>     <>  
  74.                   
  75.                   
  76.               
  77.              <>   
  78.                   
  79.                        
  80.                         
  81.                                 
  82.                                 
  83.                        
  84.                        
  85.                        
  86.                             
  87.                                                  
  88.                            &&       
  89.                            
  90.                           
  91.                               
  92.                           
  93.                            
  94.                       
  95.                   
  96.               
  97.               
  98.                         
  99.                   
  100.                   
  101.                                     
  102.                      
  103.                      
  104.                      
  105.                        
  106.                      
  107.               
  108.                 
  109.                    
  110.               
  111.                
  112.                   
  113.                   
  114.                       
  115.                   
  116.                   
  117.                       
  118.                   
  119.               
  120.              
  121.       
  122.       
  123.              
  124.           
  125.               
  126.           
  127.            
  128.                           
  129.              
  130.                           
  131.           
  132.           
  133.           
  134.           
  135.           
  136.                   
  137.           
  138.           
  139.           
  140.           
  141.           
  142.           
  143.           
  144.           
  145.               
  146.               
  147.              
  148.           
  149.           
  150.             
  151.           
  152.             
  153.           
  154.           
  155.           
  156.              
  157.           
  158.           
  159.       
  160.   

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.   
  5.    
  6.    
  7.    
  8.   
  9.      
  10.       
  11.       <>     
  12.           
  13.               
  14.               
  15.               
  16.                     
  17.                 
  18.                          
  19.               
  20.               
  21.               
  22.           
  23.           
  24.           
  25.           
  26.           
  27.           
  28.           
  29.           
  30.           
  31.           
  32.            
  33.       
  34.   

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.      
  8.       
  9.        
  10.        
  11.        
  12.        
  13.        
  14.        
  15.        
  16.        
  17.       
  18.          
  19.            
  20.       
  21.           
  22.             
  23.       
  24.          
  25.            
  26.       
  27.           
  28.             
  29.       
  30.          
  31.            
  32.       
  33.           
  34.             
  35.       
  36.          
  37.            
  38.       
  39.           
  40.             
  41.       
  42.          
  43.            
  44.       
  45.           
  46.             
  47.       
  48.          
  49.            
  50.       
  51.           
  52.             
  53.       
  54.          
  55.            
  56.       
  57.           
  58.             
  59.       
  60.          
  61.            
  62.       
  63.           
  64.             
  65.       
  66.       
  67.       
  68.          
  69.                      
  70.                                 
  71.                            
  72.       
  73.       
  74.       
  75.           
  76.   




     

    
      
          
      
      
       
       



  

     

    
     

   
    >>

   
     >>


   

   
    >>

    >>

   

    >>

   >>

   
    >>

   >>

   
    >>

  


   
   
   
    
    >>

   
    >>



    
   >>

   >>

  

   >>

  
>>
   
   

    
    >>

   
    >>

   
    >>

      
     
    >> 

     

    
   
>>>

  
  >> 

  
   >>

  >>

 >>

 >>

 
  >>

   



   
   
  在CODE上查看代码片 派生到我的代码片
  1.   
  2.   
  3.    
  4.   
  5.    
  6.   
  7.   
  8.    
  9.        
  10.   
  11.   
  12.   
  13.   
  14.    
  15.        
  16.   
  17.    
  18.          &  
  19.   
  20.   
  21.    
  22.        
  23.   
  24.     
  25.   
  26.   
  27.     
  28.        
  29.   
  30.   &  
  31.   

    
   
  在CODE上查看代码片 派生到我的代码片
  1.   
  2.   
  3.    
  4.    
  5.   
  6.      
  7.   
  8.        
  9.   
  10.      
  11.   
  12.   
  13.        
  14.   
  15.      
  16.   
  17.   
  18.        
  19.   
  20.      
  21.   
  22.   
  23.     
  24.        
  25.   
  26.        
  27.               
  28.   
  29.   
  30.         
  31.        
  32.   
  33.                      
  34.   
  35.   
  36.        
  37.   
  38.                    
  39.   
  40.   
  41.        
  42.   
  43.                        
  44.   
  45.   

      
   

  在CODE上查看代码片 派生到我的代码片
  1.    
  2.        >>   
  3.    

     


优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/578805

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

YARN and MapReduce的【内存】优化配置详解

YARN and MapReduce的【内存】优化配置详解

在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 Y ARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Co ntainer来给每个应用提供处理能力, Container是YARN中处理能力的基本单元, 是对内存, CPU等的封装. 目前我这里的服务器情况：6台slave，每台：32G内存，2*6核CPU。 由于hadoop 1.x存在JobTracker和TaskTracker，资源管理有它们实现，在执行mapreduce作业时，资源分为map task和reduce task。所有存在下面两个参数分别设置每个TaskTracker可以运行的任务数： 点击(此处)折叠或打开 <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value&g...
640
上一篇
携程大数据实践：高并发应用架构及推荐系统案例

携程大数据实践：高并发应用架构及推荐系统案例

本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据团队也由此应运而生；经过几年的努力，大数据的相关技术为业务带来了惊人的提升与帮助。以基础大数据的用户意图服务为例，通过将广告和栏位的“千人一面”变为“千人千面”，在提升用户便捷性，可用性，降低费力度的同时，其转化率也得到了数倍的提升，体现了大数据服务的真正价值。 在李小林看来，大数据是互联网行业发展的趋势，互联网的从业人员需要高度关注大数据相关的技术及应用，也希望通过这一系列大数据相关的讲座，让各位同学有所收获。 首场《应用架构涅磐》分享来自基础业务研发部的董锐，包括业务高速发展带来的应用架构挑战、应对挑战的架构涅磐、应用系统整体架构和推荐系统案例等四个部分。 一、业务高速发展带来的应用架构挑战 公司业务高速发展带来哪些主要的变化，以及给我们的系统带来了哪些挑战？ 1.业务需求的急速增长，访问...
729
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
HarmonyOS NEXT K8s 服务网格 SpringCloud Nacos Jdk25 SpringBoot ChatGPT DeepSeek Docker Redis

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273