首页 文章 精选 留言 我的

Flume+Hadoop+Hive的离线分析系统基本架构

2016-11-04 882
   最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，让大家对离线分析技术有一个简单的认识，并和大家一起做学习交流。

离线分析系统的结构图
     
      整个离线分析的总体架构就是使用 Flume 从 FTP 服务器上采集日志文件，并存储在 Hadoop HDFS 文件系统上，再接着用 Hadoop 的 mapreduce 清洗日志文件，最后使用 HIVE 构建数据仓库做离线分析。任务的调度使用 Shell 脚本完成，当然大家也可以尝试一些自动化的任务调度工具，比如说 AZKABAN 或者 OOZIE 等。
      


        
         
         

     

     
   
   
     
     
       
      
     
      
     
      
     
     
     

 
     
        
         
            
          
   
  在CODE上查看代码片 派生到我的代码片
  1.     
  2.     
  3.   
  4.     
  5.     
  6.     
  7.     
  8.   
  9.     
  10.     
  11.     
  12.   
  13.     
  14.     
  15.   
  16.     
  17.     
  18.   
  19.     
  20.     
  21.     
  22.     
    
      

          
   
  在CODE上查看代码片 派生到我的代码片
  1.     
  2.     
  3.     
  4.   
  5.     
  6.     
  7.     
  8.     
  9.   
  10.      
  11.     
  12.     
  13.     
  14.   
  15.     
  16.     
  17.   
  18.     
  19.     
  20.     
  21.   
  22.     
  23.     
  24.     
  25.     
  26.     
  27.     
  28.     
  29.     
  30.     
  31.     
  32.     
  33.   
  34.   
  35.   
    
        
       

      
    

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.   
  10.    
  11.    
  12.    
  13.    
  14.    
  15.    
  16.    
  17.    
  18.    
  19.   
  20.    
  21.   
  22.   
  23.       
  24.       
  25.          <>   
  26.           
  27.               
  28.                
  29.               
  30.           
  31.                 
  32.                       
  33.               
  34.                   
  35.               
  36.                   
  37.               
  38.                          
  39.                   
  40.                    
  41.                       
  42.                       
  43.                           
  44.                       
  45.                       
  46.                           
  47.                       
  48.                   
  49.                          
  50.           
  51.       
  52.       
  53.              
  54.           
  55.               
  56.       
  57.            
  58.           
  59.              
  60.                   
  61.           
  62.           
  63.           
  64.           
  65.                   
  66.           
  67.           
  68.           
  69.               
  70.           
  71.               
  72.               
  73.              
  74.                 
  75.   
  76.           
  77.             
  78.           
  79.           
  80.              
  81.           
  82.           
  83.        
  84.   
  85.   

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.    
  8.   
  9.      
  10.   
  11.   
  12.   
  13.      
  14.       
  15.          
  16.           
  17.            
  18.           
  19.            
  20.          
  21.              
  22.        
  23.             
  24.          
  25.             
  26.           
  27.           
  28.         
  29.           
  30.           
  31.         
  32.             
  33.              
  34.          
  35.          
  36.           
  37.        
  38.           
  39.           
  40.           
  41.               
  42.   
  43.           
  44.         
  45.               
  46.              
  47.              
  48.          
  49.          
  50.          
  51.             
  52.          
  53.               
  54.             
  55.          
  56.               
  57.              
  58.          
  59.               
  60.              
  61.          
  62.         
  63.           
  64.       
  65.           
  66.            
  67.      
  68.           
  69.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.      
  4.       
  5.        
  6.        
  7.        
  8.        
  9.        
  10.        
  11.        
  12.        
  13.        
  14.          
  15.            
  16.       
  17.           
  18.             
  19.       
  20.          
  21.            
  22.       
  23.           
  24.             
  25.       
  26.          
  27.            
  28.       
  29.           
  30.             
  31.       
  32.          
  33.            
  34.       
  35.           
  36.             
  37.       
  38.          
  39.            
  40.       
  41.           
  42.             
  43.       
  44.          
  45.            
  46.       
  47.           
  48.             
  49.       
  50.          
  51.            
  52.       
  53.           
  54.             
  55.       
  56.          
  57.            
  58.       
  59.           
  60.             
  61.       
  62.          
  63.            
  64.       
  65.           
  66.             
  67.       
  68.       
  69.          
  70.                         
  71.                              
  72.                                 
  73.       
  74.       
  75.       
  76.   


 




   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.    
  10.    
  11.    
  12.    
  13.   
  14.    
  15.    
  16.    
  17.    
  18.    
  19.    
  20.    
  21.    
  22.    
  23.    
  24.    
  25.   
  26.    
  27.    
  28.    
  29.    
  30.   
  31.      
  32.       
  33.          <>   
  34.           
  35.                
  36.                
  37.               
  38.               
  39.           
  40.                 
  41.                           
  42.               
  43.                  
  44.               
  45.                   
  46.                   
  47.               
  48.               
  49.                
  50.                   
  51.                   
  52.                       
  53.                   
  54.                   
  55.                       
  56.                   
  57.                          
  58.           
  59.       
  60.   
  61.         <   >  
  62.           
  63.                
  64.                
  65.               
  66.               
  67.                
  68.               
  69.           
  70.           
  71.             <>         
  72.               
  73.                  
  74.                  
  75.               
  76.                           
  77.               
  78.             <>     <>  
  79.                   
  80.                      
  81.                   
  82.               
  83.              <>   
  84.   
  85.                                             
  86.                          
  87.                          
  88.                        &&       
  89.                        
  90.                   
  91.               
  92.               
  93.                   
  94.                   
  95.                      
  96.                       
  97.                         
  98.                        
  99.                        
  100.                           
  101.                           
  102.                               
  103.                           
  104.                           
  105.                               
  106.                           
  107.                       
  108.                       
  109.                     
  110.                       
  111.                          
  112.                          
  113.                      >                               
  114.                           
  115.                             
  116.                                                                            
  117.                           
  118.                        
  119.                                              
  120.                        
  121.                           
  122.                           
  123.                               
  124.                           
  125.                           
  126.                               
  127.                           
  128.                       
  129.                                  
  130.               
  131.           
  132.           
  133.               
  134.               
  135.                  
  136.                
  137.                     
  138.                   
  139.                       
  140.                   
  141.               
  142.                
  143.           
  144.           
  145.                
  146.               
  147.                  
  148.                   
  149.               
  150.                
  151.           
  152.           
  153.       
  154.       
  155.       
  156.              
  157.           
  158.               
  159.       
  160.            
  161.                           
  162.              
  163.                   
  164.           
  165.           
  166.           
  167.           
  168.           
  169.                   
  170.           
  171.           
  172.           
  173.           
  174.           
  175.           
  176.           
  177.           
  178.               
  179.               
  180.              
  181.           
  182.           
  183.             
  184.           
  185.             
  186.           
  187.           
  188.           
  189.              
  190.           
  191.           
  192.       
  193.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.   
  8.    
  9.   
  10.      
  11.       
  12.           
  13.            
  14.       
  15.            
  16.                   
  17.                 
  18.            
  19.       
  20.       
  21.           
  22.           
  23.               
  24.               
  25.               
  26.           
  27.           
  28.           
  29.           
  30.               
  31.            
  32.       
  33.       
  34.           
  35.                   
  36.              
  37.            
  38.                 
  39.               
  40.                   
  41.               
  42.           
  43.            
  44.       
  45.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.      
  8.       
  9.        
  10.        
  11.        
  12.        
  13.        
  14.       
  15.       
  16.          
  17.            
  18.       
  19.           
  20.             
  21.       
  22.          
  23.            
  24.       
  25.           
  26.             
  27.       
  28.          
  29.            
  30.       
  31.           
  32.             
  33.       
  34.          
  35.            
  36.       
  37.           
  38.             
  39.       
  40.          
  41.            
  42.       
  43.           
  44.             
  45.       
  46.       
  47.          
  48.           
  49.                
  50.            &&      
  51.                
  52.                    
  53.                   
  54.                       
  55.                   
  56.               
  57.           
  58.            
  59.       
  60.       
  61.       
  62.          
  63.                         
  64.                         
  65.       
  66.       
  67.       
  68.       
  69.   




   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.    
  10.    
  11.    
  12.    
  13.   
  14.    
  15.    
  16.    
  17.    
  18.    
  19.    
  20.    
  21.    
  22.    
  23.    
  24.   
  25.    
  26.    
  27.    
  28.    
  29.    
  30.    
  31.    
  32.    
  33.   
  34.      
  35.       
  36.          <>   
  37.               
  38.                    
  39.               
  40.                     
  41.                                   
  42.                      
  43.                       
  44.                   
  45.                   
  46.                   
  47.                        
  48.                           
  49.                           
  50.                               
  51.                           
  52.                           
  53.                               
  54.                           
  55.                                              
  56.               
  57.           
  58.   
  59.          <   >  
  60.       
  61.                
  62.                
  63.               
  64.               
  65.                
  66.           
  67.              
  68.              
  69.       
  70.           
  71.             <>         
  72.               
  73.               
  74.             <>     <>  
  75.                   
  76.                      
  77.                   
  78.               
  79.              <>   
  80.   
  81.                                             
  82.                          
  83.                          
  84.                        &&       
  85.                        
  86.                   
  87.               
  88.               
  89.               
  90.                  
  91.                   
  92.                   
  93.                      
  94.                   
  95.                        
  96.                       
  97.                                                  
  98.                       
  99.                       
  100.                   
  101.                   
  102.                   
  103.                   
  104.                   
  105.                   
  106.                     
  107.                        
  108.                   
  109.                   
  110.                                        
  111.                    
  112.                       
  113.                       
  114.                           
  115.                       
  116.                       
  117.                           
  118.                       
  119.                   
  120.                          
  121.          
  122.   
  123.       
  124.              
  125.           
  126.               
  127.           
  128.            
  129.                           
  130.              
  131.                   
  132.           
  133.           
  134.           
  135.           
  136.           
  137.                   
  138.           
  139.           
  140.           
  141.           
  142.           
  143.           
  144.           
  145.           
  146.               
  147.               
  148.              
  149.           
  150.           
  151.             
  152.           
  153.             
  154.           
  155.           
  156.           
  157.              
  158.           
  159.           
  160.       
  161.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.   
  6.      
  7.       
  8.         
  9.         
  10.         
  11.           
  12.           
  13.               
  14.               
  15.               
  16.                
  17.           
  18.           
  19.           
  20.           
  21.           
  22.                       
  23.            
  24.       
  25.       
  26.           
  27.           
  28.            
  29.       
  30.   
  31.   
   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.      
  8.       
  9.        
  10.        
  11.        
  12.        
  13.        
  14.        
  15.          
  16.            
  17.       
  18.           
  19.             
  20.       
  21.          
  22.            
  23.       
  24.           
  25.             
  26.       
  27.          
  28.            
  29.       
  30.           
  31.             
  32.       
  33.          
  34.            
  35.       
  36.           
  37.             
  38.       
  39.          
  40.            
  41.       
  42.           
  43.             
  44.       
  45.          
  46.            
  47.       
  48.           
  49.             
  50.       
  51.       
  52.          
  53.           
  54.                
  55.            &&      
  56.                
  57.                    
  58.                   
  59.                       
  60.                   
  61.               
  62.           
  63.            
  64.       
  65.       
  66.       
  67.          
  68.                         
  69.                              
  70.       
  71.           
  72.   




   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.    
  7.    
  8.    
  9.    
  10.    
  11.    
  12.   
  13.    
  14.    
  15.    
  16.    
  17.    
  18.    
  19.    
  20.    
  21.    
  22.    
  23.   
  24.    
  25.    
  26.    
  27.    
  28.    
  29.    
  30.   
  31.      
  32.       
  33.          <>   
  34.           
  35.                
  36.           
  37.                 
  38.                               
  39.                  
  40.                   
  41.               
  42.               
  43.               
  44.                    
  45.                       
  46.                       
  47.                           
  48.                       
  49.                       
  50.                           
  51.                       
  52.                                          
  53.           
  54.       
  55.   
  56.          <   >  
  57.       
  58.                
  59.               
  60.               
  61.                
  62.               
  63.         <>    <>  
  64.           
  65.              
  66.              
  67.              
  68.       
  69.           
  70.             <>         
  71.               
  72.               
  73.             <>     <>  
  74.                   
  75.                   
  76.               
  77.              <>   
  78.                   
  79.                        
  80.                         
  81.                                 
  82.                                 
  83.                        
  84.                        
  85.                        
  86.                             
  87.                                                  
  88.                            &&       
  89.                            
  90.                           
  91.                               
  92.                           
  93.                            
  94.                       
  95.                   
  96.               
  97.               
  98.                         
  99.                   
  100.                   
  101.                                     
  102.                      
  103.                      
  104.                      
  105.                        
  106.                      
  107.               
  108.                 
  109.                    
  110.               
  111.                
  112.                   
  113.                   
  114.                       
  115.                   
  116.                   
  117.                       
  118.                   
  119.               
  120.              
  121.       
  122.       
  123.              
  124.           
  125.               
  126.           
  127.            
  128.                           
  129.              
  130.                           
  131.           
  132.           
  133.           
  134.           
  135.           
  136.                   
  137.           
  138.           
  139.           
  140.           
  141.           
  142.           
  143.           
  144.           
  145.               
  146.               
  147.              
  148.           
  149.           
  150.             
  151.           
  152.             
  153.           
  154.           
  155.           
  156.              
  157.           
  158.           
  159.       
  160.   

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.   
  5.    
  6.    
  7.    
  8.   
  9.      
  10.       
  11.       <>     
  12.           
  13.               
  14.               
  15.               
  16.                     
  17.                 
  18.                          
  19.               
  20.               
  21.               
  22.           
  23.           
  24.           
  25.           
  26.           
  27.           
  28.           
  29.           
  30.           
  31.           
  32.            
  33.       
  34.   

   
  在CODE上查看代码片 派生到我的代码片
  1.    
  2.   
  3.    
  4.    
  5.    
  6.   
  7.      
  8.       
  9.        
  10.        
  11.        
  12.        
  13.        
  14.        
  15.        
  16.        
  17.       
  18.          
  19.            
  20.       
  21.           
  22.             
  23.       
  24.          
  25.            
  26.       
  27.           
  28.             
  29.       
  30.          
  31.            
  32.       
  33.           
  34.             
  35.       
  36.          
  37.            
  38.       
  39.           
  40.             
  41.       
  42.          
  43.            
  44.       
  45.           
  46.             
  47.       
  48.          
  49.            
  50.       
  51.           
  52.             
  53.       
  54.          
  55.            
  56.       
  57.           
  58.             
  59.       
  60.          
  61.            
  62.       
  63.           
  64.             
  65.       
  66.       
  67.       
  68.          
  69.                      
  70.                                 
  71.                            
  72.       
  73.       
  74.       
  75.           
  76.   




     

    
      
          
      
      
       
       



  

     

    
     

   
    >>

   
     >>


   

   
    >>

    >>

   

    >>

   >>

   
    >>

   >>

   
    >>

  


   
   
   
    
    >>

   
    >>



    
   >>

   >>

  

   >>

  
>>
   
   

    
    >>

   
    >>

   
    >>

      
     
    >> 

     

    
   
>>>

  
  >> 

  
   >>

  >>

 >>

 >>

 
  >>

   



   
   
  在CODE上查看代码片 派生到我的代码片
  1.   
  2.   
  3.    
  4.   
  5.    
  6.   
  7.   
  8.    
  9.        
  10.   
  11.   
  12.   
  13.   
  14.    
  15.        
  16.   
  17.    
  18.          &  
  19.   
  20.   
  21.    
  22.        
  23.   
  24.     
  25.   
  26.   
  27.     
  28.        
  29.   
  30.   &  
  31.   

    
   
  在CODE上查看代码片 派生到我的代码片
  1.   
  2.   
  3.    
  4.    
  5.   
  6.      
  7.   
  8.        
  9.   
  10.      
  11.   
  12.   
  13.        
  14.   
  15.      
  16.   
  17.   
  18.        
  19.   
  20.      
  21.   
  22.   
  23.     
  24.        
  25.   
  26.        
  27.               
  28.   
  29.   
  30.         
  31.        
  32.   
  33.                      
  34.   
  35.   
  36.        
  37.   
  38.                    
  39.   
  40.   
  41.        
  42.   
  43.                        
  44.   
  45.   

      
   

  在CODE上查看代码片 派生到我的代码片
  1.    
  2.        >>   
  3.    

     


上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/578805

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

YARN and MapReduce的【内存】优化配置详解

在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 Y ARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Co ntainer来给每个应用提供处理能力, Container是YARN中处理能力的基本单元, 是对内存, CPU等的封装. 目前我这里的服务器情况：6台slave，每台：32G内存，2*6核CPU。 由于hadoop 1.x存在JobTracker和TaskTracker，资源管理有它们实现，在执行mapreduce作业时，资源分为map task和reduce task。所有存在下面两个参数分别设置每个TaskTracker可以运行的任务数： 点击(此处)折叠或打开 <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value&g...
2016-11-05
658
上一篇

携程大数据实践：高并发应用架构及推荐系统案例

本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据团队也由此应运而生；经过几年的努力，大数据的相关技术为业务带来了惊人的提升与帮助。以基础大数据的用户意图服务为例，通过将广告和栏位的“千人一面”变为“千人千面”，在提升用户便捷性，可用性，降低费力度的同时，其转化率也得到了数倍的提升，体现了大数据服务的真正价值。 在李小林看来，大数据是互联网行业发展的趋势，互联网的从业人员需要高度关注大数据相关的技术及应用，也希望通过这一系列大数据相关的讲座，让各位同学有所收获。 首场《应用架构涅磐》分享来自基础业务研发部的董锐，包括业务高速发展带来的应用架构挑战、应对挑战的架构涅磐、应用系统整体架构和推荐系统案例等四个部分。 一、业务高速发展带来的应用架构挑战 公司业务高速发展带来哪些主要的变化，以及给我们的系统带来了哪些挑战？ 1.业务需求的急速增长，访问...
2016-11-05
750
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
OpenAi DeepSeek Kubernetes SpringBoot4 HarmonyOS6 Gemini3 Service Mesh Docker Jdk25 Rocky Redis Nacos3 SpringCloud

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册