hive2solr时count的一个bug-低调大师

hive2solr时count的一个bug

2017-11-13 657

最近在测试hive导入solr，github上有个相关的代码

其原理就是实现inputformat和outputformat，通过mapred来做数据的读写操作。

测试的表结构：

 
        show create table table_in_solr1;
       
        CREATE EXTERNAL TABLE table_in_solr1(
       
        id string COMMENT 
        'from deserializer'
        , 
       
        cookie_id_s string COMMENT 
        'from deserializer'
        , 
       
        first_url_s string COMMENT 
        'from deserializer'
        , 
       
        warehouse_s string COMMENT 
        'from deserializer'
        ) 
       
        ROW FORMAT SERDE
       
        'com.chimpler.hive.solr.SolrSerDe' 
       
        STORED BY
       
        'com.chimpler.hive.solr.SolrStorageHandler' 
       
        WITH SERDEPROPERTIES (
       
        'serialization.format'
        =
        '1'
        , 
       
        'solr.column.mapping'
        =
        'id,cookie_id_s,first_url_s,warehouse_s'
        ) 
       
        LOCATION
       
        'hdfs://xxxxxx:9000/bip/hive_warehouse/table_in_solr1' 
       
        TBLPROPERTIES (
       
        'solr.url'
        =
        'http://xxxxxxx:8888/solr/userinfo'
        , 
       
        'transient_lastDdlTime'
        =
        '1401357066'
        , 
       
        'solr.buffer.input.rows'
        =
        '10000'
        , 
       
        'solr.buffer.output.rows'
        =
        '10000'
        )

导入数据之后，进行count测试：

 
        select count(
        1
        ) from table_in_solr1; 
       
        Ended Job = job_1401419652664_0010 with errors
       
        Error during job, obtaining debugging information...
       
        Examining task ID: task_1401419652664_0010_m_000000 (and more) from job job_1401419652664_0010
       
        Task with the most failures(
        4
        ): 
       
        -----
       
        Task ID:
       
        task_1401419652664_0010_m_000000 
       
        URL:
       
        http:
        //nfzm:8088/taskdetails.jsp?jobid=job_1401419652664_0010&tipid=task_1401419652664_0010_m_000000 
       
        -----
       
        Diagnostic Messages 
        for 
        this 
        Task: 
       
        Error: java.io.IOException: java.lang.NumberFormatException: For input string: 
        "" 
       
        at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:
        97
        ) 
       
        at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:
        57
        ) 
       
        at org.apache.hadoop.hive.ql.io.HiveInputFormat.getRecordReader(HiveInputFormat.java:
        243
        ) 
       
        at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:
        526
        ) 
       
        at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:
        166
        ) 
       
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:
        407
        ) 
       
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:
        340
        ) 
       
        at org.apache.hadoop.mapred.YarnChild$
        2
        .run(YarnChild.java:
        160
        ) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at javax.security.auth.Subject.doAs(Subject.java:
        396
        ) 
       
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
        1438
        ) 
       
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:
        155
        ) 
       
        Caused by: java.lang.NumberFormatException: For input string: 
        "" 
       
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:
        48
        ) 
       
        at java.lang.Integer.parseInt(Integer.java:
        470
        ) 
       
        at java.lang.Integer.parseInt(Integer.java:
        499
        ) 
       
        at com.chimpler.hive.solr.SolrInputFormat.getReadColumnIDs(SolrInputFormat.java:
        38
        ) 
       
        at com.chimpler.hive.solr.SolrInputFormat.getRecordReader(SolrInputFormat.java:
        50
        ) 
       
        at org.apache.hadoop.hive.ql.io.HiveInputFormat.getRecordReader(HiveInputFormat.java:
        240
        ) 
       
        ... 
        9 
        more 
       
        FAILED: Execution Error, 
        return 
        code 
        2 
        from org.apache.hadoop.hive.ql.exec.MapRedTask 
       
        MapReduce Jobs Launched:
       
        Job 
        0
        : Map: 
        2  
        Reduce: 
        1   
        HDFS Read: 
        0 
        HDFS Write: 
        0 
        FAIL 
       
        Total MapReduce CPU Time Spent: 
        0 
        msec

而count(一个字段)是ok的。

从explain的结果来看。

count(字段)对比count(1)增加了Select Operator：

 
        Select Operator 
       
        expressions: 
       
        expr: id 
       
        type: string 
       
        outputColumnNames: id 
       
        Group By Operator 
       
        aggregations: 
       
        expr: count(id)

从job的出错信息来看，是由于类型转换出错导致，根据堆栈的信息，可以定位到出错的代码片段：

 
        at com.chimpler.hive.solr.SolrInputFormat.getReadColumnIDs(SolrInputFormat.java:
        38
        ) 
       
        即：   
       
        public 
        static 
        final 
        String READ_COLUMN_IDS_CONF_STR = 
        "hive.io.file.readcolumn.ids"
        ; 
       
        public 
        static 
        final 
        String READ_COLUMN_NAMES_CONF_STR = 
        "hive.io.file.readcolumn.names"
        ; 
       
        private 
        static 
        final 
        String READ_COLUMN_IDS_CONF_STR_DEFAULT = 
        ""
        ; 
       
        private 
        static 
        final 
        String READ_ALL_COLUMNS = 
        "hive.io.file.read.all.columns"
        ; 
       
        private 
        static 
        final 
        boolean 
        READ_ALL_COLUMNS_DEFAULT = 
        true
        ; 
       
        /** 
       
        * Returns an array of column ids(start from zero) which is set in the given 
       
        * parameter <tt>conf</tt>. 
       
        */ 
       
        public 
        static 
        List<Integer> getReadColumnIDs(JobConf conf) { 
       
        String skips = conf.get(READ_COLUMN_IDS_CONF_STR, READ_COLUMN_IDS_CONF_STR_DEFAULT); 
       
        String[] list = skips.split(
        ","
        ); 
       
        List<Integer> result = 
        new 
        ArrayList<Integer>(list.length); 
       
        for 
        (String element : list) { 
       
        // it may contain duplicates, remove duplicates 
       
        Integer toAdd = Integer.parseInt(element); 
       
        if 
        (!result.contains(toAdd)) { 
       
        result.add(toAdd); 
       
        } 
       
        } 
       
        return 
        result; 
       
        }

即在hive的map阶段，通过SolrInputFormat做数据读取时，hive.io.file.readcolumn.ids的默认值是空，如果没有字段名，就会产生空值，在Integer.parseInt(element)就会报错。

这点可以通过下面的代码进行验证:

 
        import 
        java.io.IOException; 
       
        import 
        java.util.ArrayList; 
       
        import 
        java.util.List; 
       
        public 
        class 
        ttt { 
       
        public 
        static 
        void  
        main(String[] args) { 
       
        String skips = 
        ""
        ; 
       
        String[] list = skips.split(
        ","
        ); 
       
        System.out.println(list); 
       
        List<Integer> result = 
        new 
        ArrayList<Integer>(list.length); 
       
        for 
        (String element : list) { 
       
        try
        { 
       
        Integer toAdd = Integer.parseInt(element); 
       
        if 
        (!result.contains(toAdd)) { 
       
        result.add(toAdd); 
       
        } 
       
        } 
       
        catch 
        (Exception e) { 
       
        System.out.println(e); 
       
        } 
       
        } 
       
        } 
       
        }

 
  本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1422733，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434550

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

zabbix表字段类型和value type问题

最近在帮同事搞spark streaming的监控，主要是通过解析servlet的url来获取对应的监控值。其中有部分值是和时间戳有关系的，java的时间戳是精确到ms的，是13位。在添加监控后，发现不能正常获取到值。在agent端，直接通过zabbix_get测试，是可以拿到值的，证明和item值的获取没有关系,从日志也可以看出，item的value是正常发送出去的。 agent的日志： 1 2 3 4 5 6 7 8 9 87104 : 20140612 : 063124.064 Inzbx_popen()command: 'python/apps/sh/zabbix_scripts/spark/spark-monitor-streaming.pystreaming-color.StreamingMetrics.streaming.lastReceivedBatch_submissionTime' 87104 : 20140612 : 063124.064 Endofzbx_popen(): 5 231239 : 20140612 : 063124.064 zbx_popen...

2017-11-14

538

hive小文件合并思路

对于hdfs来说，系统的压力主要集中在namenode 如果在整个hadoop集群中存在大量的小文件，会消耗namenode的大量内存（大概146B一个元数据）另一方面，如果小文件过多，有没有开启combine inputformat，在进行split分片的时候，会产生大量的map，严重影响到mapred的利用率。定期对小文件进行清理就会变得很必要，比如我会每天有报表来获取hive中表的信息，比如文件量最多的，文件最小的，占空间最大的，然后根据需要选择需要合并的表。合并时考虑以下几个方法： 1.har hdfs自带的打包工具，类似于tar，不过用起来不是特别方便，适用于归档（不太常用的历史数据）。 2.insert overwrite table xxx select xxxx 这是一个maponly的job，通过设置combine相关的参数，可以实现对小文件的压缩和合并这里我是使用了自己开发的python程序来实现的，具体的思路： 1）从元数据中获取需要合并的分区的名称和location，表结构等信息 2）创建备份表（表结构和源表一致，location自定义），通过设置h...

2017-11-14

743

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。