首页 文章 精选 留言 我的

精选列表

搜索[视觉识别],共10000篇文章
优秀的个人博客,低调大师

使用Hive UDF和GeoIP库为Hive加入IP识别功能

导读:Hive是基于Hadoop的数据管理系统,作为分析人员的即时分析工具和ETL等工作的执行引擎,对于如今的大数据管理与分析、处理有着非常大的意义。GeoIP是一套IP映射库系统,它定时更新,并且提供了各种语言的API,非常适合在做地域相关数据分析时的一个数据源。 Hive是基于Hadoop的数据管理系统,作为分析人员的即时分析工具和ETL等工作的执行引擎,对于如今的大数据管理与分析、处理有着非常大的意义。GeoIP是一套IP映射库系统,它定时更新,并且提供了各种语言的API,非常适合在做地域相关数据分析时的一个数据源。 UDF是Hive提供的用户自定义函数的接口,通过实现它可以扩展Hive目前已有的内置函数。而为Hive加入一个IP映射函数,我们只需要简单地在UDF中调用GeoIP的Java API即可。 GeoIP的数据文件可以从这里下载:http://www.maxmind.com/download/geoip/database/,由于需要国家和城市的信息,我这里下载的是http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz GeoIP的各种语言的API可以从这里下载:http://www.maxmind.com/download/geoip/api/ 查看文本 copy to clipboard 打印 ? importjava.io.IOException; importorg.apache.hadoop.hive.ql.exec.UDF; importcom.maxmind.geoip.Location; importcom.maxmind.geoip.LookupService; importjava.util.regex.*; publicclassIPToCCextendsUDF{ privatestaticLookupServicecl=null; privatestaticStringipPattern="\\d+\\.\\d+\\.\\d+\\.\\d+"; privatestaticStringipNumPattern="\\d+"; staticLookupServicegetLS()throwsIOException{ Stringdbfile="GeoLiteCity.dat"; if(cl==null) cl=newLookupService(dbfile,LookupService.GEOIP_MEMORY_CACHE); returncl; } /** *@paramstrlike"114.43.181.143" **/ publicStringevaluate(Stringstr){ try{ LocationAl=null; MatchermIP=Pattern.compile(ipPattern).matcher(str); MatchermIPNum=Pattern.compile(ipNumPattern).matcher(str); if(mIP.matches()) Al=getLS().getLocation(str); elseif(mIPNum.matches()) Al=getLS().getLocation(Long.parseLong(str)); returnString.format("%s\t%s",Al.countryName,Al.city); }catch(Exceptione){ e.printStackTrace(); if(cl!=null) cl.close(); returnnull; } } } import java.io.IOException; import org.apache.hadoop.hive.ql.exec.UDF; import com.maxmind.geoip.Location; import com.maxmind.geoip.LookupService; import java.util.regex.*; public class IPToCC extends UDF { private static LookupService cl = null; private static String ipPattern = "\\d+\\.\\d+\\.\\d+\\.\\d+"; private static String ipNumPattern = "\\d+"; static LookupService getLS() throws IOException{ String dbfile = "GeoLiteCity.dat"; if(cl == null) cl = new LookupService(dbfile, LookupService.GEOIP_MEMORY_CACHE); return cl; } /** * @param str like "114.43.181.143" * */ public String evaluate(String str) { try{ Location Al = null; Matcher mIP = Pattern.compile(ipPattern).matcher(str); Matcher mIPNum = Pattern.compile(ipNumPattern).matcher(str); if(mIP.matches()) Al = getLS().getLocation(str); else if(mIPNum.matches()) Al = getLS().getLocation(Long.parseLong(str)); return String.format("%s\t%s", Al.countryName, Al.city); }catch(Exception e){ e.printStackTrace(); if(cl != null) cl.close(); return null; } } } 使用上也非常简单,将以上程序和GeoIP的API程序,一起打成JAR包iptocc.jar,和数据文件(GeoLiteCity.dat)一起放到Hive所在的服务器的一个位置。然后打开Hive执行以下语句: 查看文本 copy to clipboard 打印 ? addfile/tje/path/to/GeoLiteCity.dat; addjar/the/path/to/iptocc.jar; createtemporaryfunctionip2ccas'your.company.udf.IPToCC'; add file /tje/path/to/GeoLiteCity.dat; add jar /the/path/to/iptocc.jar; create temporary function ip2cc as 'your.company.udf.IPToCC'; 然后就可以在Hive的CLI中使用这个函数了,这个函数接收标准的IPv4地址格式的字符串,返回国家和城市信息;同样这个函数也透明地支持长整形的IPv4地址表示格式。如果想在每次启动Hive CLI的时候都自动加载这个自定义函数,可以在hive命令同目录下建立.hiverc文件,在启动写入以上三条语句,重新启动Hive CLI即可;如果在这台服务器上启动Hive Server,使用JDBC连接,执行以上三条语句之后,也可以正常使用这个函数;但是唯一一点不足是,HUE的Beeswax不支持注册用户自定义函数。 虽然不尽完美,但是加入这样一个函数,对于以后做地域相关的即时分析总是提供了一些方便的,还是非常值得加入的。 本文转自茄子_2008博客园博客,原文链接:http://www.cnblogs.com/xd502djj/p/3253411.html,如需转载请自行联系原作者。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册