首页 文章 精选 留言 我的

精选列表

搜索[AI功能],共10000篇文章
优秀的个人博客,低调大师

使用Hive UDF和GeoIP库为Hive加入IP识别功能

导读:Hive是基于Hadoop的数据管理系统,作为分析人员的即时分析工具和ETL等工作的执行引擎,对于如今的大数据管理与分析、处理有着非常大的意义。GeoIP是一套IP映射库系统,它定时更新,并且提供了各种语言的API,非常适合在做地域相关数据分析时的一个数据源。 Hive是基于Hadoop的数据管理系统,作为分析人员的即时分析工具和ETL等工作的执行引擎,对于如今的大数据管理与分析、处理有着非常大的意义。GeoIP是一套IP映射库系统,它定时更新,并且提供了各种语言的API,非常适合在做地域相关数据分析时的一个数据源。 UDF是Hive提供的用户自定义函数的接口,通过实现它可以扩展Hive目前已有的内置函数。而为Hive加入一个IP映射函数,我们只需要简单地在UDF中调用GeoIP的Java API即可。 GeoIP的数据文件可以从这里下载:http://www.maxmind.com/download/geoip/database/,由于需要国家和城市的信息,我这里下载的是http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz GeoIP的各种语言的API可以从这里下载:http://www.maxmind.com/download/geoip/api/ 查看文本 copy to clipboard 打印 ? importjava.io.IOException; importorg.apache.hadoop.hive.ql.exec.UDF; importcom.maxmind.geoip.Location; importcom.maxmind.geoip.LookupService; importjava.util.regex.*; publicclassIPToCCextendsUDF{ privatestaticLookupServicecl=null; privatestaticStringipPattern="\\d+\\.\\d+\\.\\d+\\.\\d+"; privatestaticStringipNumPattern="\\d+"; staticLookupServicegetLS()throwsIOException{ Stringdbfile="GeoLiteCity.dat"; if(cl==null) cl=newLookupService(dbfile,LookupService.GEOIP_MEMORY_CACHE); returncl; } /** *@paramstrlike"114.43.181.143" **/ publicStringevaluate(Stringstr){ try{ LocationAl=null; MatchermIP=Pattern.compile(ipPattern).matcher(str); MatchermIPNum=Pattern.compile(ipNumPattern).matcher(str); if(mIP.matches()) Al=getLS().getLocation(str); elseif(mIPNum.matches()) Al=getLS().getLocation(Long.parseLong(str)); returnString.format("%s\t%s",Al.countryName,Al.city); }catch(Exceptione){ e.printStackTrace(); if(cl!=null) cl.close(); returnnull; } } } import java.io.IOException; import org.apache.hadoop.hive.ql.exec.UDF; import com.maxmind.geoip.Location; import com.maxmind.geoip.LookupService; import java.util.regex.*; public class IPToCC extends UDF { private static LookupService cl = null; private static String ipPattern = "\\d+\\.\\d+\\.\\d+\\.\\d+"; private static String ipNumPattern = "\\d+"; static LookupService getLS() throws IOException{ String dbfile = "GeoLiteCity.dat"; if(cl == null) cl = new LookupService(dbfile, LookupService.GEOIP_MEMORY_CACHE); return cl; } /** * @param str like "114.43.181.143" * */ public String evaluate(String str) { try{ Location Al = null; Matcher mIP = Pattern.compile(ipPattern).matcher(str); Matcher mIPNum = Pattern.compile(ipNumPattern).matcher(str); if(mIP.matches()) Al = getLS().getLocation(str); else if(mIPNum.matches()) Al = getLS().getLocation(Long.parseLong(str)); return String.format("%s\t%s", Al.countryName, Al.city); }catch(Exception e){ e.printStackTrace(); if(cl != null) cl.close(); return null; } } } 使用上也非常简单,将以上程序和GeoIP的API程序,一起打成JAR包iptocc.jar,和数据文件(GeoLiteCity.dat)一起放到Hive所在的服务器的一个位置。然后打开Hive执行以下语句: 查看文本 copy to clipboard 打印 ? addfile/tje/path/to/GeoLiteCity.dat; addjar/the/path/to/iptocc.jar; createtemporaryfunctionip2ccas'your.company.udf.IPToCC'; add file /tje/path/to/GeoLiteCity.dat; add jar /the/path/to/iptocc.jar; create temporary function ip2cc as 'your.company.udf.IPToCC'; 然后就可以在Hive的CLI中使用这个函数了,这个函数接收标准的IPv4地址格式的字符串,返回国家和城市信息;同样这个函数也透明地支持长整形的IPv4地址表示格式。如果想在每次启动Hive CLI的时候都自动加载这个自定义函数,可以在hive命令同目录下建立.hiverc文件,在启动写入以上三条语句,重新启动Hive CLI即可;如果在这台服务器上启动Hive Server,使用JDBC连接,执行以上三条语句之后,也可以正常使用这个函数;但是唯一一点不足是,HUE的Beeswax不支持注册用户自定义函数。 虽然不尽完美,但是加入这样一个函数,对于以后做地域相关的即时分析总是提供了一些方便的,还是非常值得加入的。 本文转自茄子_2008博客园博客,原文链接:http://www.cnblogs.com/xd502djj/p/3253411.html,如需转载请自行联系原作者。

优秀的个人博客,低调大师

iOS5 的新功能 ARC Automatic Reference Counting 如何关闭

在新发布的ios5中,有个很吸引眼球的特性就是“Automatic Reference Counting”,简单来说就是内存自动回收,看起来似乎是平时开发中遇到的各种内存问题的福音,仔细了解了一下,似乎没有那么美好:1。 需要iOS5才支持2。 很多引用的类库暂时还不支持.麻烦的是对大多数第三方库需要加禁用arc的编译flag,因为大多都因为兼容性还在使用手动内存管理。而且当你开启了ARC后, 如果使用传统的手工 release 就是报错 'release' is unavailable: not available in automatic reference counting modeAutomatic Reference Counting forbids explicit message send of 'release'你可以按照如下方法关闭它Xcode 4.2: 点击项目后,Build Settings -> Apple LLVM compiler 3.0 - Language -> Objective-C Automatic Referencing Counting, 默认是YES 设置为NO即可。但实际上 ARC确实比手动释放快,而且不会发生内存泄漏的情况,具体可以参考这里http://clang.llvm.org/docs/AutomaticReferenceCounting.htmlhttp://stackoverflow.com/questions/6385212/how-does-the-new-automatic-reference-counting-mechanism-work一篇深入讨论 ARC的文章http://longweekendmobile.com/2011/09/07/objc-automatic-reference-counting-in-xcode-explained/ 本文转自老Zhan博客园博客,原文链接:http://www.cnblogs.com/mybkn/articles/2381224.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

Android最简单的图片裁剪方法,非使用系统裁切功能

网上搜了很多,都要使用Canvas,这个绝对是绕远了…… 经实验,图片裁切只要一句就可以 ,下面是我写的一个按正方形区域裁剪的方法 /** *按正方形裁切图片 */ public static BitmapImageCrop(Bitmapbitmap){ int w = bitmap.getWidth(); // 得到图片的宽,高 int h = bitmap.getHeight(); int wh = w > h ? h:w; // 裁切后所取的正方形区域边长 int retX = w > h ? (w - h) / 2 : 0 ; //基于原图,取 正方形左上角x坐标 int retY = w > h ? 0 :(h - w) / 2 ; // 下面这句是关键 return Bitmap.createBitmap(bitmap,retX,retY,wh,wh, null , false ); } 参考http://stackoverflow.com/questions/3846338/how-to-crop-an-image-in-android 本文转自Kai的世界,道法自然博客园博客,原文链接:http://www.cnblogs.com/kaima/archive/2011/08/02/2124914.html,如需转载请自行联系原作者。

优秀的个人博客,低调大师

Jeesite增加spring-data-redis缓存功能以及相关配置

由于经常使用了Jeesite来开发项目,所以针对Jeesite使用的相关技术架构还是比较了解的,由于Jeesite有一定的局限性,所以在平常工作中优化了他的一些代码。这次主要优化了两点,简单说明如下: 1.Jeesite项目以前使用Ehcache来存储Session,为了优化项目(因为Terracotta对Ehcache的企业版做了收费,由于时间有限,暂且不讨论Ehcache和Redis好坏,后续我会集成到Jeesite一起测试),我们将Session转存到Redis上。但由于作者自己写了sessionDAO,并用到了里面的方法,修改代码是一件比较耗时的事情,所以还是在作者原有基础上,继续使用了JedisSessionDAO处理存储到redis的Session,而其他的数据缓存,则使用基于RedisTemplate来操作redis数据库。但有一点是确认的: 就是EhCache针对并发操作要写相关的代码,而RedisTemplate已经是线程安全的,不需要再写相关的代码,便于开发和维护,看图片说明 2.为了引入比较新的版本的Spring,Jedis,Srping Data Redis,出现了版本冲突问题,Jar包必须使用下面的版本能避免冲突 Spring 4.2.9 jedis 2.9.0 Spring data redis 1.8.7 3.具体请看项目中应用,使用项目前,请在mysql数据库运行db下的jeesite_mysql.sql脚本 参考项目:https://github.com/astra-zhao/jeesite

优秀的个人博客,低调大师

阿里云服务器中使用ftp功能 (centos7)

我的服务器是使用阿里云提供的免费镜像 centos7 默认已经安装了ftp 只需要启动ftp 遇到问题1: 用root用户登录报:Permission denied 使用在vsftpd.conf中添加userlist_*阻止特定的本地用户 userlist_enable=YES userlist_deny=YES userlist_file=/etc/vsftpd/user_list 编辑/etc/vsftpd/user_list ,添加上需要阻止的本地用户,一个用户名一行 用被阻止的用户登录FTP显示的消息为:530 Permission denied 我本机的etc/vsftpd/vsftpd.conf文件里,只有userlist_enable=YES 于是用root用户登录报错530 Permission denied 把YES改成NO就OK了遇到问题2: 使用root用户登录的时候报:Server said: Login incorrect. 在网上再找过一些资料后 发现 只需要把/etc/pam.d/vsftpd文件中的 auth required pam_listfile.so item=user sense=deny file=/etc/vsftpd/ftpusers onerr=succeed 这一句注释掉就OK了。前面加一个#好 重启vsftpd服务。问题解决。

优秀的个人博客,低调大师

不可不知的NAT网关的防火墙功能

防火墙扫盲 之前在没学网络的时候,认为防火墙真的是可以防火的墙。10多年前还有不少人问,防火墙多少钱一个平方。 但现在大家都知道,防火墙是用来防黑客的,是内部网络和外部网络的分界,是用来保护内部服务器和网络的,是一种信息安全防护系统。 图片来源:https://www.tunnelsup.com/what-is-a-firewall/ 防火墙有几个最重要的特征: 1. 部署在内部网络和外部网络之间。这个和建筑上的防火墙真的很类似,也是叫Firewall的原因。 2. 提供基于状态的安全防护。这个描述很专业,也最恰当的描述了防火墙的本质。最开始的防火墙是基于路由器的访问控制列表ACL实现的包过滤防火墙,之后逐步发展和演进为基于状态的防火墙。所谓的状态浅显的讲就是说防火墙会维护一个源IP,目的IP,源端口,

优秀的个人博客,低调大师

用户洞察的秘密武器:ARMS前端监控功能正式上线!

近日,阿里中间件(Aliware)旗下的业务实时监控产品(ARMS)推出了前端监控服务。该技术通过对网站页面上动态数据的采集监测和实时反馈,可帮助企业更高效地进行运营决策。 实时获知站点真实情况 前端监控的重要性 随着互联网的高速发展,现在的网络环境千变万化,网站往往会遇到意想不到的情况。因此我们需要了解的更多,如用户实际访问本站点遇到的错误;各个国家、地区的用户访问本站点的真实速度是多少;每个应用内有大量的异步数据调用的成功率有多高等。 如今互联网产品获取流量的渠道越来越多样化,通常是一个后端对接iOS、Android、公众号、移动Web甚至小程序等多个前端。这种情况下只做后端监控是远远不够的,需要在前端对数据信息进行及时监控。因为页面浏览量、实时流量以及用户浏览行为等即时数据对服务决策至关重要。然而目前,市场上的浏览器监控服务质量仍

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册