搜索[文档处理]结果-低调大师优秀个人博客

精选列表

搜索[文档处理]，共10000篇文章

HIVE json格式数据的处理

.* from log a lateral view json_tuple(a.appevent, 'eventid', 'eventname') b as f1, f2; 处理数据样例： {"GPS_LAT

2017-10-03

日志系列--计量日志处理方案

这里我们介绍一种基于日志服务计量计费方案，该方案每天处理千亿级计量日志，被众多云产品使用：计量日志生成计费结果过程计量日志记录了用户涉及计费的项目，后台计费模块根据计费项和规则进行运算，产生最后账单

2017-07-10

Objective-C：异常的处理

reason]); 63 } 64 @catch(NSException *e)//系统捕捉异常 65 { 66 NSLog(@"%@",[e reason]); 67 } 68 @finally//最终处理

2017-07-04

开源图像处理软件代码

要写好一个图像处理软件，仅靠自己看书是完全不够的，要多方面学习，借鉴前人的经验，要集思广益、多面出击。如今网络发达，图像学的资料其实也到处都是。

2017-05-30

Hadoop上小文件存储处理

同时也由于能力见识有限，翻译过程中难免出现个人的主观或者客观原因导致与原文档有差异。

2017-05-18

语音交互事关未来，国内外已经不少公司在抢蛋糕了，大公司收购、投资、合作不断，就可见一斑。目前，基本上所有的巨头都有涉足。苹果收购Siri、Novauris，组建基于神经网络算法的语音识别团队 2014 年 7 月，有消息称，苹果正在联系多位语音识别技术的专家，正在招聘经理、小组负责人、研究员，很可能将成立一支强大的语音识别团队，并最终取代现在的 Siri 技术服务商 Nuance。过去几年中，苹果招聘了多名此前供职于 Nuance 的的高层次语音技术研究员，包括前研究副总裁拉里·吉利克 (Larry Gillick)、Siri 的项目经理贡纳尔·艾弗曼（Gunnar Evermann）、微软语音识别项目高管亚历克斯·阿赛洛（Alex Acero）。在 2013 年，苹果收购了自动语音识别公司 Novauris Technologie

2017-05-01

《Python自然语言处理》——导读

前言这是一本关于自然语言处理的书。所谓“自然语言”，是指人们日常交流使用的语言，如英语、印地语、葡萄牙语等。

2017-05-01

海量数据处理算法

面对一堆大量的数据我们无法处理的时候，我们可以将其分成一个个小的单元，然后根据一定的策略来处理这些小单元，从而达到目的。

2017-04-21

android Handler消息处理源码剖析

Handler允许你发送和处理Message(消息)/Runnable对象到当前线程的MessageQueue(消息队列)中。每个Handler实体对象都和当前所处线程的一个消息队列进行关联。

2017-03-25

大数据处理之道书评

《大数据处理之道》覆盖了最近比较热门的大数据处理技术，其中包括Hadoop，Spark等。本书不仅仅只停留在大数据技术技术的表面。

2016-12-21

logstash处理文件进度记录机制

第一次从头开始处理文件处理后以json格式输出到elasticsearch logstash如何记录处理进度？

2016-11-23

HIVE MapJoin异常问题处理总结

问题描述在跑hive作业的时候，偶尔会遇到下面的异常 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 。通过查看日志，你可以看到这是map join的问题，会看到Starting to launch local task to process map join; maximum memory = xxx，Execution failed with exit status: 3 等等这样的日志。在网上搜索也可以看到一些问题的解释，例如 stackoverflow上就有一个 http://stackoverflow.com/questions/22977790/hive-query-executi

2016-11-15

Serverless日志处理挑战与方案

本文PPT来自阿里云的简志于10月16日在2016年杭州云栖大会上发表的《Serverless日志处理挑战与方案》。

2016-11-02

浅谈iOS的多Window处理

概述想必做iOS的人都知道，我们的App是通过UIWindow这个载体呈现出来的。默认情况下，iOS App对于开发者来说只有一个UIWindow，也就是AppDelegate在applicationDidFinishLaunching里面创建出来的。但是即使我们什么都不做，在我们的APP里面也会有其他的UIWindow: 键盘对应的UITextEffectWindow 状态栏对应的UIStatusBarWindow（准确来说这个Window并不隶属于我们的App）只不过上述两种UIWindow我们一般不太容易去操作罢了，因此很多问题都无形被掩盖住了。最近正好需要做双十一晚会一个和横屏界面相关的需求，在整个过程中，发现了不少问题，所以接下来我们就说说如果在多个UIWindow状态下存在的一些问题吧。那么在什么情况下会导致我们想要创建多

2016-10-27

【20160924】GOCVHelper 图像处理部分（1）

增强后的图像需要通过图像处理获得定量的值。在实际程序设计过程中，轮廓很多时候都是重要的分析变量。参考Halcon的相关函数，我增强了Opencv在这块的相关功能。

2016-09-24

【20160924】GOCVHelper 图像处理部分（2）

//根据轮廓的面积大小进行选择 vector<VP>selectShapeArea(Matsrc,Mat&draw,vector<VP>contours,intminvalue,intmaxvalue){ vector<VP>result_contours; draw=Mat::zeros(src.rows,src.cols,CV_8UC3); for(inti=0;i<contours.size();i++){ doublecountour_area=contourArea(contours[i]); if(countour_area>minvalue&&countour_area<maxvalue) result_contours.push_back(contours[i]); } for(inti=0;i<result_contours.size();i++){ intiRandB=rng.uniform(0,255); intiRandG=rng.uniform(0,255); intiRandR=rng.uniform(0,255); Scalarcolor=Scalar(iRandB,iRandG,iRandR); drawContours(draw,result_contours,i,color,-1); charcbuf[100];sprintf_s(cbuf,"%d",i+1); //寻找最小覆盖圆,求出圆心。使用反色打印轮廓序号 floatradius; cv::Point2fcenter; cv::minEnclosingCircle(result_contours[i],center,radius); putText(draw,cbuf,center,FONT_HERSHEY_PLAIN,5,Scalar(255-iRandB,255-iRandG,255-iRandR),5); } returnresult_contours; } vector<VP>selectShapeArea(vector<VP>contours,intminvalue,intmaxvalue) { vector<VP>result_contours; for(inti=0;i<contours.size();i++){ doublecountour_area=contourArea(contours[i]); if(countour_area>minvalue&&countour_area<maxvalue) result_contours.push_back(contours[i]); } returnresult_contours; } 在Halcon中，运用非常广泛的SelectShape的Opencv实现，能够根据轮廓的大小，直接挑选出所需要的部分。我在这个基础上进行了强化，能够把每个轮廓的序号标注出来。并且依然提供draw打印。来自为知笔记(Wiz) 目前方向：图像拼接融合、图像识别联系方式：jsxyhelu@foxmail.com

2016-09-24

【20160924】GOCVHelper 图像处理部分（3）

轮廓处理的两种方法在实际使用的过程中，用途非常广泛。

2016-09-24

Android热插拔事件处理详解

一、Android热插拔事件处理流程图 Android热插拔事件处理流程如下图所示：二、组成 1.

2016-08-20

linux系统被×××后处理经历

背景操作系统：Ubuntu12.04_x64 运行业务：公司业务系统，爬虫程序，数据队列。服务器托管在外地机房。突然，频繁收到一组服务器ping监控不可达邮件，赶紧登陆zabbix监控系统查看流量状况。可见流量已经达到了800M左右，肯定不正常，马上尝试SSH登陆系统，不幸的事，这种情况是很难登录系统操作的。该怎么办？ 1、排查问题第一反应是想马上切断外部网络，通过内网连接查看。可是这样一来流量就会消失，但也很难查找***源了。于是联系机房协助解决，授权机房技术登录到系统，先通过w命令查看是否有异常用户在登录，再看看登录日志/var/log/auth.log，预料之中，日志已经清空；最后使用工具找出那个连接占用流量大，我使用了iftop工具。机房技术给我拍了照，看到本地一直通过http方式向104.31.225.6这个ip发送数据包，而且持续不断。那好，先把这个ip给屏蔽了试试： iptables –A OUTPUT –d 104.31.225.6 –j DROP 哇塞！奇迹出现了，流量下去了，能正常连接了，面部逐渐露出笑容。过一会儿，不幸的事情发生了，流量又上来了，擦！什么情况！心情顿时紧张起来。又赶紧联系机房技术，执行上次的操作。傻眼了，目的ip变了，这可咋搞，不可能一个个封吧！静下心来，仔细想了下，本地向外发包，那本地肯定会有程序来发！这可咋找啊？ 2、查找***源先通过netstat工具过滤端口，查看运行的进程ID： netstat –atup |grep 15773 什么都没有啊，再换个端口试试，同样的效果！让机房技术观察了下连接状态，原来是短连接，会很快的释放端口，所以才看不到端口的连接状态。正常长连接来说，可以使用lsof –i :15773这样方式找到PID，再lsof –p PID找到打开的相关文件。我想静静~。好吧！决定先切断外部网络，内网SSH进入系统，先找到这个发包的程序，走起！先通过netstat –antup 查看有无开放可疑的端口或者连接。再通过ps –ef查看有无可疑的进程。仔细看了看，都没有发现可疑的。难道是植入了rootkit***程序，说不好，试试看吧！想要判断系统有没有植入了rootkit可以使用md5sum校验执行文件判断，先找个同版本操作系统，获取到这个工具执行文件的md5值，再获取可疑的工具执行文件md5值，比较两个值是否相同，如果相同说明这个工具是可信任的，如果不相同很有可能是被替换的。另外，一般工具可执行文件大小都在几十K到几百K。其实我没有用md5方式来判断工具是否可信任，因为完全相同版本操作系统不好找，稍微有点差别，工具就有可能已被更新，md5值不同。我直接使用du –sh /bin/lsof查看，发现大小1.2M，明显有问题。所以直接下载正常系统里的netstat、ps等工具上传到被黑的系统里使用，再将不可用的替换掉。 3、清理***程序果然，奇迹出现了，执行ps –ef后，发下最下面有几行可疑程序。在这里，本想截图的，可惜SSH客户端给关了，没留下截图。记忆中，大概是这样的： pid /sbin/java.log pid /usr/bin/dpkgd/ps –ef pid /usr/bin/bsd-port/getty pid /usr/bin/.sshd 看到这几个，感觉很奇怪，怎么会有个java.log的执行文件在运行呢，经过找同事核实有没有运行这样的，他们说没有，那好先杀掉并删除再说。紧接着怎么会有我执行的命令呢，ps –ef，命令的路径不是/bin/ps，引起了我的怀疑，马上进入此目录下查看。擦，还有几个，初步判断是工具被替换了。还有一个怎么叫getty呢，再正常系统里面对比进程，发现没有这个。估计又是***留下的，劳资怒了，宁可错杀一百，也不放过一个！杀掉进程，删除目录。 .sshd进程？明显很可疑，难道是ssh后门，先杀掉删除再说！再执行ps –ef命令看下，奇怪，java.log进程又起来了，难道有自启动设置？于是到了/etc/init.d下查看，有个异常脚本，在正常系统的也没有，打开看了下，果然是启动***程序的脚本。把脚本删除，再删除一次java.log，不再出现了。删除了/sbin/java.log文件过一会又出现了，怎么回事？估计是getty趁搞的鬼，同样清除，不再自动生成了。好了，可以开启外网了，观察了一会网络流量不再飙升了，心情有如看到美女一样的愉快！博客地址：http://lizhenliang.blog.51cto.com 4、事件总结 ls /usr/bin/dpkgd/ #替换的工具，系统自带的工具正常不会在这个目录下，并且也不可用 netstat lsof ps ss /sbin/java.log #判断是发包程序，删除后会自动生成 /usr/bin/bsd-port #判断是自动生成java.log或着后门程序 /usr/sbin/.sshd #判断是后门程序 ***代码程序下载地址：http://pan.baidu.com/s/1b3yOVW 小心，直接执行java.log可能会导致linux瞬间基本上无法连接~！如果还有其他***程序怎么办？如果是XSS***，应用层漏洞***怎么办？针对这些问题，从我们公司角度来说，尽量不重装系统，业务太复杂。找出***点，跑的程序多，***面多，很棘手。先这样吧！兵来将挡，水来土掩。~ 让***趁机***的原因： 1. 运维对网络安全实施落实力度低 2. 没有相关安全测试人员，不能及时发现应用层漏洞等等... 针对这次***，总结了下防护思路： 1. linux系统安装后，启用防火墙，只允许信任源访问指定服务，删除不必要的用户，关闭不必要的服务等。 2. 收集日志，包括系统日志，登录日志，程序日志等，及时发现潜在风险。 3. 针对用户登录实时收集，包括登录时间，密码重试次数以及用户执行命令记录等。 4. 对敏感文件或目录变化进行事件监控，如/etc/passwd、/etc/shadow、/web、/tmp（一般上传文件提权用）等。 5. 进程状态监控，对新增或可疑进程做好记录并通知。 6. 对上线的服务器系统、Web程序进程安全漏洞扫描。还是那句话，没有绝对的安全，只有尽可能减少***面，提供系统防护能力。网络安全，从我做起！

2016-04-29

浅谈Storm流式处理框架（转）

Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。

2016-04-11

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

HIVE json格式数据的处理

日志系列--计量日志处理方案

Objective-C：异常的处理

开源图像处理软件代码

Hadoop上小文件存储处理

自然语言处理哪家强？

《Python自然语言处理》——导读

海量数据处理算法

android Handler消息处理源码剖析

大数据处理之道书评

logstash处理文件进度记录机制

HIVE MapJoin异常问题处理总结

Serverless日志处理挑战与方案

浅谈iOS的多Window处理

【20160924】GOCVHelper 图像处理部分（1）

【20160924】GOCVHelper 图像处理部分（2）

【20160924】GOCVHelper 图像处理部分（3）

Android热插拔事件处理详解

linux系统被×××后处理经历

浅谈Storm流式处理框架（转）

资源下载

Mario

腾讯云软件源

Rocky Linux

Sublime Text

欢迎您来访！