首页 文章 精选 留言 我的

精选列表

搜索[时间处理库],共10000篇文章
优秀的个人博客,低调大师

Hadoop常见错误及处理方法

1、Hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 导致datanode启动不了。 原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败, 所以失败的原因是版本不一致造成的。 两种解决办法 第一种 进入每个datanode的dfs.data.dir 的 current目录,修改里面的文件VERSION #Fri Nov 23 15:00:17 CST 2012 namespaceID=246015542 storageID=DS-2085496284-192.168.1.244-50010-1353654017403 cTime=0 storageType=DATA_NODE layoutVersion=-32 里面有个 namespaceID 将其修改成为报错信息中的 namenode namespaceID = 971169702 相同的namespaceID . 然后重新启动 datanode全部都能正常启动了 第二种: 直接删除数据节点上的文件,直接删除每个datanode 上面dfs.data.dir目录下所有的文件 rm -rf * 删除之后 重新启动 也是可以正常的启动所有的datanode 进到dfs.data.dir目录下 所有的datanode又全部重新生成了。 这样旧的数据全都不会在能找回了。其实namenode格式化了,这些数据也无用了。 2、如果datanode连接不上namenode,导致datanode无法启动。 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host 关闭防火墙机器重启后,防火墙还会开启。 3、从本地往hdfs文件系统上传文件,出现如下错误: INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023 WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block. 解决方法: 关闭防火墙: 禁用selinux: 编辑 /etc/selinux/config文件,设置“SELINUX=disabled” 4、安全模式导致的错误 org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode 在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。 本文转自茄子_2008博客园博客,原文链接:http://www.cnblogs.com/xd502djj/p/4422728.html,如需转载请自行联系原作者。

优秀的个人博客,低调大师

自然语言处理哪家强?

语音交互事关未来,国内外已经不少公司在抢蛋糕了,大公司收购、投资、合作不断,就可见一斑。目前,基本上所有的巨头都有涉足。 苹果收购Siri、Novauris,组建基于神经网络算法的语音识别团队 2014 年 7 月,有消息称,苹果正在联系多位语音识别技术的专家,正在招聘经理、小组负责人、研究员,很可能将成立一支强大的语音识别团队,并最终取代现在的 Siri 技术服务商 Nuance。过去几年中,苹果招聘了多名此前供职于 Nuance 的的高层次语音技术研究员,包括前研究副总裁拉里·吉利克 (Larry Gillick)、Siri 的项目经理贡纳尔·艾弗曼(Gunnar Evermann)、微软语音识别项目高管亚历克斯·阿赛洛(Alex Acero)。 在 2013 年,苹果收购了自动语音识别公司 Novauris Technologie

优秀的个人博客,低调大师

HIVE MapJoin异常问题处理总结

问题描述 在跑hive作业的时候,偶尔会遇到下面的异常 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 。通过查看日志,你可以看到这是map join的问题,会看到Starting to launch local task to process map join; maximum memory = xxx,Execution failed with exit status: 3 等等这样的日志。在网上搜索也可以看到一些问题的解释,例如 stackoverflow上就有一个 http://stackoverflow.com/questions/22977790/hive-query-executi

优秀的个人博客,低调大师

浅谈iOS的多Window处理

概述 想必做iOS的人都知道,我们的App是通过UIWindow这个载体呈现出来的。默认情况下,iOS App对于开发者来说只有一个UIWindow,也就是AppDelegate在applicationDidFinishLaunching里面创建出来的。 但是即使我们什么都不做,在我们的APP里面也会有其他的UIWindow: 键盘对应的UITextEffectWindow 状态栏对应的UIStatusBarWindow(准确来说这个Window并不隶属于我们的App) 只不过上述两种UIWindow我们一般不太容易去操作罢了,因此很多问题都无形被掩盖住了。最近正好需要做双十一晚会一个和横屏界面相关的需求,在整个过程中,发现了不少问题,所以接下来我们就说说如果在多个UIWindow状态下存在的一些问题吧。 那么在什么情况下会导致我们想要创建多

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册