首页 文章 精选 留言 我的

精选列表

搜索[加密工具],共10000篇文章
优秀的个人博客,低调大师

一脸懵逼学习Hive的安装(将sql语句翻译成MapReduce程序的一个工具

Hive只在一个节点上安装即可: 1.上传tar包:这个上传就不贴图了,贴一下上传后的,看一下虚拟机吧: 2.解压操作: [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图: 3:解压缩以后启动一下hive: 4:开始操作sql: 好吧,开始没有启动集群,输入mysql创建数据库命令,直接不屌我,我也是苦苦等待啊; 5:启动我的集群,如下所示,这里最后帖一遍部署以后集群关了,重新开启集群的步骤,不能按照部署集群的时候进行格式化一些操作,如下所示: 第一先:启动zookeeper集群(分别在master、slaver1、slaver2上启动zookeeker) 第二步:启动journalnode(分别在master、slaver1、slaver2上启动): 运行jps命令检验,master、slaver1、slaver2上多了JournalNode进程; 第三步:启动HDFS(在slaver3上执行): 第四步:启动YARN(#####注意#####:是在weekend03上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动) 6:然后操作hive,开始居然还报错了,对于一个小白来说,每一个错都是刻骨铭心啊,下面贴一下错误,也许能帮助到他人; 错误如下所示: hive> create database user; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/user.db. Name node is in safe mode. The reported blocks 0 needs additional 27 blocks to reach the threshold 0.9990 of total blocks 27. The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1211) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:3590) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3566) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:754) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:558) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007) Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/user.db. Name node is in safe mode. The reported blocks 0 needs additional 27 blocks to reach the threshold 0.9990 of total blocks 27. The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1207) ... 13 more ) 然后百度了一下,大眼一瞄,可能是防火墙的原因,先关防火墙,先从这种解决问题的方向为入口,不然都是大问题了,然后七台机器的防火墙都关了: 然后就可以了,具体的HIVE学习,待慢慢深学,至少现在入门了; 6:可以将hive配置环境变量,这样就可以在任何位置启动它了,不用每次都要切换到hive的目录了: 7:启动好hive可以查看数据库(show databases;),创建数据库(create database test;),删除数据库(drop database test;),使用数据库(use test;),创建数据表(create table tb_user(id int,name string);),将数据传输到hadoop分布式集群上面: 创建vim tb_user文件,写上几行数据: 然后将测试数据上传到集群上面:[root@master data_hadoop]# hadoop fs -put tb_user /user/hive/warehouse/test.db/tb_user可以在浏览器查看到已经上传成功了: 下面可以使用hive命令进行查询操作: 由于上传数据格式的差异化,这里查询需要注意对数据进行定义数据格式;不然无法解析 hive> select * from tb_user; OK NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL Time taken: 5.338 seconds, Fetched: 5 row(s) hive> 清空一张表(清空以后还可以继续进行查询,看看是否清空即可):hive> truncate table tb_user; 详细hive的学习见下篇博客,完结; 待续......

优秀的个人博客,低调大师

百灵快传(B0Pass)大文件传输工具 v2.0.3 - 手机遥控演示 PPT 还不错哦

新版本说明:应网友建议,给百灵快传开发一个“电脑遥控器”,刚开始我也很疑惑为什么需要电脑键盘远程遥控器。 后来了解场景可能是这样的:一个团队的大屏电脑安装百灵快传,开会的时候一群人围上来(技术探讨、晨会...),然后: 1. 每个人可以上传一个PPT或一批截图,然后潇洒的用手机遥控打开PPT或者截图,一步步翻页,想想还是挺爽的 :) ... 2. 包括PPT、图片、视频、pdf文档等等都可以这样远程操控。 所以更新v2.0.3版本,欢迎试用,欢迎大家大开脑洞,创造更多有意思的应用场景,让百灵快传更好用。 1. 百灵快传 v2.0.3 更新日志 优化一些列功能体验和界面显示 支持向主电脑发送键盘和鼠标指令(主电脑为windows系统) 专用手机App 手机界面 电脑遥控器 按键反馈 2.发行版下载使用 下载前请阅读 已编译好Windows、MacOS、Linux、Android等平台的可执行文件 只需下载到电脑,双击开启即可使用 注意 1:建议不要安装到 “C:\Program Files (x86)” 等系统目录,否则需要右键 “以管理员身份运行” 注意 2:如果要自定义端口等配置,请修改config.ini文件 [gateway] ListenAddr = ":8888" # 配置IP和端口 Domain = "test.com:8888" # 可选配置,配置访问域名(若使用80端口或nginx代理,可忽略端口) [pass] Path = "files" # 文件管理根目录 最新版下载地址 https://4bit.cn/p/b0pass(项目官网,电脑端和安卓 App 直接下载) 3. 代码仓库 https://github.com/bitepeng/b0passGitHub(主库) 欢迎 star 支持 https://gitee.com/b0cloud/b0passGitEE(国内同步) 欢迎 star 支持 4. 使用场景 手机电脑共享文件 电脑上双击执行 -> 手机扫码 -> 手机、电脑文件可以互传。 电脑之间共享文件 电脑 A 上双击执行 -> 电脑 B 上浏览器输入 A 的地址 -> 电脑 A、电脑 B 文件可以互传。 虚拟机和电脑之间共享文件 电脑上双击执行 -> 虚拟机上浏览器输入电脑的地址 -> 虚拟机、电脑文件可以互传。 更多使用场景 也可以用作 “家庭影音中心”、“办公室文件共享”、“产品原型服务器” 等。走局域网 HTTP 协议,Windows、MacOS、虚拟机、安卓、iPhone 等都可以跨平台共享文件。 5. 源码编译 # 下载代码 git clone https://github.com/bitepeng/b0pass.git # 使用go mod更新依赖 go mod tidy # 开发运行 cd main && go run ./main.go # 编译运行开发版本 cd main && ./build.bat

优秀的个人博客,低调大师

美国司法部警告:网络犯罪分子正在利用疫苗调查和钓鱼工具窃取用户个人信息

近期,美国司法部警告称,网络犯罪分子正在利用虚假的疫苗种后调查来对广大用户进行网络钓鱼攻击,并窃取用户的钱财和个人隐私信息。 安全研究人员表示,攻击者会承诺用户在填写完疫苗种后调查表之后,获得现金或奖品奖励,但用户却不知道他们填写的是伪造的调查表。当他们填写完自己的信息之后,攻击者便能拿到目标用户的个人身份信息,而用户并不能拿到之前承诺的奖励,甚至还会为身份信息盗窃欺诈火上浇油。 美国司法部在公告中提到:“用户会通过电子邮件和短信收到疫苗种后调查通知,并被告知,如果填写完调查表之后,便可以从各种免费奖品中选择一份,比如说iPad Pro等等。网络钓鱼邮件中的信息称,用户只需支付运费和手续费即可获得奖品。此时,攻击者要求用户提供信用卡信息,并要求支付运费和手续费,但用户永远都不可能收到此前承诺的奖励。不仅如此,用户还会将自己的个人身份信息(PII)泄露给网络犯罪分子,从而增加了身份盗窃的可能性。” 美国司法部公共事务办公室建议,如果收到来自未知和未经证实来源的疫苗种后调查,请不要点击其中包含的任何链接。 如果用户收到了类似的与疫苗种后调查相关的欺诈性钓鱼邮件或短信,请尽快报告当局。 美国联邦贸易委员会(FTC)透露,与2019年相比,去年的身份盗窃报告数量翻了一番,单年内消费者报告数量更是创下了140万起的纪录。 4月30日,美国国税局(IRS)警告称,有人正在进行伪装成美国国税局的网络钓鱼活动,主要攻击目标为教育机构。 纽约金融服务部(DFS)还透露了正在进行的一系列攻击的更多细节,这些攻击已经导致数十万纽约人的私人信息被盗。 为了保护自己免受身份盗窃攻击的影响,广大用户应该尽快申请身份保护PIN,以阻止身份盗窃者使用你被盗的个人信息以你的名义提交欺诈性的纳税申报单。 联邦贸易委员会(FTC)和联邦调查局(FBI)网站上提供了有关如何识别和保护自己免受此类网络钓鱼攻击的更多详细信息。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册