使用cygwin从windows上传日志到hdfs-低调大师

使用cygwin从windows上传日志到hdfs

2017-11-14 553

windows操作系统：windows server2003

对cygwin不熟，所幸我只是需要进行很简单的应用，在同事的帮助下完成了这个工作。这里大致说一下，给大家提供一个思路。

1、安装JDK，并配置环境变量。要注意安装路径不要空格，不要安装到类似于program files这种目录，否则cygwin会出问题。

2、部署hadoop。直接拉一个liux上部署的hadoop，并部署到本地。我把它放到了D盘的根目录下。

3、安装cygwin。主要是几个组件，不必细说。我把它安装到了D盘的根目录下。

4、创建windows用户cloud。这里创建的用户，必须与linux里运行hadoop的用户相同，否则在上传文件时会提示没有权限。

5、创建一个供cloud用户调用的bat文件，写入：

D:\cygwin\bin\bash --login -i D:/hadoop-0.20.2-CDH3B4/bin/hadoop -ls /

上述脚本的目的是为了测试使用windows脚本通过cygwin调用hadoop命令是否成功。注意斜杠的不同: 前半部分是windows下的斜杠，后半部分是linux下的斜杠！

以cloud用户的身份运行这个脚本后，cygwin会其安装目录下的home文件下创建一个cloud的用户目录！

6、上述测试通过以后，则在cygwin中的cloud用户目录中创建一个sh文件，比如名为upload.sh的文件，写入：

#!/bin/bash
D:/ hadoop-0.20.2-CDH3B4/bin/hadoop fs -put $DIR/$FILES $HDFS

然后，重新编辑刚才的bat文件，把后面的命令更改为sh脚本名称：

D:\cygwin\bin\bash --login -i /home/cloud/upload.sh

7、其它的部分的修改，主要是 hadoop配置文件，一般要把其中的 JAVA环境变量注释掉，或者某些部分的斜杠要改成 windows的习惯，或者要修改windows的hosts表。

本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/665666

微信关注我们

原文链接：https://yq.aliyun.com/articles/428255

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive 令人头痛的multi-distinct

线上一个查询简化如下： Selectdt,count(distinct c1) , count(distinct case when c2>0 and c1=0 then c1 end),count(distinct case when c2>0 and c1>0 then c1 end) from t where dtbetween ‘20131108’ and ‘20131110’ group by dt; 一个让人头痛的multi-distinct问题，为什么说很头痛，看看执行计划就清楚了： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83...

2017-11-15

633

今天遇见了一个问题，发现一台系统为redhat 5.8的跑storm的机器内存报警，然后跟了一下，发现系统内存耗尽了，但是通过top或者ps命令看到所有应用或系统进程内存占用率总和不到10%。 [@storm-yd8325 ~]# free -m total used free shared buffers cached Mem: 64416 61273 3142 0 419 2597 -/+ buffers/cache: 58256 6159 Swap: 8189 0 8189 那50多G的内存哪去了呢？下面我们来分析一下。 1，查看了/proc/meminfo文件它记录系统内存的分配使用信息的内核文件 [@storm-yd8325 ~]# cat /proc/meminfo MemTotal: 65962124 kB MemFree: 3229264 kB Buffers: 429596 kB Cached: 2658648 kB SwapCached: 0 kB Active: 12872252 kB Inactive: 661388 kB HighTotal: 0 kB H...

2017-11-15

608

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。