lzo文件创建索引
lzo文件默认不支持split，创建索引后支持split,这样作为map输入时就可以将文件分割成多个map，否则只能有一个map
创建索引，执行：
hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/hadoop-lzo-0.6.0.2.2.6.0-2800.jar com.hadoop.compression.lzo.DistributedLzoIndexer hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo
说明：可以只写到hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/ 目录层
索引文件：
hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo.index
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
Elasticsearch之更新（全部更新和局部更新）
首先，明确一个概念，es包括全部更新和局部更新！ ES全部更新 ES可以使用PUT或者POST对文档进行更新(全部更新)，如果指定ID的文档已经存在，则执行更新操作。 比如，我这里，id=1文档存在，那么，就是es全部更新。 注意: es执行更新操作的时候，ES首先将旧的文档标记为删除状态，然后添加新的文档，旧的文档不会立即消失，但是你也无法访问， ES会在你继续添加更多数据的时候在后台清理已经标记为删除状态的文档。 ES局部更新 es为什么需要局部更新？ 这个，从字面意思就知道，当然，不想全部更新时，比如一个指定类型下，很多个id，我不想每个id都涉及等。 局部更新，可以添加新字段或者更新已有字段（必须使用POST） [hadoop@djt002 elasticsearch-2.4.3]$ curl -XGET 'http://192.168.80.200:9200/zhouls/emp/1?_source=name&pretty' { "_index" : "zhouls", "_type" : "emp", "_id" : "1", "_vers...
- 下一篇
菜鸟学Linux 第042篇笔记 sudo
菜鸟学Linux 第042篇笔记 sudo sudo 详解 用于给其它用户授权可执行的命令 环境 50台服务器 网络：定义网络属性 用户：用户管理 linux root Tom root linux用户： 管理员和普通用户 su - run a shell with substitute user and group IDs sudo, sudoedit - execute a command as another user sudo COMMAND 某个用户能够以另外一个用户的身份通过某主机执行某命令 管理员授予某用户可以执行管理员的命令，但在执行时如果为管理员所授予的命令 需要在输入自己的账户密码时才可执行 sudo 配置文件/etc/sudoers 配置该文件的命令 visudo (su - run a shell with substitute user and group IDs) sudo条目定义格式 who which_hosts=(runas) command Alias who: User_Alias which_hosts: Host_Alias Runas: Ru...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,7,8上安装Nginx，支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS关闭SELinux安全模块
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- CentOS8安装Docker，最新的服务器搭配容器使用
- CentOS7编译安装Cmake3.16.3，解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0，解决mysql等软件编译问题
- Docker安装Oracle12C，快速搭建Oracle学习环境
- CentOS7设置SWAP分区，小内存服务器的救世主
- CentOS7安装Docker，走上虚拟化容器引擎之路
微信收款码
支付宝收款码