搜索[数据脱敏]结果-低调大师优秀个人博客

精选列表

搜索[数据脱敏]，共10000篇文章

hadoop 原生MapReduce 实现数据连接

其实很简单，输入两个文件，一个作为基础数据(学生信息文件),一个是分数信息文件。学生信息文件：存放学生数据：包括学号，学生名称分数信息数据：存放学生的分数信息：包括学号，学科，分数。

2017-11-27

1. Grains应用场景 Grains可以在state系统中使用，用于配置管理模块。 Grains可以在target中使用，用来匹配minion，比如匹配操作系统，使用-G选项。 Grains可以用于信息查询，Grains保存着收集到的客户端的详细信息。 2. Grains应用示例 minion配置grains：方法一 [root@backup112 ~]# vim /etc/salt/minion grains: roles: nginx env: test [root@backup112 ~]# systemctl restart salt-minion [root@salt-master111 ~]# salt 'salt-master111' grains.ls [root@salt-master111 ~]# salt 'salt-master111' grains.items [root@salt-master111 ~]# salt '10.1.0.112' grains.get role10.1.0.112: nginx [root@salt-master111 ~]# salt '10.1.0.112' grains.get env10.1.0.112: test [root@salt-master111 ~]# 方法二（推荐）[root@backup112 ~]# vim /etc/salt/grains cloud: openstack [root@backup112 ~]# systemctl restart salt-minion [root@salt-master111 ~]# salt '10.1.0.112' grains.get cloud10.1.0.112: openstack [root@salt-master111 ~]# [root@salt-master111 ~]# salt -G role:nginx cmd.run 'hostname' # 按角色匹配10.1.0.112: backup112 [[root@salt-master111 ~]# salt -G os:CentOS cmd.run 'uptime' # 按操作系统匹配 salt-master111: 17:24:03 up 202 days, 7:44, 1 user, load average: 0.55, 0.29, 0.2110.1.0.112: 01:21:19 up 202 days, 7:07, 2 users, load average: 0.00, 0.01, 0.05 [root@salt-master111 ~]# 本文转自 ygqygq2 51CTO博客，原文链接：http://blog.51cto.com/ygqygq2/1932998，如需转载请自行联系原作者

2017-11-26

浅谈MySQL数据库优化

在这样数据库集群架构中，大大增加数据库高并发能力，解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS，那么5台就能处理1w QPS，数据库横向扩展性也很容易。

2017-11-26

NoSQL数据库 Cassandra（一）

随着互联网技术的发展，对数据存储的要求越来越高，在容量、安全性、备份、高可用性等方面都有很高的需求，很受欢迎的关系型数据库有SQLServer、MySQL、Orcale等，非关系型数据库有key、value

2017-11-26

elasticsearch数据长期保存的方案

如果我们想获取站点每天的重要数据信息，比如每天的访问量并希望能图像化的形式显示该如何做呢？一、具体操作方法获取数据之前你要知道你想要什么样的数据。

2017-11-25

android之数据存储之SQLite

SQLite开源轻量级数据库，支持92-SQL标准，主要用于嵌入式系统，只占几百K系统资源此外，SQLite 不支持一些标准的 SQL 功能，特别是外键约束（FOREIGN KEY constrains

2017-11-23

android 43 SQLite数据库

SQLite数据库很小，占用内存只有几百K,安卓和IOS都是用的SQLite数据库。

2017-11-22

基于Docker来存取redis数据

run -it --link mikeredis:redis --rm redis redis-cli -h redis -p 6379，并做简单的Set/Get Key 操作存取Key为name的数据成功

2017-11-21

浅谈Android数据库DBFlow

Override public void onCreate() { super.onCreate(); FlowManager.init(this); } } 清单文件配置：二、使用 1、创建一个数据库类

2017-11-21

hive中表状态数据的获取

status相差很多）我们可以通过一些简单地方法去拿到这个值，比如通过hadoop fs -du 来获取表占用的空间大小，通过hadoop fs -count获取表的文件数量,然后定期取值并load到数据库中

2017-11-21

[Android]发布Sqlite数据库

1.2 准备数据库新建或拷贝一个数据库，然后打开，依次执行以下两条SQL语句： CREATE TABLE "android_metadata"("locale" TEXT DEFAULT

2017-11-20

hive元数据表结构

在debug hive的问题的时候，经常需要分析hive元数据的表结构。这里简单地说下常用的几个表的结构： dbs 存储了database的一些信息，id,描述，hdfs中的路径和名称。

2017-11-20

导入HDFS的数据到Hive

HiveConfig](); 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 // 创建equd数据结构

2017-11-16

Android数据库小技巧

Android数据库小技巧一、执行SQL 相对于封装过的ContentProvider，使用原生SQL执行效率高，所以建议使用rawQuery、execSQL。

2017-11-15

Android使用SharedPreferences实现数据存储

今天我用SharedPreferences实现数据存储，功能见图: 1:实现UI功能布局layout/main.xml 3:实现UI功能布局赋值layout/string.xml 4:实现UI布局功能代码

2017-11-15

戏说Linux商用数据库

戏说Linux商用数据库上一篇文章(http://chenguang.blog.51cto.com/350944/277533)我介绍了Linux下几款开源数据库Mysql,MaxDB、PostgreSQL

2017-11-15

Android简易数据存储之SharedPreferences

Andorid提供了多种数据存储的方式，例如前面说到的“Android数据存储之SQLite的操作”是用于较复杂的数据存储。然而，如果有些简单的数据存储如果采用SQLite的方式的话会显得比较笨重。

2017-11-14

hadoop 突然断电数据丢失问题

阅读目录 HDFS-Could not obtain block 回到顶部 HDFS-Could not obtain block MapReduceTotal cumulative CPU time: 33 seconds 380 msec Ended Job = job_201308291142_4635 with errors Errorduring job, obtaining debugging information... Job Tracking URL:http://xxx/jobdetails.jsp?jobid=job_201308291142_4635 Examining task ID: task_201308291142_4635_m_000019 (and more) from job job_201308291142_4635 Examining task ID: task_201308291142_4635_m_000007 m(and more) from job job_201308291142_4635 Examining task ID: task_201308291142_4635_m_000009 (and more) from job job_201308291142_4635 Task with the most failures(5): ----- Task ID: task_201308291142_4635_m_000009 URL: http://xxxxxxx:50030/taskdetails.jsp?jobid=job_201308291142_4635&tipid=task_201308291142_4635_m_000009 ----- Diagnostic Messages for this Task: java.io.IOException:java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1555036314-10.115.5.16-1375773346340:blk_-2678705702538243931_541142 file=/user/hive/warehouse/playtime/dt=20131119/access_pt.log.2013111904.log at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121) at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77) at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:330) at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.next(HadoopShimsSecure.java:246) at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:215) at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:200) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48) at org.apache.hadoop.mapred.MapTask.runOldMa Reson Solution HDFSFILE - IfHDFSblock is missing 1. confirm status Confirm missing block is exit or not. If missing block is over 1, file is not able to read. $hadoopdfsadmin -report Configured Capacity: 411114887479296 (373.91 TB) Present Capacity: 411091477784158 (373.89 TB) DFS Remaining: 411068945908611 (373.87 TB) DFS Used: 22531875547 (20.98 GB) DFS Used%: 0.01% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 20 (20 total, 0 dead) 2. detail block file hadoop fsck hadoopfsck/ -files -blocks ... Status: HEALTHY Total size: 4056908575 B (Total open files size: 3505453 B) Total dirs: 533 Total files: 15525 (Files currently being written: 2) Total blocks (validated): 15479 (avg. block size 262091 B) (Total open file blocks (not validated): 2) Minimally replicated blocks: 15479 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 0 (0.0 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 3 Average block replication: 3.0094967 Corrupt blocks: 0 Missing replicas: 0 (0.0 %) Number of data-nodes: 20 Number of racks: 1 FSCKended at Tue Nov 19 10:17:19 KST 2013 in 351 milliseconds The filesystem under path '/' is HEALTHY 3. remove corrupted file $hadoopfsck-delete ..... .........................Status: HEALTHY Total size: 4062473881 B (Total open files size: 3505453 B) Total dirs: 533 Total files: 15525 (Files currently being written: 2) Total blocks (validated): 15479 (avg. block size 262450 B) (Total open file blocks (not validated): 2) Minimally replicated blocks: 15479 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 0 (0.0 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 3 Average block replication: 3.0094967 Corrupt blocks: 0 Missing replicas: 0 (0.0 %) Number of data-nodes: 20 Number of racks: 1 FSCKended at Tue Nov 19 10:21:41 KST 2013 in 294 milliseconds The filesystem under path '/' is HEALTHY HIVE FILE - If hive block is missing altertable drop partition 本文转自疯吻IT博客园博客，原文链接：http://www.cnblogs.com/fengwenit/p/5941552.html，如需转载请自行联系原作者

2017-11-14

hdfs数据误删分析与恢复

一、相关参数： 1、core-site.xml 文件修改以下配置项： 1 2 3 4 5 <property> <name>fs.trash.interval< /name > <value>2880< /value > <description>HDFS垃圾箱设置，可以恢复误删除，配置的值为分钟数，0为禁用< /description > < /property > 2、hdfs-default.xml 文件注意以下配置项： 1 2 3 4 5 <property> <name>dfs.ha.log-roll.period< /name > <value>120< /value > <description>EditLog日志滚动频率，单位为秒，默认是两分钟< /description > < /property > 二、分析过程 1、找到editlog日志所在目录查看hdfs-site.xml文件，找到fs.namenode.name.dir配置项的值，如：file:/home/hadoop-2.6.0-cdh5.5.0/dfs/name 在/home/hadoop-2.6.0-cdh5.5.0/dfs/name目录下的current文件里，就是editlog文件，如下图 2、使用命令查看edits_inprogress文件 1 #hdfsoev-iedits_inprogress_0000000000000000023-oedits_inprogress_0000000000000000023.xml 其中 -i 是输入文件名，-o是需要把解析的文件输出到该文件中解析完成后，查看edits_inprogress_0000000000000000023.xml文件即可 3、打开文件分析找到被删除的文件或文件夹，在edits_inprogress_0000000000000000023.xml文件中搜索相关项，如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 <RECORD> <OPCODE>OP_RENAME_OLD< /OPCODE > <DATA> <TXID>15< /TXID > <LENGTH>0< /LENGTH > <SRC> /dat < /SRC > <DST> /user/root/ .Trash /Current/dat < /DST > <TIMESTAMP>1454315297010< /TIMESTAMP > <RPC_CLIENTID>6832d4f9-4fa6-4dbb-89aa-ffaa26109078< /RPC_CLIENTID > <RPC_CALLID>6< /RPC_CALLID > < /DATA > < /RECORD > 可以看出，HDFS中/dat 文件是在 1454315297 时间点被移入回收站的 4、恢复文件执行以下命令： 1 2 #fs-mv/user/root/.Trash/Current/dat/dat 进行恢复本文转自 zouqingyun 51CTO博客，原文链接：http://blog.51cto.com/zouqingyun/1750012，如需转载请自行联系原作者

2017-11-14

Linux rsync数据同步命令解析

one-file-system 不要跨越文件系统边界 -B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

2017-11-14

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

hadoop 原生MapReduce 实现数据连接

SaltStack实战之数据系统-Grains

浅谈MySQL数据库优化

NoSQL数据库 Cassandra（一）

elasticsearch数据长期保存的方案

android之数据存储之SQLite

android 43 SQLite数据库

基于Docker来存取redis数据

浅谈Android数据库DBFlow

hive中表状态数据的获取

[Android]发布Sqlite数据库

hive元数据表结构

导入HDFS的数据到Hive

Android数据库小技巧

Android使用SharedPreferences实现数据存储

戏说Linux商用数据库

Android简易数据存储之SharedPreferences

hadoop 突然断电数据丢失问题

hdfs数据误删分析与恢复

Linux rsync数据同步命令解析

资源下载

Spring

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！