搜索[数据脱敏]结果-低调大师优秀个人博客

精选列表

搜索[数据脱敏]，共10000篇文章

Docker实战(九)之数据库应用

目前，主流数据库包括关系型和非关系型两种。关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念金额方法来处理数据库中的数据，支持复杂的事务处理和结构化查询。

2018-07-06

Docker实战(四)之Docker数据管理

在生产环境中使用Docker的过程中，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，这必然涉及到容器的数据管理操作。

2018-07-06

数据科学20个最好的Python库

Python 在解决数据科学任务和挑战方面继续处于领先地位。

2018-07-05

Kylin设置JDBC配置greenplum数据源

Kylin设置JDBC配置greenplum数据源kylin最开始的时候支持hive和kafka作为数据源，从2.3.0版本之后开始支持JDBC作为第第三种数据源。

2018-07-05

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用上。特别是在1.x的版本上容易出现单点故障，不容易扩展的情况。在这里Client的请求都会通过1个JobTracker来分发任务，如果我们的这个JobTracker出现异常。整个集群就没法参与正常工作。在JobTracker 过多的TaskScheduler 集中过来，容易造成内存,cpu不够用的情况。增加了任务执行失败的风险。因为这些情况，随着发展，Hadoop需要更新的一代管理引擎来帮助我们管理集群-YARN引擎在2.0的YARN 在新的业务驱动下，发展起来的YARN替代原先的模式。将原先浪费的资源进行合并，共同管理建立在一个模式管理下新的YARN模式如下从图中我们可以看到原先的JobTracker 被拆分成资源管理和任务调度监控。我们来看下如今的架构 ResourceManager : 在集群中提供资源的统一管理和调度。并且接收来自客户端的请求。同时不停的接收来自 DataNode上的心跳信息。并且对集群进行管理。 NodeManager ：在整个集群中会有多个该节点。主要用来维护自己节点上资源的管理和使用。定时向ResourceManager 汇报自己资源的使用情况。并且接收来自ResourceManager 各种命令启动我们在图中看到的ApplicationMaster. ApplicationMaster : 该ApplicationMaster 对应我们提交的程序，该程序可以来自Spark,Hbase , MapReduce.该master向管理器YARN申请资源。然后供应用程序使用。分配任务给接下来的Container 。包含启动，停止任务。 Container 封装了CPU ，Memory 等资源的容器。 Client 通过client来提交任务，进行任务的开始与结束。并且查询任务的执行进度等情况。了解了这几个功能名称的作用，我们来看下整个任务执行流程是怎么样的。从Client端发送一个请求到我们的ResourceManager 上。其中内容应该包含ApplicationMaster,ApplicationMaster的启动命令。本身应用程序的内容。 ResourceManager 分配任务到NodeManager上 NodeManager根据配置信息进行处理启动ApplicationMaster 。注册到ResourceManager，并且申请到资源返回到我们的ApplicationMaster 上。根据申请到的资源注册到NodeManger上。 NodeManager 启动对应的Container上。在这之间会通过心跳进行任务汇报。然后任务汇报后。进行任务管理。总结整个yarn的流程和新的结构大概就是如此。新模式解决了原先的单点问题。并且挺高了高可用性和扩展性。一套集群环境就能供多个应用程序使用。YARN模式帮助我们解决掉了资源管理的问题，程序员关注业务开发即可。原文发布时间为：2018-06-22本文作者：mengrui LuckQI本文来自云栖社区合作伙伴“LuckQI”，了解相关信息可以关注“LuckQI”。

2018-06-27

AIOPS提升数据驱动的云托管服务

本篇文稿由驻云信息科技有限公司执行总监李俊涛在上海云栖大会的演讲整理而成，准确的为我们介绍了托管运维的概念与优势，并详细解读包括基础运维、应用运维、和业务运维的整套企业级运维服务体系，从多个角度阐述了如何使用AIOps提升数据驱动的企业级云托管运维服务

2018-06-26

蚂蚁搬家式迁移mysql数据库

为保证业务一致性和降低成本，业务数据（开发的应用程序及用户上传数据）共享一套NFS；各业务共享同一套物理数据库（一台物理服务器mysql创建多个库）。

2018-06-23

效率提升50倍，轻松处理大数据

阿里云流计算是运行在阿里云平台上的流式大数据分析平台，提供给用户在云上进行流式数据实时化分析工具，实现对网站数据、工业化数据、物联网数据等各种场合进行实时的数据监控、分析和处理。

2018-06-20

HBase数据库相关基本知识

HBase数据库相关知识 1、 HBase相关概念模型 l 表（table），与关系型数据库一样就是有行和列的表 l 行（row），在表里数据按行存储、行由行键（rowkey）唯一标识，没有数据类型统一为

2018-06-20

基于Hadoop的数据分析平台搭建

企业发展到一定规模都会搭建单独的BI平台来做数据分析，即OLAP（联机分析处理），一般都是基于数据库技术来构建，基本都是单机产品。

2018-06-19

ofo在MaxCompute的大数据开发之路

摘要：2017年，ofo向市场投入了一千多万辆单车，这些单车的投放、运营和调度需要大量数据的支持。

2018-06-14

人工智能与大数据的区别

人工智能与大数据一个主要的区别是大数据是需要在数据变得有用之前进行清理、结构化和集成的原始输入，而人工智能则是输出，即处理数据产生的智能。这使得两者有着本质上的不同。

2018-06-06

Xamarin.Android 使用ListView绑定数据

使用ListView进行数据绑定第一步：新建一个类，用于存储显示字段。

2018-06-05

Java嵌入式数据库-MapDB

MapDB可以直接将Java的数据类型存储至直接内存而非JVM的堆中，也可以将数据持久化到磁盘。

2018-06-05

大数据Hadoop：杀鸡用的宰牛刀

但是，很多情况下，用户的数据并不总会有那么多。除了一些互联网巨头企业和国家级通信运营商及银行外，大多数用户的数据量并没有大到需要几百上千个节点才能处理的地步。

2018-06-04

NSQL数据库的5种经典

1、MongoDB MongoDB是一个基于分布式文件存储的数据库。由 C++ 语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。

2018-06-02

数据中心网络设备扩容之道

对于很多人来说，大型机仍然被迁移到数据中心的客户端-服务器层所支持。在虚拟化和服务器整合之前，Web技术将SaaS添加到数据中心之外，将所有内容重组为更加易于管理的块数据。

2018-05-31

MariaDB TX 3.0企业开源数据库

MariaDB TX是一款开源的、基于MariaDB的企业数据库解决方案，它具有轻量级连接器、高级数据库代理和防火墙、可插拔的通用数据库、专用存储引擎、多主集群，并为数据库管理员和开发人员提供了通知服务

2018-05-28

数据绑定（二）把控件作为Binding源

原文: 数据绑定（二）把控件作为Binding源下面的代码把一个TextBox的Text属性关联在了Slider的Value属性上 <Window x:Class="WpfApplication1

2018-05-22

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。