搜索[数据接入平台]结果-低调大师优秀个人博客

精选列表

搜索[数据接入平台]，共10000篇文章

初探OceanBase的定期合并&数据分发

另外，由于数据行的某些列被更新，某些列没被更新，SSTable中存储的数据行是稀疏的，称为稀疏型SSTable。

2018-07-19

php与mysql数据库的操作

php与mysql数据库的操作连接 MySQL 在我们访问 MySQL 数据库前，我们需要先连接到数据库服务器：实例 (MySQLi - 面向对象) <?

2018-07-19

数据库中的Schema是什么?

这是一个更复杂的数据库模式示例：在这种情况下，模式图分为四个部分: （1）Customer Data（客户数据)：与客户有关的数据，如姓名，地址等（2）Business（业务）：业务所需的数据，例如员工

2018-07-10

数据科学入门丨选Python还是R

对于想入门数据科学的新手来说，选择学Python还是R语言是一个难题，本文对两种语言进行了比较，希望能帮助你做出选择。

2018-07-09

微博python爬虫，每日百万级数据

当然例子还有很多，那么，首先，要有微博数据！所以，就产生了众多的微博爬虫项目。后来，新浪微博也开放了微博的API接口，但是官方的东西，限制还是很多的。

2018-07-08

Docker实战(九)之数据库应用

目前，主流数据库包括关系型和非关系型两种。关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念金额方法来处理数据库中的数据，支持复杂的事务处理和结构化查询。

2018-07-06

Docker实战(四)之Docker数据管理

在生产环境中使用Docker的过程中，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，这必然涉及到容器的数据管理操作。

2018-07-06

Kylin设置JDBC配置greenplum数据源

Kylin设置JDBC配置greenplum数据源kylin最开始的时候支持hive和kafka作为数据源，从2.3.0版本之后开始支持JDBC作为第第三种数据源。

2018-07-05

数据科学20个最好的Python库

Python 在解决数据科学任务和挑战方面继续处于领先地位。

2018-07-05

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用上。特别是在1.x的版本上容易出现单点故障，不容易扩展的情况。在这里Client的请求都会通过1个JobTracker来分发任务，如果我们的这个JobTracker出现异常。整个集群就没法参与正常工作。在JobTracker 过多的TaskScheduler 集中过来，容易造成内存,cpu不够用的情况。增加了任务执行失败的风险。因为这些情况，随着发展，Hadoop需要更新的一代管理引擎来帮助我们管理集群-YARN引擎在2.0的YARN 在新的业务驱动下，发展起来的YARN替代原先的模式。将原先浪费的资源进行合并，共同管理建立在一个模式管理下新的YARN模式如下从图中我们可以看到原先的JobTracker 被拆分成资源管理和任务调度监控。我们来看下如今的架构 ResourceManager : 在集群中提供资源的统一管理和调度。并且接收来自客户端的请求。同时不停的接收来自 DataNode上的心跳信息。并且对集群进行管理。 NodeManager ：在整个集群中会有多个该节点。主要用来维护自己节点上资源的管理和使用。定时向ResourceManager 汇报自己资源的使用情况。并且接收来自ResourceManager 各种命令启动我们在图中看到的ApplicationMaster. ApplicationMaster : 该ApplicationMaster 对应我们提交的程序，该程序可以来自Spark,Hbase , MapReduce.该master向管理器YARN申请资源。然后供应用程序使用。分配任务给接下来的Container 。包含启动，停止任务。 Container 封装了CPU ，Memory 等资源的容器。 Client 通过client来提交任务，进行任务的开始与结束。并且查询任务的执行进度等情况。了解了这几个功能名称的作用，我们来看下整个任务执行流程是怎么样的。从Client端发送一个请求到我们的ResourceManager 上。其中内容应该包含ApplicationMaster,ApplicationMaster的启动命令。本身应用程序的内容。 ResourceManager 分配任务到NodeManager上 NodeManager根据配置信息进行处理启动ApplicationMaster 。注册到ResourceManager，并且申请到资源返回到我们的ApplicationMaster 上。根据申请到的资源注册到NodeManger上。 NodeManager 启动对应的Container上。在这之间会通过心跳进行任务汇报。然后任务汇报后。进行任务管理。总结整个yarn的流程和新的结构大概就是如此。新模式解决了原先的单点问题。并且挺高了高可用性和扩展性。一套集群环境就能供多个应用程序使用。YARN模式帮助我们解决掉了资源管理的问题，程序员关注业务开发即可。原文发布时间为：2018-06-22本文作者：mengrui LuckQI本文来自云栖社区合作伙伴“LuckQI”，了解相关信息可以关注“LuckQI”。

2018-06-27

AIOPS提升数据驱动的云托管服务

本篇文稿由驻云信息科技有限公司执行总监李俊涛在上海云栖大会的演讲整理而成，准确的为我们介绍了托管运维的概念与优势，并详细解读包括基础运维、应用运维、和业务运维的整套企业级运维服务体系，从多个角度阐述了如何使用AIOps提升数据驱动的企业级云托管运维服务

2018-06-26

蚂蚁搬家式迁移mysql数据库

为保证业务一致性和降低成本，业务数据（开发的应用程序及用户上传数据）共享一套NFS；各业务共享同一套物理数据库（一台物理服务器mysql创建多个库）。

2018-06-23

效率提升50倍，轻松处理大数据

阿里云流计算是运行在阿里云平台上的流式大数据分析平台，提供给用户在云上进行流式数据实时化分析工具，实现对网站数据、工业化数据、物联网数据等各种场合进行实时的数据监控、分析和处理。

2018-06-20

HBase数据库相关基本知识

HBase数据库相关知识 1、 HBase相关概念模型 l 表（table），与关系型数据库一样就是有行和列的表 l 行（row），在表里数据按行存储、行由行键（rowkey）唯一标识，没有数据类型统一为

2018-06-20

ofo在MaxCompute的大数据开发之路

摘要：2017年，ofo向市场投入了一千多万辆单车，这些单车的投放、运营和调度需要大量数据的支持。

2018-06-14

人工智能与大数据的区别

人工智能与大数据一个主要的区别是大数据是需要在数据变得有用之前进行清理、结构化和集成的原始输入，而人工智能则是输出，即处理数据产生的智能。这使得两者有着本质上的不同。

2018-06-06

Xamarin.Android 使用ListView绑定数据

使用ListView进行数据绑定第一步：新建一个类，用于存储显示字段。

2018-06-05

Java嵌入式数据库-MapDB

MapDB可以直接将Java的数据类型存储至直接内存而非JVM的堆中，也可以将数据持久化到磁盘。

2018-06-05

大数据Hadoop：杀鸡用的宰牛刀

但是，很多情况下，用户的数据并不总会有那么多。除了一些互联网巨头企业和国家级通信运营商及银行外，大多数用户的数据量并没有大到需要几百上千个节点才能处理的地步。

2018-06-04

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。