首页 文章 精选 留言 我的

精选列表

搜索[主数据管理],共10006篇文章
优秀的个人博客,低调大师

基于TableStore的物联网元数据管理

背景 常见的企业级无线接入方案有两种,分别被称作廋AP和胖AP。瘦AP(AC+AP)架构为比较传统的企业级无线接入方案,主要优点就是漫游体验好,但是AC宕机的话会导致所属的AP全部无法工作。对于大型的办公场所,漫游的需求相对较弱,新型的胖AP(无AC,不会因为AC宕机导致网络不可用)+ 云端控制器架构成为了新兴的一种企业无线接入方案,运维人员通过云端对AP进行监控与管理。 某公司拥有无线AP约10,000台、接入终端(STA)100,000个。设备以一定的周期上报其状态到云端,云端将监控数据持久化后供用户查看。 业务描述 每个AP设备会以10s的周期上报其当前状态,上报数据格式为json,其格式如下:AP状态: { "ap_mac": "11:22:33:86:D9:E8", // AP WAN口MAC地址,AP设备唯一标识

优秀的个人博客,低调大师

数据管理和分析趋势正在改变世界

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数据转移到云端;GDPR将使数据保护成为每个公司的首要任务。你知道这些,但也许会对这种夸大其词的说法有点怀疑。 那么到底发生了什么实质性的变化?在制定架构和采购策略并在这些领域做出决策时,你需要注意什么?接下来我们会讨论在分析领域发生的7个影响深远的变化,并将它们一一呈现。 Hadoop始终是根基 是的,那些大数据项目的失败率很高;并且Spark在某种程度上已经取代了Hadoop,越来越多的客户开始独立运行它,所以业界开始指责Hadoop…并且不再提到它的名字。所以你认为Hadoop一定已经过时了,对吧? 错!现在每个人都在谈论数据湖,很多时候,那只是Hadoop的代码。而且,虽然许多公司正在云存储中实现他们的数据湖,也经常使用Hadoop生态系统技术来分析这些数据。除此之外,当开始使用云存储来模拟HDFS、Hadoop的文件系统时,你就会意识到云数据湖和Hadoop数据湖并没有本质区别。 好消息是,今年Hadoop将会做它一直应该做的事情:低调地被很多企业接受,并将成为众多数据工具之一,发挥其战略作用。正是这些数据技术的结合,包括Hadoop、Spark、Business Intelligence (BI)和数据仓库,使得当前的分析市场如此令人兴奋。 再见!企业级商业智能栈 今年早些时候,作为一家企业级商业智能公司,MicroStrategy宣布向其前端竞争对手做出让步,引入他们的产品。MicroStrategy相信可以通过利用后端OLAP平台以及相关的数据处理来盈利。该公司似乎意识到了在数据可视化和仪表板方面的竞争是比较困难的,即使能够取得成功,也会带来收益递减。 那么后端是否足以维持企业收入并持续增长?我们拭目以待。但有一点是肯定的,单一的企业级商业智能堆栈已经开始解体,新的挑战即将开始。 数据分层 也许你熟悉数据分层的概念,比如数据存储与其访问频率的相关性。“热门”数据,即最常用的数据,有时访问请求会被路由到非常快的存储,比如固态硬盘,甚至是CPU缓存中;而冷门数据通常存储在更老的,但更便宜的旋转硬盘驱动器之中。 随着存储层次的完善,我们将在今年看到其他层次结构被逐渐认可。例如,分析涉及从与特定团队或业务单位相关的实验数据集到对整个企业都有用的高度结构化,审核和共识驱动的数据。 中间是结构化数据集,可能由于大小或清洁程度而被视为略低于生产水平。 实验数据集存储在数据湖中最好;逻辑上,高度审查的数据集最好存储在数据仓库中。中级数据集可能比较适合放在Hadoop或云存储中,但通常会使用IBM Big SQL,Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具从关系型数据库中进行查询。 还有一种层次结构可能会根据数据是用于设计机器学习模型还是仅用于分析来对数据进行分层,其他的层次结构可能由数据源的可信度来定义。 层次结构之所以重要,是因为相应的工具和技术也存在分级,包括查询端的商业智能和大数据分析工具,以及存储库端的事务型数据库,NoSQL数据库,数据仓库和数据湖。虽然最终,层次结构可能会得到简化,技术可能会趋于整合,但是现在有了这么多的技术选择,我们就需要数据中的层次结构来规定我们在工具链部署中的最佳实践。 可视化商品 MicroStrategy宣布与Tableau,Qlik和Power BI进行合作不仅仅是对竞争对手的让步。事实上,这三种自助商业智能工具现在已经成为行业标准,进一步为其他想在可视化领域大显身手的公司设置了障碍。 他们也对整个行业实现了商品化。在Tableau Public,Qlik Sense Cloud Basic和Power BI Desktop(以及Power BI云服务的免费层)之间,可以免费体验入门级分析功能,随着添加像plotly这样的可视化工具,体验D3生态系统和开源的地理空间/地图平台,你会发现你的分析能力从受时间限制变成了受金钱限制,你需要通过付费来获得更好的产品功能。 如今,用户已经将良好的数据处理能力看作理所当然,他们虽然对此印象深刻,但并不满足于此,好的产品不会具有很明显的竞争优势,但差的产品必然处于竞争劣势。 数据治理 虽然在过去的一段时间里,数据治理技术并未受到应有的重视,但如今也开始获得了一些尊重。欧盟的“通用数据保护条例”(GDPR)就是一个例子-而最终,缺乏足够的治理是今年对有效治理工具需求的一个非常重要的痛点。 即使遵循法规是催化剂,但治理背后还有其他驱动因素。其中最大的一项是数据分类,它们使数据湖中的数据集更有条理,并且更易于发现。数据发现工具可以帮助您通过查看数据库和数据湖,报告其数据内部和数据之间的关系和数据流。从另一个角度来讲,这些工具使数据湖本身更具有可用性,对其投资更加有效。随着公司对前几年投资寻求更好的回报,数据分类和发现工具将越来越受欢迎,进一步推动了治理技术的发展。 云数据湖 =云数据锁定 我们已经谈到了基于云存储的数据湖的发展趋势。但事实是,这不是一个随机出现的有趣的上云案例,这是主要云供应商的中心卖点和销售策略。 在特定的云平台上,你存储的数据越多,你就会在这个平台上针对这些数据做更多的工作,包括但不限于数据准备,分析,预测建模和模型训练(在高端的gpu加速虚拟机上)。云之战是数据存储之战,赢家可能会让你深陷其中。 容器革命 大家都知道,基于Docker的容器技术在数据中心和软件开发领域正在改变一切。这种变革影响巨大且不容小觑。 但是您是否知道数据和分析世界中也在发生着类似的变化?这很难说,因为尽管这种转变不太明显,但它是真实发生的: MapR已经通过其PACC(持久应用客户端容器)重新定位了融合数据平台 云提供商利用容器技术更快地部署节点,并促进更多资源共享 -从而使临时集群看起来更持久 Hadoop最近刚刚发布了3.0版本,它很快就会支持在Docker容器中运行YARN资源管理器,从而使Hadoop作业代码的依赖项可以根据集群中每个节点上安装的代码而不同。 越来越清楚的是,每个软件供应商,其产品都依赖于其他软件的基础版本,都逐渐意识到容器可以消除版本冲突问题 -为他们和他们的客户。 下一步,做决定 对大趋势进行识别和预测是非常有趣的。那些行业中发生的具体而突出的变化,以及供应商和客户追求的策略,可以帮助您制定自己的发展计划,他们为您的决定提供了依据:你今年要做什么,你不会做什么,以及你合理期待的结果。对于像数据分析这样的创新热点,您需要不断规划您的方案并进行大笔投注,但您也需要采取一定的保障措施。我们希望并相信这七个趋势分析可以帮助您做到这两点。

优秀的个人博客,低调大师

MagicMongoDBTool数据管理工具使用介绍

MagicMongoDBTool工具是一款MongoDB的数据库管理工具,用来进行简单的数据库管理工作。使用前,请先启动MongoDB数据库。 cd C:\runmongo\bin mongod -- port28030 --dbpath C:\mongodb\magicdict 这里我们指定了端口号28030 和 数据库路径,一般可以作为Windows服务启动MongoDB或者通过Dos启动MongoDB。 然后我们打开工具,建立一个新的数据库连接 最简单的设置连接只需要 连接名称【系统管理需要,并非MongoDB需要】,Ip地址和端口号。工具的左边是服务器,数据库,数据集视图,点击相应的数据库对象可以查看切换数据库对象: 你还可以实时查看各个数据库和服务器的状态: 集群扩展只有在副本Replset或者分片系统Sharding中有统计信息 工具使用3种视图开展示数据,树形展示,列表展示,文本展示 先看看简单的数据的展示: 树形视图将直观的展示数据的结构。当数据和普通的Relationship表格相同时,表格视图是最佳的方案。文本视图则可以看到原始的BSON文档。 当然,工具还可以展示一些复杂的,嵌套的数据结构: 对于数据,还可以使用工具来帅选表示字段,设定排序和过滤条件 利用GFS(GridFileSystem)你可以方便的将文件存放在MongoDB中:[工具提供上传,下载MongoDB文件功能] 使用MapReduce功能,可以进行MapReduce操作 通过副本管理器,可以方便的管理Replset服务器的增减 本文转自 wws5201985 51CTO博客,原文链接:http://blog.51cto.com/wws5201985/742534,如需转载请自行联系原作者

优秀的个人博客,低调大师

【游客必看】 博主所有文章目录

大家好,我是阿韦。欢迎用来到我的简书博客。下面是博客目录,按写作顺序排序如下: 01. 关于提高软件开发知识的建议 02.关于烂代码的那些事 – 评价代码优劣的方法 03.简单几行代码让ViewPager实现垂直滑动效果 04.Zxing二维码扫描和那些坑 05.万能的dialog库(包括类似popwindow效果) 06.封装工厂类创建BottomNavigationBar的addItem 07.RxJava 详解 08.实现Android主流网络框架封装,可无缝侵入切换框架 09. Android Studio使用Vector创建矢量图并加载 10.使用友盟分享和登陆以及使用时要注意的坑 11.优化Android Studio/Gradle构建 12.自定义ViewPager实现3D画廊效果 13.深入理解什么是RESTful API? 14.【全面总结】侧滑菜单的5种实现方式 15.自定义ProgressBar(一) 16.2017年你绝对想尝试的25个新安卓库(持续更新中...) 17.一次使用Kotlin实现酷炫多选操作的尝试 18.国内大公司开源的安卓有关的库(持续更新中...) 19.Android M Launcher3主流程源码浅析 20.Android应用坐标系统全面详解 21.10分钟学会ikvStockChart制作K线图(股票走势图) 22.深度学习js与Android的交互以及WebView的那些坑 23.快速在线制作json接口,从此写项目引入接口就简单多了 24.gson解析assets目录下的json文件(给新手看的) 25.模仿安卓源码,手写过时的方法兼容低版本 26.谈谈模板方法设计模式的使用 27.教你如何最快写出酷炫的dialog对话框 28.程序员的江湖,黑话一定要牢记 29.JNI源码分析 (并实现JNI动态注册) 30.开发工具总结(1)之图文并茂全面总结上百个AS好用的插件 31.Kotlin 语言下设计模式的不同实现 32.重构并没有你想象的那么简单 33.程序员谨防加班猝死之十大建议 34.开发工具总结(2)之Android Studio3.0填坑指南 35.那些年遇到的后台返回的奇葩json数据 36.Android适配全面总结(一)----屏幕适配 37.Android适配全面总结(二)----版本适配 38.Android适配全面总结(三)----ROM适配 39.一个十几年程序员给所有新老程序员的忠告 40.推特开源的Serial,轻量级,快速的json解析框架 41.老程序员的10条中肯建议 42.Android插件化开发核心类ClassLoader相关详解 43.Android仿简书长按文章生成图片效果 44.开发工具总结(3)之Git及GitHub快速入门图文全面详解 45.开发工具总结(4)之全面总结Android Studio2.X的填坑指南 46.一行代码快速解耦Application逻辑,让Application更简洁好维护 47.开发工具总结(5)之Markdown语法图文全面详解 48.开发工具总结(6)之被大多人忽略的Android Studio的模板配置4种方式(使用详解) 49.【提升技能必备】这几本Android高级进阶的好书值得一看 50. 【面试经验】"火眼金睛"识别公司招聘中给你埋下的那些“坑” 51. 开发工具总结(7)之多年珍藏的Android开发必备网站和工具 待续。。。

优秀的个人博客,低调大师

DBeaver 21.0.3 发布,可视化数据管理平台

DBeaver 21.0.3 现已发布。DBeaver是一个免费开源的通用数据库工具,适用于开发人员和数据库管理员。 主要更新内容 改进了对夜间主题的支持 Data viewer 增加了格式配置编辑器 过滤器对话框增加了额外配置 按固定的列排序(适用于较小的提取尺寸) 增加了不区分大小写的过滤器支持 纯文本视图现在支持顶部/底部分隔线 数据编辑器已修复(当列名与别名冲突时) 修复了多个选定行的重复行命令 增加了列自动大小配置 字典查看器已修复(只读连接) 增加了对当前选择行的高亮支持(可配置) 元数据搜索现在支持在注释中搜索 GIS/Spatial 增加了对带有 Z 和 M 坐标的几何图形的支持 Postgis:修复了 3D 几何列的 DDL 增加了对Presto + MySQL几何类型的支持 BigQuery 现在支持空间数据查看器 改进了对二进制 geo json 的支持 SQL editor 修复了对象名称中带空格时的自动补全功能 修复了数据库对象超链接的渲染问题 SQL Server:添加了MFA(多因素身份验证)支持 详情请查看更新公告。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册