首页 文章 精选 留言 我的

精选列表

搜索[AI生态系],共10000篇文章
优秀的个人博客,低调大师

大数据(一) - hadoop生态系统及版本演化

大数据系列文章汇总链接 - 更新到15篇 HDFS:分布式存储系统(Hadoop Distributed File System):提供了高可靠性、高扩展性和高吞吐率的数据存储服务 HDFS源自于Google的GFS论文 (发表于2003年10月),是GFS克隆版YARN:资源管理系统(Yet Another Resource Negotiator):负责集群资源的统一管理和调度,Hadoop 2.0新增系统,使得多种计算框架可以运行在一个集群中MapReduce:分布式计算框架:具有易于编程、高容错性和高扩展性等优点 MapReduce源自于Google的MapReduce论文 (发表于2004年12月),是Google MapReduce克隆版 Hive:由facebook开源,基于MR的数据仓库,数据计算使用MR,数据存储使用HDFS,Hive 定义了一种类 SQL 查询语言——HQL:类似SQL,但不完全相同 日志分析:统计网站一个时间段内的pv、uvPig:由yahoo!开源,构建在Hadoop之上的数据仓库 Mahout:数据挖掘库,基于Hadoop的机器学习和数据挖掘的分布式计算框架,实现了三大类算法 :推荐(Recommendation) 、聚类(Clustering) 、分类(Classification)HBase:分布式数据库,源自Google的Bigtable论文 ,发表于2006年11月 ,是Google Bigtable克隆版Zookeeper:分布式协作服务,源自Google的Chubby论文 ,发表于2006年11月 ,是Chubby克隆版 解决分布式环境下数据管理问题 :统一命名 、状态同步 、集群管理 、配置同步Sqoop:数据同步工具,大数据学习交流扣 qun 74零零加4yi3八1连接Hadoop与传统数据库之间的桥梁 ,支持多种数据库,包括MySQL、DB2等 ,插拔式,用户可根据需要支持新的数据库 ;本质上是一个MapReduce程序Flume:日志收集工具,Cloudera开源的日志收集系统Oozie:作业流调度系统 目前计算框架和作业类型繁多:MapReduce Java、Streaming、HQL、Pig等 如何对这些框架和作业进行统一管理和调度: 不同作业之间存在依赖关系(DAG); 周期性作业 定时执行的作业 作业执行状态监控与报警(发邮件、短信等) Hadoop发行版本 apache hadoop版本 CDH:Cloudera DistributedHadoop http://archive.cloudera.com/cdh5/cdh/ HDP:Hortonworks Data Platform http://zh.hortonworks.com/hdp/downloads/建议选择公司发行版(不必面临版本某一个框架的选择问题),比如CDH或HDP ,推荐使用CDH(国内主流版本) 更易维护和升级 经过集成测试,不会面临版本兼容问题

优秀的个人博客,低调大师

普遍加密和数据权限生态系统初步形成

【WatchStor独家译文】多年以来,IT经理一直致力于确保数据在网络传输和保存到磁盘的过程中是经过加密的——不过是在数据中心、NAS或者在独立工作站中。为了更好地管理数据,一些企业尝试创建所谓的“信任区域”以不同等级的敏感性来处理数据。 Spire Security研究总监Pete Lindstrom表示:“这些方法从长期角度来讲是不奏效的,因为数据是持续被用户访问、迁移和复制的。” 当然,Lindstrom的意思并不是说用户不应该访问和使用企业数据,他认为,这些加密和数据安全策略的缺点实际上在于用户必须通过解密来访问和使用这些数据。然后这些数据可能会经常被随意迁移到USB驱动器、个人笔记本电脑甚至是发送给某人的电子邮件中。像PGP、BitLocker for Windows和开源TrueCrypt这样的桌面加密工具需要用户完成很多步骤,做很多个与数据相关的决策。 IT服务提供商Unisys首席安全架构师Christofer Hoff表示:“当人们不得不对数据分类的时候,他们将所有数据都作为高度机密数据,或者将所有数据都标记为非敏感疏忽据,这也是企业机构不断遭遇数据泄露和数据丢失事件的原因之一。” 不过,Data Leak Protection (DLP)、Digital Rights Management (eDRM)软件与文件管理和企业内存管理应用的整合以及向操作系统和网络协议的集成意味着企业将能够创建一个安全架构,其中对信息的加密和访问权限将随着数据流迁移而迁移。 以前像Authentica(已经被EMC收购)、Liquid Machines和其他一些厂商已经在这方面有所动作,承诺让企业控制对文件的不同访问权限,例如谁可以查看、打印或者传送信息。虽然这对许多企业机构都很有用处,但是仍然需要等待IT基础架构中所需技术的就绪。 有分析师认为,现在已经有迹象反映了这些发展趋势。EMC在2006年通过收购Authentica来完善自己的Documentum平台,微软将eDRM功能直接集成到Microsoft Office SharePoint Server 2007内容管理和整合软件中。而最近RSA Security(EMC旗下的安全部门)和微软之间的合作也更加印证了这一趋势。通过合作,微软将集成RSA的DLP Suite 6.5到微软Windows Server 2008的Active Directory Rights Management Services中。另外,Liquid Machines和McAee也宣布建立合作管理,将McAfee的DLP管理平台与Liquid Machines的eDRM平台结合起来。 Lindstrom认为,内容管理平台与eDRM的整合将帮助企业更好地分配对数据的控制权限。他说:“(加密或者应用安全策略)最具挑战性的数据就是用户生成的数据,因为用户必须自己对这些数据进行分类。但是如果你创建了一个中央存储库和一个认证源(例如Sharepoint和Documentum中的认证源),你就可以实施这些应用策略。这样,当数据在企业机构内部或者外部共享的时候,你就可以实施对这些数据的安全策略。” 遗憾的是,为了普遍适用访问权限和对工作文件实施加密加密,当数据被嵌入到企业机构工作流的时候需要自动启动数据分类功能——而不是在生成之后附加到文件,或者只有在登陆或退出内容管理系统的时候启动数据分类功能。确保eDRN能够达到这一更高等级是获得普遍权限管理的最后一道障碍。Hoff表示:“人们不喜欢将所有策略都添加到他们的工作流程中,即使是一个非常微小的添加步骤他们也会极力反对。我们真正需要的普遍分类数据的智能方法,而不是对其进行标记,然后应用策略和例行决策来控制信息的安全性和可管理性。” 虽然现在还没有一项技术能够完美地实现这一目标,但是像Documentum和Sharepoint中的eDRM功能这样的应用正在朝着这个方向不断完善。Hoff表示:“我们还将看到其中一些技术被捆绑到微软操作系统中,这也是微软的一项长期计划。” 虽然要实现一个针对动态文件分配访问权限和安全策略的安全架构还需要几年的时间,但是Lindstrom和Hoff都认为现在企业用户应该将更多的注意力放在DLP和eDRM上。 Hoff指出:“目前这些解决方案还没有最终完成开发,我们还处于最初的应用阶段,但是应用曲线是非常乐观的。当你看到大型的生命周期管理技术集成了这项技术,也就意味着,独立软件厂商将可能开发出能够实现这一目标的解决方案。”【WatchStor独家译稿,未经许可禁止转载。合作伙伴请注明原作者及出处为WatchStor.com】 来源:51CTO

优秀的个人博客,低调大师

pgSCV 0.14.1 发布,PostgreSQL 生态系统指标收集器

pgSCV 0.14.1 现已发布。自 pgSCV v0.13.0 以来,新版本实现了许多新功能并修复了许多问题。以下是主要新功能的简短列表: 添加了从 pg_stat_ssl 收集统计信息的功能 (PostgreSQL 9.5+); 添加了从 pg_stat_subscription 收集统计信息的功能 (PostgreSQL 10+); 增加了对 pg_stat_io 中新列的支持 (postgres_stat_io_*_bytes); 更新 Grafana 仪表板(pgSCV 0.14.0 版) 更新 golang 和 alpinelinux; 更多详情可查看:https://github.com/CHERTS/pgscv/releases

优秀的个人博客,低调大师

pgSCV 0.13.0 发布,PostgreSQL 生态系统指标收集器

pgSCV 0.13.0 现已发布,实现了许多新功能并修复了一些问题。主要更新内容如下: 添加了从 pg_stat_slru (PostgreSQL 13+) 收集统计信息; 添加了从 pg_stat_io (PostgreSQL 16+) 收集统计信息; 增加了对 PostgreSQL 18 的初始支持; 增加了多 multi targets metrics 支持和 Prometheus 服务发现; 增加了并发限制; 在/targetsendpoint 中添加了自定义标签支持; 增加了 throttling 支持; 增加了对云管理数据库的发现和监控支持(目前仅支持 Yandex.Cloud); 更多详情可查看:https://github.com/CHERTS/pgscv/releases

优秀的个人博客,低调大师

pgSCV 0.7.0 发布,PostgreSQL 生态系统指标收集器

pgSCV 0.7.0 正式发布,更新内容如下: 更新: 增加对 Patroni 的支持; 增加 Patroni 指标与 Patroni 2.1.0 中引入的内置指标的兼容性; 增加 TLS 支持; 增加基本认证; 在每次调用收集器之前发现 postgres 设置。Postgres 设置描述了 Postgres 的属性,如版本、数据和 WAL 块大小、pg_stat_statements 的位置等等,这些设置被收集器使用以调整指标收集。 移除查询规范化;在声明指标中使用queryid标签替代md5; 引入 ADR; 修正只用 ENV 变量配置时禁用自动发现的问题; 修正文件系统挂起时的指标收集; 更多详情可查看:https://github.com/weaponry/pgscv/releases/tag/0.7.0

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册