搜索[Transformer架构]结果-低调大师优秀个人博客

精选列表

搜索[Transformer架构]，共10000篇文章

YARN-架构

标签（空格分隔）：大数据 YARN [toc] 原文：http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/YARN.html Hadoop下一代MapReduce（YARN） MapReduce在hadoop-0.23中经历了完整的革新，也就是引入了MapReduce 2.0（MRv2），俗称YARN。 MRv2的核心思想是将原来JobTracker的两个主要功能拆分，也就是将资源管理（resource management）和调度与监控（scheduling/monitoring)分离为两个daemon进程。其思想表现为持有一个全局的ResourceManager（RM）以及每个应用有一个ApplicationMaster（AM）。一个应用对应一个传统的MR

2017-04-25

PaaS架构解析

二、PaaS架构比较大致来看，PaaS的实现分为两种：以虚拟机为基础或是以容器为基础。前者的代表是AWS，后者的代表则是GAE, CloudFoundry和Heroku。

2017-01-15

HDFS的架构

主从结构主节点，只有一个: namenode 从节点，有很多个: datanodes 在版本1中，主节点只有一个，在版本2中主节点有两个。 namenode 负责(管理)：接收用户操作请求维护文件系统的目录结构管理文件与 block 之间的关系， block 与 datanode 之间关系 block 是文件分成的块， hdfs 中默认的 block 块的大小是64M ，实际的文件肯定会分很多块存储。 datanode 负责(存储)：存储文件文件被分成 block 存储在磁盘上为了保证数据安全，文件会有多个副本在MapReduce 执行计算任务的时候，计算任务的节点。 Hadoop 在存储文件的时候，文件会有多个副本。因为 Hadoop 是分布式的存储与计算平台，他使用的是廉价的服务器，廉价的服务器可能会发生故障，如果发生故障了，那么数据就不能用了， hadoop 为了提高系统的安全性，对数据进行了冗余存储，默认情况下数据的副本是 3. 比如 10G的电影，实际在HDFS中存放的大小不是10G ，而是 30G 。而在具体数据访问的时候，namenode 会根据不同的 datanode 具体的状况，这种状况包括他的存储空间、繁忙情况、内存等等从三个副本中选出一个副本去使用，另外两个副本就是空闲状态。当这个副本出现问题的时候就会切换到另外一个副本。当然切换回去之后，这个出问题的副本可以得到恢复（与其他副本同步）。从客户端（java、命令端、其他语言开发的终端….）提交的数据到 namenode , namenode 这时就会看整个集群中的 datanode 中谁属于空闲，谁可用，都会有自己的算法 (关于算法可以从源码的方向上进行理解), 然后确定把数据存储在哪几台机器上，然后这些客户端就会直接和这些 datanodes打交道，把数据直接交给具体的数据节点。当然数据节点在存储数据的过程中，肯定会有一些日志信息(管理与block之间的关系、block与datanode之间的关系)，每一次集群启动的时候，datanode都会把元数据信息（关于 datanode内部怎么组织的）报告给 namenode，这样namenode 才能知道 datanode 具体是怎么组织的然后才能够管理。开始做，坚持做，重复做

2016-11-27

MapReduce 的架构

主从结构主节点，只有一个 : JobTracker ,JobTracker 一般情况下，运行在 namenode 这台机器上。从节点，有很多个 : TaskTrackers , 部署在剩下的 datanode 上。这里谈的 JobTracker 、TaskTrackers 都是 JVM。 JobTracker 负责：接收客户提交的计算任务计算任务：肯定是一段代码---你要怎么操作我的数据。把计算任务分给TaskTrackers 执行监控TaskTracker的执行情况我把任务分配给你了，能否分配成功？失败怎么办？工作的进度？工作的结果？如果出现了这些问题，MapReduce都会透明的帮我们解决掉这些问题。假如被分配到任务的 TaskTracker 不能够顺利的完成任务，JobTracker会透明的把任务切换到另外一台虚拟机上。但是这种切换我们是感觉不到的，这就是用框架的好处，我们写 java 的人只需要关注业务逻辑。 TaskTrackers 负责：执行JobTracker分配的计算任务开始做，坚持做，重复做

2016-11-27

理解Docker架构

啥是Docker的架构？ Docker使用一个客户端服务器架构。Docker客户端和Docker守护进程交流，Docker守护进程做非常重要的工作，构建，运行和分发你的Docker容器。

2016-07-01

滴滴打的架构

实时计算与监控我们基于Storm和HBase设计了自己的实时监控平台，分钟级别实时展现系统运行状况和业务数据（架构如图2所示），包含以下几个主要部分。

2016-01-12

Hadoop系统架构

一、Hadoop系统架构图 Hadoop1.0与hadoop2.0架构对比图 YARN架构: ResourceManager –处理客户端请求 –启动/监控ApplicationMaster –监控NodeManager

2015-10-09

「架构技术专题」架构核心指标之可扩展架构设计的三要素（4）

业界对于可扩展的系统架构设计有一个朴素的理念,就是：通过加机器就可以解决容量和可用性问题这一理念在“云计算”概念疯狂流行的今天，得到了广泛的认可！

2018-07-19

2026，架构新时代元年：模型即架构，工具即系统

从去年DeepSeek炸圈让我彻底掉进AI大坑到现在，再到过春节，就整整一年了，我试过让AI画图、做ppt、写书、写脚本，最终投入精力最大的还是自然语言编程，也就是离我的饭碗——企业架构最接近的应用方向

2026-07-10

人人都是架构师-清晰架构 | 京东物流技术团队

前言了解清晰架构之前需要大家先熟悉以下常见架构方案： EBI架构(Entity-Boundary-Interactor Architecture) 领域驱动设计(Domain-Driven Design

2023-07-12

Tomcat架构设计剖析 | 博学谷狂野架构师

Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令，主要有两大类，一类是以.sh结尾的（linux命令），另一类是以.bat结尾的（windows命令）。

2023-03-23

Dubbo架构设计与源码解析（一）架构设计

作者：黄金一、架构演变单应用架构 ----> 垂直架构 ----> 分布式架构 ----> 微服务架构 ----> 云原生架构二、Dubbo总体架构

2022-12-19

刚哥谈架构（三）软件架构的道与术

软件架构之‘道’ 我个人认为，软件架构之道最核心的问题是解决复杂性的问题。如果说‘道’是方向，那么软件架构之路应该带领码农走向简单。

2019-09-07

刚哥谈架构（二）我眼中的架构师

回头，我不免又要唠叨两句，“同学们，没文化，很可怕，我是架构师 architect，不是架构 architcture” 就像我上次跟大家聊的一样，人是架构要解决的核心问题之一，那么说“人暨架构”，似乎也是有些道理

2019-08-24

基于大数据的舆情分析系统架构 - 架构篇

前言互联网的飞速发展促进了很多新媒体的发展，不论是知名的大V，明星还是围观群众都可以通过手机在微博，朋友圈或者点评网站上发表状态，分享自己的所见所想，使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦，传播速度远超我们的想象。可以在短短数分钟内，有数万计转发，数百万的阅读。如此海量的信息可以得到爆炸式的传播，如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。大数据时代，除了媒体信息以外，商品在各类电商平台的订单量，用户的购买评论也都对后续的消费者产生很大的影响。商家的产品设计者需要汇总统计和分析各类平台的数据做为依据，决定后续的产品发展，公司的公关和市场部门也需要根据舆情作出相应的及时处理，而这一切也意味着传统的舆情系统升级成为大数据舆情采集和分析系统。分析完舆情场景后，我们再来具体细化看下大数据舆情系统，对我

2019-05-29

支付宝架构师眼中的高并发架构

服务器架构业务从发展的初期到逐渐成熟，服务器架构也是从相对单一到集群，再到分布式服务。

2019-04-12

成为架构师不可错过的Java架构学习笔记

手写mybatis框架推荐一个交流学习群，里面会分享一些资深架构师录制的视频录像：有Spring，MyBatis，Netty源码分析，高并发、高性能、分布式、微服务架构的原理，JVM性能优化这些成为架构师必备的知识体系

2018-12-06

超融合架构与传统三层架构的对比

【大咖・来了第7期】10月24日晚8点观看《智能导购对话机器人实践》超融合架构将虚拟化计算和存储整合到同一个系统平台。

2018-03-08

系统架构师-基础到企业应用架构-服务层

一、上章回顾上篇我们主要讲解了系统架构中的四种架构模式，并且分析了四种架构模式的实现及应用场景，那么先来回顾下架构中的业务逻辑层的使用及总结。

2017-12-24

系统架构师-基础到企业应用架构-分层[上篇]

6、系列进度 7、下篇预告四、分层模式 4.1、分层架构介绍架构首先是分为不同层次的和不同视图的，例如架构有五种视图：逻辑视图、物理视图、数据视图、运行视图、开发视图。

2017-12-19

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。