搜索[技术架构]结果-低调大师优秀个人博客

精选列表

搜索[技术架构]，共10008篇文章

SpringBoot2整合Thymeleaf，官方推荐html解决方案

不是直接反射到Java对象,Jva对象通过插件式对象封装,以变量方式在模板中显示你可以使用抽象(接口)方式表示对象( Java bean、XM文档、sL查询结果集等等),告诉模板开发者使用方法,使其不受技术细节的打扰

2025-09-05

Doris安装

产品介绍 Apache Doris是一款基于MPP架构的高性能,实时分析型数据库.

2025-12-13

用户画像系统的技术架构和整体实现

这里讲解下用户画像的技术架构和整体实现，那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现(个人见解)。

2017-07-31

医疗健康大数据服务平台技术架构

医疗健康大数据服务平台总体架构如下图所示。图医疗健康大数据服务平台总体架构如上图所示，医疗健康大数据服务平台分为资源层、服务层和展现层。

2017-07-19

浅析阿里数据新能源技术架构（上）

技术、数据和算法三个方面结合在一起，才可以把数据真正用起来。大家都知道，Google的数据量是很大的，但是它的数据源本身其实比较单一。

2017-07-03

「架构技术专题」9种高性能高可用高并发的技术架构（5）

所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行灯一系列问题与挑战。为此，在实践中提出了许多解决方案，以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。

2018-07-22

2026数字孪生走向空间智能，技术架构怎么变

过去几年，数字孪生项目里经常能看到这样的技术架构：三维模型 + GIS + IoT数据 + 可视化平台。项目做完之后，可以在一个三维场景里查看建筑、道路、设备，也可以把实时数据挂到对应的空间对象上。

2026-09-08

直流照明系统：核心原理与技术架构全面解析

在建筑智能化、低碳节能改造快速推进的当下，照明系统作为建筑能耗占比极高的基础配套，正在经历从传统交流照明到直流照明的技术迭代。

2026-09-01

认证考核引擎技术架构与智能评估算法

本文将从技术架构和评估算法两个维度，深入探讨认证考核引擎的设计与实现方案。

2026-08-12

陪玩管理系统的技术架构，通常怎么拆

开头先说结论：如果从公开功能来反推，陪玩管理系统更像一套“交易 + 社交 + 运营”的组合系统，而不是单纯的派单工具。

2026-07-28

AI智能体的技术架构与解决方案

相比于传统软件，AI智能体是一个新兴事物，技术架构和解决方案仍处在高速迭代中。所以，本文章将重点放在理清AI智能体相关的技术脉络，而非具体技术实现。

2025-06-14

每日一博 | 语雀桌面端技术架构实践

本次主要介绍我们在做桌面端时的一些技术架构思考和实践，同时也将分享我们沉淀的一些通用桌面应用解决方案和经验。

2022-09-24

Deco 编辑器开放性技术架构解析

3.技术方案设计参考— 3.1 system.js + single-spa 微前端框架基于以上前端业务架构分析，在进行技术方案设计的时候，不难第一时间想到微前端的方案。

2021-12-16

.Net微服务实战之技术架构分层篇

.Net微服务实战之技术架构分层篇一拍即合上一篇《.Net微服务实战之技术选型篇》，从技术选型角度讲解了微服务实施的中间件的选择与协作，工欲善其事，必先利其器，中间件的选择是作为微服务的基础与开始，也希望给一直想在

2020-04-15

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。在大数据生态圈中，HDFS是最重要的底层分布式文件系统，它的稳定性关乎整个生态系统的健康。本文介绍了HDFS相关的重要监控指标，分享指标背后的思考。一、HDFS监控挑战 HDFS是Hadoop生态的一部分，监控方案不仅需适用HDFS，其他组件如Yarn、Hbase、Hive等，也需适用 HDFS API提供的指标较多，部分指标没必要实时采集，但故障时需能快速获取到 Hadoop相关组件的日志，比较重要，如问题定位、审计等监控方案不仅能满足监控本身，故障定位涉及指标也应覆盖二、Hadoop监控方案 Hadoop监控数据采集是通过HTTP API，或者JMX。实际中，用到比较多的产品主要有：CDH、Ambari，此外，还有部分工具，如Jmxtrans、HadoopExporter(用于Prometheus)。 CDH是一款开源的集部署、监控、操作等于一体的Hadoop生态组件管理工具，也提供收费版(比免费版多提供数据备份恢复、故障定位等特性)。CDH提供的HDFS监控界面在体验上是非常优秀的，是对HDFS监控指标深入发掘之后的浓缩，比如HDFS容量、读写流量及耗时、Datanode磁盘刷新耗时等。 CDH提供的HDFS监控界面 Ambari与CDH类似，同样是开源工具，但它的扩展性要比较好，另外，它的信息可以从机器、组件、集群等不同维度展现，接近运维工程师使用习惯。 Ambari提供的HDFS监控界面如果使用CDH，或者Ambari进行HDFS监控，也存在实际问题：对应的Hadoop及相关组件版本不能自定义不能很好的满足大规模HDFS集群实际监控需求其他工具，如Jmxtrans目前还不能很好适配Hadoop，因此，实际的监控方案选型为：采集：HadoopExporter，Hadoop HTTP API(说明：HDFS主要调用http://{domain}:{port}/jmx) 日志：通过ELK来收集、分析存储：Prometheus 展现：Grafana，HDFS UI，Hue 告警：对接京东云告警系统三、HDFS监控指标 1、主要指标概览 HDFS主要监控指标概览 2、黑盒监控指标基本功能文件整个生命周期中，是否存在功能异常，主要监控创建、查看、修改、删除动作。查看时，需校对内容，有一种方式，可以在文件中写入时间戳，查看时校对时间戳，这样，可以根据时间差来判断是否写超时切记保证生命周期完整，否则，大量监控产生的临时文件可能导致HDFS集群垮掉 3、白盒监控指标 1)错误 Block丢失数量采集项：MissingBlocks 如果出现块丢失，则意味着文件已经损坏，所以需要在块丢失前，提前预判可能出现Block丢失风险(通过监控UnderReplicatedBlocks来判断)。不可用数据节点占比采集项：在BlockPlacementPolicyDefault.java中的isGoodTarget定义了选取Datanode节点策略，其中有两项是“节点是否在下线”、“是否有足够存储空间”，如果不可用数量过多，则可能导致选择不到健康的Datanode，因此，必须保证一定数量的健康Datanode。选取可用Datanode时部分判断条件错误日志关键字监控部分常见错误监控(主要监控Exception/ERROR)，对应关键字： IOException、NoRouteToHostException、SafeModeException、UnknownHostException。未复制Block数采集项：UnderReplicatedBlocks UnderReplicatedBlocks在数据节点下线、数据节点故障等均会产生大量正在同步的块数。 FGC监控采集项：FGC 读写成功率采集项： monitor_write.status/monitor_read.status 根据Block实际读写流量汇聚计算，是对外SLA指标的重要依据。数据盘故障采集项：NumFailedVolumes 如果一个集群有1000台主机，每台主机是12块盘(一般存储型机器标准配置)，那么这将会是1万2000块数据盘，按照机械盘平均季度故障率1.65%(数据存储服务商Backblaze统计)计算，平均每个月故障7块盘。若集群规模再扩大，那么运维工程师将耗费很大精力在故障盘处理与服务恢复上。很显然，一套自动化的数据盘故障检测、自动报修、服务自动恢复机制成为刚需。除故障盘监控外，故障数据盘要有全局性解决方案。在实践中，以场景为维度，通过自助化的方式来实现对此问题处理。基于场景实现的Jenkins自助化任务 2)流量 Block读、写次数采集项：采集Datanode数据进行汇聚计算。网络进出流量采集项：node_network_receive_bytes_total/ node_network_transmit_bytes_total 没有直接可以使用的现成数据，需要通过ReceivedBytes(接收字节总量)、SentBytes(发送字节总量)来计算。磁盘I/O 采集项：node_disk_written_bytes_total/ node_disk_read_bytes_total 3)延迟 RPC处理平均时间采集项：RpcQueueTimeAvgTime 采集RpcQueueTimeAvgTime(RPC处理平均时间)、SyncsAvgTime(Journalnode同步耗时)。慢节点数量采集项：SlowPeerReports 慢节点主要特征是，落到该节点上的读、写较平均值差距较大，但给他足够时间，仍然能返回正确结果。通常导致慢节点出现的原因除机器硬件、网络外，对应节点上的负载较大是另一个主要原因。实际监控中，除监控节点上的读写耗时外，节点上的负载也需要重点监控。根据实际需要，可以灵活调整Datanode汇报时间，或者开启“陈旧节点”(Stale Node)检测，以便Namenode准确识别故障实例。涉及部分配置项： dfs.namenode.heartbeat.recheck-interval dfs.heartbeat.interval dfs.namenode.avoid.read.stale.datanode dfs.namenode.avoid.write.stale.datanode dfs.namenode.stale.datanode.interval 4)容量集群总空间、空间使用率采集项：PercentUsed HDFS UI花费了很大篇幅来展现存储空间相关指标，足以说明它的重要性。空间使用率计算包含了处于“下线中”节点空间，这是一个陷阱。如果有节点处于下线状态，但它们代表的空间仍计算在总空间，如果下线节点过多，存在这样“怪象”：集群剩余空间很多，但已无空间可写。此外，在Datanode空间规划时，要预留一部分空间。HDFS预留空间有可能是其他程序使用，也有可能是文件删除后，但一直被引用，如果“Non DFS Used”一直增大，则需要追查具体原因并优化，可以通过如下参数来设置预留空间： dfs.datanode.du.reserved.calculator dfs.datanode.du.reserved dfs.datanode.du.reserved.pct 作为HDFS运维开发人员，需清楚此公式：Configured Capacity = Total Disk Space - Reserved Space = Remaining Space + DFS Used + Non DFS Used。 Namenode堆内存使用率采集项： HeapMemoryUsage.used/HeapMemoryUsage.committed 如果将此指标作为HDFS核心指标，也是不为过的。元数据和Block映射关系占据了Namenode大部分堆内存，这也是HDFS不适合存储大量小文件的原因之一。堆内存使用过大，可能会出现Namenode启动慢，潜在FGC风险，因此，堆内存使用情况需重点监控。实际中，堆内存使用率增加，不可避免，给出有效的几个方案：调整堆内存分配建立文件生命周期管理机制，及时清理部分无用文件小文件合并使用HDFS Federation横向扩展尽管这些措施可以在很长时间内，有效降低风险，但提前规划好集群也是很有必要。数据均衡度采集项： HDFS而言，数据存储均衡度，一定程度上决定了它的安全性。实际中，根据各存储实例的空间使用率，来计算这组数据的标准差，用以反馈各实例之间的数据均衡程度。数据较大情况下，如果进行数据均衡则会比较耗时，尽管通过调整并发度、速度也很难快速的完成数据均衡。针对这种情况，可以尝试优先下线空间已耗尽的实例，之后再扩容的方式来实现均衡的目的。还有一点需注意，在3.0版本之前，数据均衡只能是节点之间的均衡，不能实现节点内部不同数据盘的均衡。 RPC请求队列的长度采集项：CallQueueLength(RPC请求队列长度)。文件数量采集项：FilesTotal 与堆内存使用率配合使用。每个文件系统对象(包括文件、目录、Block数量)至少占有150字节堆内存，根据此，可以粗略预估出一个Namenode可以保存多少文件。根据文件与块数量之间的关系，也可以对块大小做一定优化。下线实例数采集项：NumDecommissioningDataNodes HDFS集群规模较大时，实时掌握健康实例说，定期修复故障节点并及时上线，可以为公司节省一定成本。 5)其他除上述主要指标外，服务器、进程JVM、依赖服务(Zookeeper、DNS)等通用监控策略也需添加。四、HDFS监控落地 Grafana仪表盘展现：主要用于服务巡检、故障定位(说明：Grafana官方提供的HDFS监控模板，数据指标相对较少)。 HDFS部分集群Grafana仪表盘 ELK-Hadoop：主要用于全局日志检索，以及错误日志关键字监控。 ES中搜索HDFS集群日志日志服务搜索HDFS集群日志 Hue、HDFS UI：主要用于HDFS问题排查与日常维护。五、HDFS案例案例1： DNS产生脏数据，导致Namenode HA故障。发现方式：功能监控、SLA指标异常故障原因：DNS服务器产生脏数据，致使Namenode主机名出错，在HA切换时，因找到错误主机而失败优化建议：DNS作为最基础服务，务必保证其数据正确与稳定，在一定规模情况下，切忌使用修改/etc/hosts方式来解决主机名问题，如果没有高可用的内部DNS服务，建议使用DNSMasq来搭建一套DNS服务器案例2：机架分组不合理，导致HDFS无法写入。发现方式：功能监控写异常偶发性告警故障原因：HDFS开启机架感知，不同分组机器资源分配不合理，部分分组存储资源耗尽，在选择Datanode时，找不到可用节点优化建议：合理分配各机架上的实例数量，并分组进行监控。在规模较小情况下，可用考虑关闭机架感知功能

2019-11-08

区块链(Block Chain) Hyperledger Fabric 1.0 技术架构详解

区块链的现状比特币可以说是区块链的第一个实践项目，而对于区块链的介绍资料却大多“言简意赅”，说到区块链大家相对熟悉的几个词可能是“数据不可篡改”、“公开链”、“分布式数据”、“共识机制”等，但是对于这种技术本身来说悲哀的是大多数参与比特币的用户并不是相信该技术的可靠性

2017-12-05

关于领域模型与技术架构的关系的思考

原文: 关于领域模型与技术架构的关系的思考人类社会的一切事物都是来源于对造物主智慧的学习，人类本身是不会创造任何东西的。外国新技术并不能作为软件架构的终极准则，因为老外也是人。

2017-12-04

9种高性能可用高并发的技术架构

1、分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。

2017-11-29

大型网站技术架构——核心原理与案例分析（三）

集群环境下，Session管理的主要方式： 1、Session复制适用于集群规模较小 2、Session绑定将来源于同一IP的地址，分配到固定的服务器 3、利用Cookie记录Session 缺点 Cookie受大小限制，如果关闭Cookie,访问就会受限。、 4、Session服务器将应用服务器状态分离、分离成有状态的Session服务器，无状态的应用服务器高可用服务的策略： 1、分级管理 2、超时设置 3、异步调用 4、服务降级、拒绝服务关闭功能 5、幂等性设计指应用调用服务失败后，会将调用请求重新发送到其他服务器，但是这个失败可能是虚假的失败。缺点，服务重复调用是无法避免的，因此必须在服务层保证服务重复调用和调用一次产生的结果相同，即服务具有幂等性。高可用的数据保证数据存储高可用的手段主要是数据备份和失效转移机制。数据备份是保证数据有多个副本，失效转移机制是保证当一个数据副本不可访问时，可以快速切换访问数据的其他副本。高可用数据有以下几层含义： 1、数据持久性 2、数据可访问性 3、数据一致性 CAP原理数据一致性（Consisency)： a、数据强一致：各个副本数据在物理存储中总是一致的 b、数据用户一致：即数据在物理存储中各个副本的数据可能不一致，但是终端用户访问时，通过纠错和校验机制，可以确定一个一致的且正确的数据返回给用户 c、数据最终一致、系统经过一段时间（比较短）的自我修复和修正，数据最终达到一致数据可用性（Avalibility) 分区耐受性（Patition) 数据备份: 冷备：热备：Master - Slave 失效转移 1、失效确认（心跳检测和应用程序访问失败报告） 2、访问转移 3、数据恢复高可用网站的软件质量保证： 1、网站发布集群中一部分的替换 2、自动化测试 3、预发布验证 4、代码控制 5、自动发布 6、灰度发布 7、网站运行监控（重点)

2017-10-31

大型网站技术架构——核心原理与案例分析（四）

网站的安全架构 1、网站的攻击与防御 1.1 XSS攻击即跨站点脚本攻击 1.2 注入攻击：SQL注入 OS注入 1.3 CSRF攻击 1.3 其他攻击和漏洞 2、信息加密技术及密钥安全管理

2017-10-31

大型网站技术架构——核心原理与案例分析（二）

网站高性能架构一、性能测试指标 1.1、响应时间 1.2、并发数指系统能够同时处理请求的数目，反映了系统的负载特性 1.3、吞吐量 TPS(每秒事务数） HPS(每秒HTTP请求数） QPS(每秒查询数

2017-10-30

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。