首页 文章 精选 留言 我的

精选列表

搜索[端侧大模型],共10000篇文章
优秀的个人博客,低调大师

MaxCompute大数据实践,电商数据仓库选择雪花还是星型模型?

作者:王永伟 规范化和反规范化 当属性层次被实例化为一系列维度,而不是单一的维度时,此模式被称为雪花模式。大多数联机事务处理系统(OLTP)的底层数据结构在设计时采用此种规范化技术,通过规范化处理将重复属性移至其自身所属的表中,删除冗余数据。 此种方法用在OLTP系统中可以有效避免数据冗余导致的不一致性。比如在OLTP系统中,存在商品表和类目表,且商品表中冗余有类目表的属性字段,假设对某类目进行更新,则必须更新商品表和类目表,且由于商品和类目是一对多的关系,商品表可能每次需要更新几十万甚至上百万条记录,这是不合理的。而对于联机分析处理系统(OLAP),数据是稳定的,不存在OLTP系统中存在的问题。 对于淘系商品维度,如果采用雪花模式进行规范化处理,将表现为如下形式: 将维度的属性层次合并到单个维度中的操作称为反规范化。分析系

优秀的个人博客,低调大师

设备采集数据断网补传怎么做:边缘端断点续传的序号、去重与时间戳设计

结论:断网补传的关键不是“把缓存重发一遍”,而是给每条数据一个单调递增的序号和采集时间戳,让云端能够幂等去重、按序回填,并识别缺口。 一、问题场景 车间网络偶尔中断几分钟到几小时,边缘网关继续采集并写入本地缓存。网络恢复后如果直接重发,常见后果是重复数据、乱序、实时看板被旧数据覆盖。 二、消息结构设计 每条消息建议包含:设备ID、点位ID、值、质量位、采集时间戳(设备或网关时钟,UTC)、网关序号(每网关单调递增,重启持久化)、上报时间戳、补传标记。云端以“网关ID+序号”作为幂等键。 三、补传流程 1. 本地缓存按序号顺序落盘,记录“已确认序号”游标。 2. 上报后收到云端ack才推进游标,未ack的重发。 3. 恢复连接时,先发送最新实时数据,再用低优先级通道回填历史,避免实时延迟。 4. 回填限速,防止一次性冲击云端;建议按批次(如每批几百条)并带批次序号。 5. 云端依据序号发现缺口(序号不连续)并请求重传。 四、时钟与乱序 网关与PLC时钟不一致时,补传数据的时间戳会错位。做法:网关定期NTP校时,记录校时偏差;业务看板用“采集时间”排序,用“补传标记”区分是否实时。聚合统计(如产量、OEE)需要对迟到数据支持重算窗口。 五、常见坑 1. 序号在网关重启后清零,导致云端误判重复,应持久化或加入启动纪元号。 2. 缓存满后覆盖策略不明,建议优先保留关键点位、丢弃高频低价值点位并记录丢弃数量。 3. 只在云端去重而没有ack,重发风暴。 FAQ MQTT QoS选几?补传场景用QoS1配合幂等键,QoS2开销较大且仍需业务去重。 缓存放多久?按断网最长时长与采样频率估算容量,再留余量。 补传会影响实时看板吗?分通道、限速即可。 质量位还要保留吗?要,补传不应改变数据当时的质量判定。 本文由AI辅助整理,为通用技术思路,请结合实际环境验证。

优秀的个人博客,低调大师

政企信创办公场景:终端加密系统选型四大维度评估指南

摘要:政企单位推进信创改造与数据安全体系建设过程中,终端文档防护是数据防泄漏的基础环节。在国产化软硬件环境下遴选终端加密系统,不能仅关注加密功能本身,还需要兼顾信创生态兼容、底层技术架构、安全能力配套、落地交付可行性。本文从评估维度入手,梳理选型过程中的核心考察要点,为政企安全管理人员开展方案评估提供参考思路。

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册