搜索[元数据管理]结果-低调大师优秀个人博客

精选列表

搜索[元数据管理]，共10000篇文章

2017云计算产业规模将超2500亿元

《2017上半年通信业研究报告》中指出，2017云计算产业规模超过2500亿元，同比增长30%。

2017-07-26

《Hadoop技术详解》一2.5 管理文件系统元数据

2.5 管理文件系统元数据 NameNode将文件系统的元数据以不同的文件保存在本地磁盘中，其中最重要的两个文件是fsimage和edits。

2017-05-01

企业主数据管理MDM：搭建统一数据底座，赋能数字化精益运营

主数据管理（MDM）作为企业数据治理的核心基础模块，能够通过标准化、全周期、体系化的管理机制，统一物料、客户、组织、财务等核心数据口径，实现数据集中管控、质量优化与全域共享。

2026-09-22

（二）新一代数据湖仓开发命名规范：构建清晰高效的数据管理体系

《新兴数据湖仓设计与实践手册：数据湖仓与 DataOps 开发规范（2025）》是一份面向数据工程师、数据架构师与企业数据团队的系统性实践指南，全面总结了当下湖仓一体架构在企业落地过程中的关键设计方法、开发规范与工程经验。本手册不仅覆盖项目规划、权限体系、工作流编排、ETL 与实时/离线融合开发模式，也结合 WhaleStudio 与 DolphinScheduler 的实际能力，为读者提供可在真实生产环境中直接复用的架构与流程参考。手册第一部分重点聚焦 ETL 与 DataOps 开发架构设计，从项目与权限规划、湖仓分层与工作流的组织结构，到批流一体任务设计、开发/生产环境隔离策略、逻辑任务最佳实践等，构建了一个完整的端到端数据处理体系。本文为手册第二部分，将重点放在数据湖仓开发命名规范上，涵盖项目、工作流等多方面，阐述命名格式、示例及原因，遵循清晰性等原则，可提升数据任务稳定性与协作效率。 2.1 项目命名规范命名规范定义项目名称应体现项目的业务范围、系统模块或数据主题，具备唯一性。格式建议：业务领域_项目类型。命名规范举例销售分析：Sales_Analysis 客户管理：数据分析部_客户管理主题为什么这么命名清晰表达业务范围：明确项目所属的业务领域，便于快速识别。支持快速搜索：规范的命名便于在复杂系统中快速定位项目。统一格式便于集成：同一系统内的项目命名一致，便于开发、运维和上下游集成。 2.2 工作流命名规范命名规范定义工作流名称应直观反映其执行的功能、涉及的数据层次及对应的时间周期。格式建议：层级_功能_数据主题可以使用标签功能来辅助定义工作流，例如，小时级，某层级来作为名字的补充，标签可以进行筛选，更容易探查工作流的情况。注意，不一定每个工作流都有标签，可以只标签哪些需要特殊筛选的工作流。命名规范举例 ODS层订单数据抽取：ODS_Extract_Orders，标签是Daily DW层指标计算：DW_Calculate_Metrics_Weekly，标签是DW层 ADS层销售报表生成：ADS_Generate_Reports_Daily 为什么这么命名层级与功能明确：通过命名反映工作流所在数据仓库的层级及核心功能。支持自动化管理：命名统一有助于脚本和工具的批量操作。标签：用于快速筛选工作流减少歧义：直观的名称便于新成员快速理解系统。 2.3 工作流任务命名规范命名规范定义工作流任务名称应包含工作流名称的缩写、任务序号及功能描述。格式建议：层级_目标表名称。命名规范举例订单抽取任务：ODS_T01_ExtractOrders （其中T01_ ExtractOrders是表名，01是主题域编号，T代表表，具体可以参考本手册第二部分表命名规范）销售数据清洗：DW_T02_CleanSales 指标计算任务：DW_T03_CalculateMetric 2.4 数据集成任务命名规范命名规范定义数据集成任务名称需体现数据来源、目标系统及任务类型。格式建议：如果是多表：来源系统_目标系统_任务类型_时间周期。如果是单表同步，那么就是目标表_任务类型_时间周期命名规范举例 MySQL到HDFS的全量多表同步：MySQL_HDFS_FullSync_Daily FTP1到Delta Lake的增量多表同步：FTP1_Delta_Incr_Daily Oralce（X库）到Doris的实时CDC多表同步：Oracle_X_Doris_CDC 达梦(Client_info)到Starrocks（t01_client）批量增量单表同步：t01_client_Incr_ Daily 为什么这么命名来源与目标明确：通过名称直接了解数据集成的方向。任务类型清晰：区分全量、增量等同步方式，避免混淆。便于监控与管理：统一命名有助于告警和日志的快速识别。在WhaleStudio监控界面中，针对多表数据会明细到每一个表的同步状态，因此，不需要在命名规则上过多体现多表中每一个表的情况。 2.5 数据源命名规范命名规范定义数据源名称应反映系统名称、数据源类型及环境信息。格式建议：数据源引用名称，此处可以不用带数据源类型，因为数据源类型WhaleStudio有相关的图表和类型可以过滤筛选。命名规范举例开发环境的订单数据库：CRM_DB 生产环境的日志存储：LogStore 2.6 标签命名规范命名规范定义标签（Tags）是任务、工作流等资源的标记，用于分类管理、快速搜索和过滤。标签名称需简洁明了，反映其功能、业务属性或环境。格式建议：标签名称。命名规范举例按周日领域：小时级、月级一般默认天级就不用标签过滤了按使用部门/业务：财险、寿险、运营部、经济业务按系统：风控、数仓、数据湖按优先级：高优先级任务：Priority_High 2.7 脚本及其它资源命名规范命名规范定义脚本及其他资源应按对应的功能或者目标表名称命名，避免混淆。脚本格式建议：目标表名称.后缀。其它功能建议：功能名称命名规范举例数据清洗SQL脚本：T01_ODS_CleanOrders.SQL 任务定时器配置：DW_每日第0批定时为什么这么命名快速定位资源：通过命名快速了解脚本和资源的用途。保持关联性：脚本名称与工作流或任务对应，便于维护。以上命名规范涵盖了项目、工作流、任务、数据集成任务、数据源、脚本及资源和标签的设计要点，旨在为数据仓库开发提供一个清晰、标准化的命名体系。这些规范通过统一格式和明确结构，不仅提高了系统的可读性和可维护性，还在资源管理、任务调度和团队协作等方面提供了便利。核心原则清晰性：命名应直观表达资源的功能、用途或属性，便于快速识别和理解。一致性：所有资源的命名格式保持统一，避免混乱，利于自动化管理和批量操作。扩展性：命名规则应支持未来的业务需求，通过规范结构实现动态扩展。简洁性：名称应尽量简洁，在保证含义完整的前提下控制长度。 👉👉 下篇预告：数据湖仓工作流开发规范

2025-12-18

1月23日云栖精选夜读：一张图解读阿里云数据管理DMS企业版

阿里云数据管理DMS企业版，作为数据管理产品大家族里的新成员，于2017年11月开启公测，今年1月底正式发布商业化版本。

2018-01-22

数据管理DMS重磅发布：测试数据构建，不仅仅是姓名、邮箱、手机号

阿里云数据管理DMS 测试数据构建功能（试用版）已于9月底发布，目前试用版支持MySQL数据库，提供随机、自定义、逻辑依赖、枚举4种生成方式，如姓名、手机号、邮箱等常用数据类型都可以直接生成，全程UI点击完成

2017-09-12

百川智能完成 50 亿元融资，国内第三家估值 200 亿元大模型独角兽

百川智能已于近期完成了A轮融资，总融资金额达50亿元人民币，并且将以200亿估值开启B轮融资。

2024-07-26

阿里云服务器活动，2核4G 1.4折，仅需19元/月，更有1000元代金券等你领

阿里云服务器入门型2核4G 带宽:1M固定带宽系统盘:40G 高效云盘；节点包含华北1、华北2、华北3、华东1、华东2、华南1、香港；价格 ¥ 269/1年 ¥ 499/2年 ¥ 699/3年每月低至19元，

2018-08-30

AI 读的不是文字，是“碎片“——Token（词元）完全图解

前几天有个朋友问我："为什么我用 DeepSeek 写中文，花的钱比写英文多？"另一个朋友更离谱：让 AI 数 strawberry 里有几个 r，AI 居然数错了。这些看似不相关的问题，背后都指向同一个东西——Token。

2026-09-24

有限元分析中常见的几个错误点汇总

有限元分析（FEA）作为 CAE 仿真领域的核心技术，已经在众多工程行业落地应用，是产品设计迭代、结构性能校核的重要数字化工具。

2026-09-16

DeepSeek Flash 系列降价落地：缓存输入 0.02 元、最高降幅 60%

Flash 系列降价公告挂上开放平台，从明天中午开始，deepseek-v4-flash 和 deepseek-v4-flash-vision-exp 两款模型一起调价，缓存命中输入直接砍到 0.02 元/

2026-09-09

拆解DeepSeek Harness（二）：Cordis 元框架与可组合性

这正是 Cordis 元框架要解决的问题。

2026-08-19

Abaqus 有限元完整分析流程

有限元法是求解复杂力学模型的高效数值手段，伴随计算机技术高速迭代，该方法现已深度普及于各类工程场景。市面上现有多款商用有限元仿真软件，各产品依托自身技术优势适配不同行业仿真需求。

2026-07-28

腾讯混元API调用实践：认证、流式输出与错误重试

本文以腾讯混元大模型为例，介绍从认证、SDK集成、流式输出、结构化响应到错误处理的完整工程实践。适合需要构建AI数据采集或监测系统的开发者参考。

2026-07-24

芯原股份：今年新签订单已达146.53亿元！

7月16日晚间，国产半导体IP大厂芯原股份发布了《关于新签订单的自愿性披露公告》，宣布公司公司2026年 4 月 30 日至 2026 年 7 月 16 日新签订单进一步增长，达到64.13 亿元。

2026-07-17

快来，某鱼卖199元的Codex皮肤工具已开源～

这两天 Codex 更新了新版本，居然可以设置皮肤了。不得不感慨实在太 666 了。

2026-07-17

豆包专业版正式上线，标准套餐连续包月 68 元

豆包专业版采用三级阶梯定价方案：标准套餐：连续包月 68 元，包括免费版的所有权益，接入 2.1 Pro 模型，办公任务、专家模式等功能为免费版5倍以上额度。

2026-06-24

智元发布 Motion-Between BFM-2 运动基座模型

智元宣布正式推出全球首个端到端 Motion-Between BFM-2 运动基座模型。

2026-05-25

一季度 AI 领域融资超 1100 亿元

5月，月之暗面、阶跃星辰等国产大模型拿下超过300亿元融资。具身智能同样受到市场关注，一周内维他动力、鹿明机器人等接连斩获数亿元融资。

2026-05-25

腾讯开源全新 AI 大模型混元 Hy3 preview

腾讯混元 Hy3 preview 语言模型已发布并开源。这是一个快慢思考融合的混合专家模型，总参数 295B，激活参数 21B，最大支持 256K 上下文长度。

2026-04-24

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。