搜索[AI产设研一体]结果-低调大师优秀个人博客

精选列表

搜索[AI产设研一体]，共10000篇文章

高性价比数据库一体机怎么选？附选型实战避坑指南

上个月，朋友老李找我诉苦。他们公司核心交易系统跑了三年，最近订单量翻了五倍，数据库响应直接从50毫秒飙到2秒以上。老板给预算加硬件，他一口气买了两台高配服务器，结果性能提升不到15%，故障排查反而更头疼了。

2026-07-28

Gitee 软件工厂新范式：高安全、强协同、快交付，一体化研发全打通

软件工厂通过构建「标准化工具链」、「自动化流程」与「安全体系」于一体的研发平台，实现端到端的高效研发。其核心目标在于提升协作效率、缩短交付周期，并确保软件质量。

2025-11-03

Apache Doris 3.0 里程碑版本｜存算分离架构升级、湖仓一体再进化

3.0 版本是 Apache Doris 在湖仓一体演化路线上的重要里程碑版本。

2024-10-16

构建一体化云原生安全防御体系，京东云云原生安全平台重磅发布

直击痛点打造一体化防护每年的京东6.18、11.11都会面临高并发、大流量的技术挑战。

2023-09-05

硅格半导体加入 openKylin，打造存算一体和存算互联解决方案！

硅格半导体为行业客户提供以自研芯片为内核的高可靠存储器产品和存储解决方案，产品覆盖消费级、企业级、工业级、汽车级应用。

2023-04-27

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构

福建纵腾网络有限公司（简称“纵腾集团”）成立于 2009 年，以“全球跨境电商基础设施服务商”为企业定位，聚焦跨境仓储与物流，为全球跨境电商商户、出口贸易企业、出海品牌商提供海外仓储、商业专线物流、定制化物流等一体化物流解决方案

2023-02-08

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

思必驰于 2019 年首次引入 Apache Doris ，基于 Apache Doris 构建了实时与离线一体的数仓架构。

2022-10-10

一体机支持使用硬件设备国密加密，JumpServer 堡垒机 v2.26.0 发布

基于该版本的JumpServer一体机支持使用硬件设备的国密加密。认证方面，新版本的JumpServer支持用户自定义认证逻辑，满足了一部分企业用户使用独特认证方式的需求。

2022-09-19

ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索

会上，袋鼠云大数据引擎开发专家莫问精心准备了一场主题为「袋鼠云开源框架基于数仓的一体化建设探索」的分享，通过“如何围绕数仓一体化建设进行探索”，“引进开源框架后如何解决建设难题”、“开源框架能够带来的收益

2022-09-08

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

主要内容包括：湖仓一体概述移动云LakeHouse实践应用场景 01湖仓一体概述 1.

2022-09-06

湖仓一体雷声大雨点小？这三点需要关注

本期单口开源我们请到马进来和大家聊一聊 “湖仓一体”。马进：网易数帆大数据实时计算技术专家湖一体项目负责人大家好，我是来自网易数帆的马进，今天跟大家聊聊湖仓一体。

2022-08-31

开源交流丨批流一体数据集成框架ChunJun数据传输模块详解分享

课件获取：关注公众号“ChunJun”，后台私信 “课件” 获得直播课件视频回放：点击这里 ChunJun开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__ 技术交流钉钉 qun：30537511 本期我们带大家回顾一下六六同学的直播分享《ChunJun数据传输模块介绍》。一、ChunJun数据类型转换 1、类型转换解决的问题大家一听到「ChunJun数据类型转换」这个概念，可能会联想到上下游之间进行数据交互时会涉及到的隐式转换。如果上游和下游数据类型一致，则不需要对数据进行任何干预，直接进行下发即可。但是大多数情况下会涉及到两个问题，一是上游的数据源类型和下游的数据源类型不一致。比如MySql的varchar类型要写到HdfsOrc文件里的string类型的话，在上游的表示是varchar，在下游的表示是string，但实际上中间段java的类型都是string。另外一种情况则是，上下游之间不止数据源类型不一样，数据类型也不一样，除了要做类型的映射之外，还需要对数据本身进行改动。比如，MySql的date类型要写到下游timestamp类型，我们需要进行的操作是把date中的毫秒级的时间戳拿出来，转换成timestamp的类型，再往下游去写。这样就引出了一个问题，如何建立所有数据源类型之间的映射/转换关系？下面将为大家解答这个问题。 2、类型映射概览 • client端：在Factory类中通过RawConverter类建立映射关系 • source端：将数据封装成AbstractBaseColumn • sink端：通过AbstractBaseColumn中的转换方法将数据转换成对应类型 ChunJun目前支持的数据类型映射关系图如下： 3、类型映射详解以Timestamp为例，如果要写入到Long类型的话，根据上文展示的ChunJun数据类型映射关系图，最终映射到TimestampColumn中，具体流程如下图：上面这个例子描述的是一个单独的字段，正常情况下，会处理多个字段，这时的类型映射详解情况如下图： as方法就是数据类型转换的方法。使用这个机制之后，在下游可以只关心需要的数据类型，增加开发效率。二、ChunJun数据传输过程了解完ChunJun数据类型转换后，我们来为大家分享ChunJun的数据传输过程。 1、上下游数据传输方式在ChunJun中进行同步作业，有两种情况，一是算子链打开的情况，上游的Source和下游的Sink会被合并成一个task，有同一个线程去做调度；二是把算子链进行关闭，Source和Sink各自形成一个task，也有各自的线程去进行调度。在算子链打开的情况下，上下游数据传输方式可分为两种，对象重用和拷贝。 ● 对象重用 · 上下游数据传输使用方法调用的形式，将上游产生的数据的对象引用直接交给下游 · 上下游算子需要形成算子链，作业开启对象重用 · env.getConfig().enableObjectReuse(); ● 拷贝 · 上游传输给下游的数据，需要经过一次深拷贝 · 上下游算子需要形成算子链算子链的好处是可以减少序列化的操作，那么为什么我们还要引入序列化呢？因为ChunJun的特殊性。ChunJun同步作业的话，只有上下游两个算子，且都对接了正式的数据源，读写的时候会导致线程堵塞。因此上限由网络io决定，如果断开算子链，cpu会在一端线程阻塞的时候切换到另外一端。在序列化的性能较高时，线程上下文切换带来的性能下降完全可以被弥补。经过测试，序列化的性能比对象重用和拷贝高30%左右。 ● 序列化 · 上下游数据传输依赖于网络传输。上游数据进行序列化成byte数组后进行网络传输，下游收到数据后需要进行反序列化 · 上下游之间不形成算子链知道要做序列化后，会产生一些思考，带着这些疑问，接着往下看。 • 序列化和反序列化在什么时候发生？ • Flink支持哪些序列化？ • 序列化是怎么做的？ • 怎么找到适合的序列化方式？ • 如何实现自定义的序列化？ 2、序列化传输过程下图是ChunJun在进行序列化操作时的数据传输链路图： 3、DataOutView 4、TypeInformation介绍 5、kryo序列化&BaseSerializer 同样是序列化一个int对象，对kryo来说，首先需要知道它的类型，然后从高位到低位依次去写入。 DataOutputView则是直接调用一个writeInt的方法，写一句关键代码即可： UNSAFE.putInt( this.buffer, BASE_OFFSET + this.position, v); 三、ChunJun序列化实现 1、ColumnRowData序列化过程 ColumnRowData序列化过程采取标志位+实际数据的方式，具体流程如下图：相对于kryo的序列化来说： · 实现了更密集的存储 · 兼容null值 · 减少了不必要的数据传输 2、BinaryRowData结构因为数据区一格只占8个字节，且每个index只能占到一位，所以肯定存在一些没法存储在8字节范围之内的数据，可变长度部分就是用来存放数据区无法存放的数据。 3、BinaryRowData-setNull操作看到上文的null值判断区，有些同学可能会好奇这是什么，又是怎么进行操作的。下图将对一个下标为11的数据去做setnull操作，进行简单介绍： 4、BinaryRowData数据存储方式袋鼠云开源框架钉钉技术交流群（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack

2022-08-24

基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享

原文链接：基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享课件获取：关注公众号** “数栈研习社”，后台私信 “ChunJun”**获得直播课件视频回放：点击这里 ChunJun

2022-06-30

湖仓一体天花板，大数据一站式SQL分析技术实践

（一）背景早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。

2022-01-06

阿里提出大数据架构新概念：湖仓一体

阿里云湖仓一体整体架构针对第五章提出的湖仓一体的三个关键问题，MaxCompute实现了以下4个关键技术点。

2020-10-14

重磅|阿里云HBase Ganos全新升级，推空间、时空、遥感一体化基础云服务

1、HBase Ganos是什么 Ganos是阿里云时空PaaS服务的自研核心引擎。

2019-09-04

选型宝访谈：当超融合一体机，具备云计算的基因，将会怎样？

当超融合一体机，具备云计算的基因，将会带来哪些改变？超融合视角即用云的基因，让新一代超融合更健壮、性能更快、部署与运维更简单。

2019-08-14

大唐融合签约8Manage 项目一体化管理再度加持通信业

近日，大唐融合通信股份有限公司成功与8Manage签约，将上线8Manage客户关系管理和项目管理系统，实现客户、项目、合同一体化管理，提升企业运营管理效益。

2018-04-11

Oculus大会上的硬件惊喜：Touch尘埃落定，一体机蓄势待发

在本次Oculus Connect 3大会上，硬件方面， Oculus虽然没有带来新一代Rift的消息，但是其他相关外设的推出，以及VR一体机的研发目标，让我们看到Facebook对于VR的信心和期待。

2018-03-05

2026 DTCC 中国数据库技术大会：腾讯云数据库诊断 Agent 工程实践与自研底座 Engram

腾讯云在2026 DTCC大会分享了数据库诊断Agent工程实践与自研底座Engram。

2026-09-07

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。