搜索[AI聚合]结果-低调大师优秀个人博客

精选列表

搜索[AI聚合]，共10004篇文章

Loki 1.0.0 发布，基于 Grafana 的日志聚合系统

Loki 是Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。

2019-11-20

如何在Spark中实现Count Distinct重聚合

背景 Count Distinct是SQL查询中经常使用的聚合统计方式，用于计算非重复结果的数目。由于需要去除重复结果，Count Distinct的计算通常非常耗时。

2019-10-28

Python全栈 Web（Flask框架、CRUD、聚合分组）

模型： # 根据现有的表结构构建模型类 class Users(db.Model): __tablename__ = "users" id = db.Column(db.Integer,primary_key=True) username = db.Column(db.String(80),unique=True) age = db.Column(db.Integer) email = db.Column(db.String(120),unique=True) def __init__(self,username,age,email): self.username = username self.age = age self.emai

2018-09-26

EF架构~为分组添加位运算聚合方法

我们知道在Linq里的分组groupby可以对集合中一个或者多个字段进行分组，并对其中一个属性进行聚合，而Linq为我们提供了多种聚合方法，由aver,sum,count等，而在大叔权限体系中，以上几种聚合是不够的

2017-12-04

Hive自定义UDF和聚合函数UDAF

Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为metastore的数据库中。可以在hive的外壳环境中直接使用dfs访问hadoop的文件系统命令。 Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。Hive中有3种UDF： UDF：操作单个数据行，产生单个数据行； UDAF：操作多个数据行，产生一个数据行。 UDTF：操作一个数据行，产生多个数据行一个表作为输出。用户构建的UDF使用过程如下：第一步：继承UDF或者UDAF或者UDTF，实现特定的方法。第二步：将写好的类打包为jar。如hivefirst.jar. 第三步：进入到Hive外壳环境中，利用add jar /home/hadoop/hivefirst.jar.注册该jar文件第四步：为该类起一个别名，create temporary function mylength as 'com.whut.StringLength';这里注意UDF只是为这个Hive会话临时定义的。第五步：在select中使用mylength(); 自定义UDF 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 package whut; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; //UDF是作用于单个数据行，产生一个数据行 //用户必须要继承UDF，且必须至少实现一个evalute方法，该方法并不在UDF中 //但是Hive会检查用户的UDF是否拥有一个evalute方法 public class Strip extends UDF{ private Text result= new Text(); //自定义方法 public Text evaluate(Text str) { if (str== null ) return null ; result.set(StringUtils.strip(str.toString())); return result; } public Text evaluate(Text str,String stripChars) { if (str== null ) return null ; result.set(StringUtils.strip(str.toString(),stripChars)); return result; } } 注意事项： 1，一个用户UDF必须继承org.apache.hadoop.hive.ql.exec.UDF; 2，一个UDF必须要包含有evaluate()方法，但是该方法并不存在于UDF中。evaluate的参数个数以及类型都是用户自己定义的。在使用的时候，Hive会调用UDF的evaluate()方法。自定义UDAF 该UDAF主要是找到最大值 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 package whut; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; import org.apache.hadoop.io.IntWritable; //UDAF是输入多个数据行，产生一个数据行 //用户自定义的UDAF必须是继承了UDAF，且内部包含多个实现了exec的静态类 public class MaxiNumber extends UDAF{ public static class MaxiNumberIntUDAFEvaluator implements UDAFEvaluator{ //最终结果 private IntWritable result; //负责初始化计算函数并设置它的内部状态，result是存放最终结果的 @Override public void init() { result= null ; } //每次对一个新值进行聚集计算都会调用iterate方法 public boolean iterate(IntWritable value) { if (value== null ) return false ; if (result== null ) result= new IntWritable(value.get()); else result.set(Math.max(result.get(), value.get())); return true ; } //Hive需要部分聚集结果的时候会调用该方法 //会返回一个封装了聚集计算当前状态的对象 public IntWritable terminatePartial() { return result; } //合并两个部分聚集值会调用这个方法 public boolean merge(IntWritable other) { return iterate(other); } //Hive需要最终聚集结果时候会调用该方法 public IntWritable terminate() { return result; } } } 注意事项： 1，用户的UDAF必须继承了org.apache.hadoop.hive.ql.exec.UDAF； 2，用户的UDAF必须包含至少一个实现了org.apache.hadoop.hive.ql.exec的静态类，诸如常见的实现了 UDAFEvaluator。 3，一个计算函数必须实现的5个方法的具体含义如下： init()：主要是负责初始化计算函数并且重设其内部状态，一般就是重设其内部字段。一般在静态类中定义一个内部字段来存放最终的结果。 iterate()：每一次对一个新值进行聚集计算时候都会调用该方法，计算函数会根据聚集计算结果更新内部状态。当输入值合法或者正确计算了，则就返回true。 terminatePartial()：Hive需要部分聚集结果的时候会调用该方法，必须要返回一个封装了聚集计算当前状态的对象。 merge()：Hive进行合并一个部分聚集和另一个部分聚集的时候会调用该方法。 terminate()：Hive最终聚集结果的时候就会调用该方法。计算函数需要把状态作为一个值返回给用户。 4，部分聚集结果的数据类型和最终结果的数据类型可以不同。本文转自 zhao_xiao_long 51CTO博客，原文链接:http://blog.51cto.com/computerdragon/1288567

2017-11-11

《Spring ES实战》第7招聚合做搜索导航

用户搜“手机”，页面左侧立刻出现 Apple、Huawei、Xiaomi 的品牌数量，出现 1000-2000 元、2000-4000 元的价格区间，出现“5G 手机”“折叠屏手机”等分类数量。

2026-09-08

《Spring Mongo实战》第10招聚合不是SQL替身

我是老李。最近团队在做一个电商后台的报表模块，运营提了三个需求：按商品分类统计销售额、按品牌看价格区间、给商品算评分排行。听起来很标准，几位后端同事第一反应全是 SQL 里的 GROUP BY，想着把订单表 join 商品表再 group 一下。可我们的明细数据存在 MongoDB 里，订单子项是数组，分类和品牌又在商品文档里，有些评分数据还落在另一个集合。硬套 GROUP BY 的思路，要么在应用层循环拆数组，要么反复查库拼装，写出来的逻辑又长又重，数据量一上来就开始变慢。

2026-09-05

工业分析实战：分区并行与分布式聚合

先把问题摆出来。场景：振动测点数据攒了半年，约 20 亿行，要做一份季度统计——每台设备每天算一组特征指标（均值、峰值、超标时长）：

2026-08-21

上下文感知的聚合页广告优化实践

聚合页广告将商家和优惠信息以多种形式聚合展示给用户，是美团广告业务中一个重要的业务场景。

2025-03-03

Fizz Gateway 2.6.6 发布，聚合高并发问题修复

Fizz Gateway 是一个基于 Java开发的微服务聚合网关，是拥有自主知识产权的应用网关国产化替代方案，能够实现热服务编排聚合、自动授权选择、线上服务脚本编码、在线测试、高性能路由、API审核管理

2022-07-15

Fizz网关入门教程-快速聚合多接口

# 后端场景 1、替换应用层的聚合接口，减少应用层的胶水代码 2、快速生成透传数据类型的接口 3、数据转换和映射 # 快速聚合接口上面问题可通过Fizz网关的服务编排的聚合功能解决，简单说就是把前端页面要调用的多个接口改为由

2022-04-20

领域驱动设计(DDD)实践之路(三)：如何设计聚合

这是“领域驱动设计实践之路”系列的第三篇文章，分析了如何设计聚合。聚合这个概念看似很简单，实际上有很多因素导致我们建立不正确的聚合模型。本文对这些问题逐一进行剖析。

2020-05-14

elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)

管道聚合处理来自其他聚合而不是文档集的输出，将信息添加到输出树中。注：关于脚本聚合目前在本文中暂时不会涉及。

2019-09-04

使用Blink SQL+UDAF实现差值聚合计算

本案例根据某电网公司的真实业务需求，通过Blink SQL+UDAF实现实时流上的差值聚合计算，通过本案例，让读者熟悉UDAF编写，并理解UDAF中的方法调用关系和顺序。

2019-07-30

PostgreSQL pipelinedb 流计算插件 - IoT应用 - 实时轨迹聚合

标签 PostgreSQL , IoT , 轨迹聚合 , pipelinedb , 流计算 , 实时聚合背景 IoT场景，车联网场景，共享单车场景，人的行为位点等，终端实时上报的是孤立的位点，我们需要将其补齐成轨迹

2019-04-26

Spring Cloud微服务之 sleuth+zipkin日志聚合

1.简介（1）什么是服务追踪 Sleuth 在微服务架构中，要完成一个功能，通过Rest请求服务API调用服务来完成，整个调用过程可能会聚合多个后台服务器协同完成。

2019-03-24

函数计算+日志服务 -- Serverless监控指标聚合新玩法

一个可能的解法是在服务端做本地聚合，减少日志聚合的数量，然而这样的做法会丢失掉原始日志中详细的信息，不便于日后单请求问题的调查，并不完美。

2019-03-02

Emulex着眼数据中心LAN与SAN的聚合

许多存储和网络厂商都积极致力于在数据中心内聚合LAN和SAN以降低管理独立网络和交换机、路由器、线缆以及其他设施相关的复杂性和成本。

2017-08-08

路由聚合到底在聚合什么，为什么 8 个 C 类网络可以在路由表里只写一行

更让人困惑的是，原来这 8 个网络并没有消失，计算机也还是分布在各自的网络里。既然如此，一条路由怎么可能代替八条路由？

2026-09-06

万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系

Hbase只有一个简单rowkey的倒排索引，缺少列索引，所有的查询和聚合只能依赖于rowkey，很难解决聚合的性能问题。

2017-10-31

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。