搜索[udf]结果-低调大师优秀个人博客

精选列表

搜索[udf]，共674篇文章

hive中UDF、UDAF和UDTF使用

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。

2017-11-21

MaxCompute UDF系列之全角转半角

效果如下： MaxCompute UDF代码如下： package com.yinlin.udf.dev; import com.aliyun.odps.udf.UDF; //import org.apache.commons.lang.StringUtils

2017-08-10

Spark UDF变长参数的二三事儿

在复杂业务逻辑中，我们经常会用到Spark的UDF，当一个UDF需要传入多列的内容并进行处理时，UDF的传参该怎么做呢? 下面通过变长参数引出，逐一介绍三种可行方法以及一些不可行的尝试...

2017-08-01

[Hive]Hive自定义函数UDF

编写一个UDF，需要继承UDF类，并实现evaluate()函数。在查询执行过程中，查询中对应的每个应用到这个函数的地方都会对这个类进行实例化。对于每行输入都会调用到evaluate()函数。

2016-11-19

通过 WASM 实现优雅高效的 TiDB UDF

24 小时极限开发交付的完美 UDF **UDF 作为一款用户自定义函数引擎，可以让用户编写复杂的自定义函数执行逻辑，并在数据库上直接进行计算。

2021-01-26

Python on MaxCompute之UDF操作命令行

FUNCTION <function_name> AS <package_to_class> USING <resource_list>; 说明： function_name：UDF

2017-12-20

Hive中实现group concat功能（不用udf）

Hive中实现group concat功能（不用udf） Sql代码 hive> desc t; OK id string str string Time taken: 0.249

2017-11-01

通过MaxCompute Studio创建UDF的简单介绍

UDF(User Defined Function), MaxCompute(原ODPS) 里的东西, 之前经常听到开发同学讲, 自己一直没有去接触, 最近因为项目需要, 调研了一下UDF, 本文简单地介绍了一下如何新建工程

2017-08-14

一，前面的话表和列的统计信息对CBO的结果有着极大地影响，能够高效和准确的收集统计信息是极其重要的。但高效和准确是矛盾的，更准确的统计信息往往需要更多的计算，我们能做的是在高效和准确之间找到更好的平衡。接下来的内容是关于目前在ComputeColStats中用的一些近似算法。二，收集的内容目前针对列主要会收集以下统计信息：cntRows ：列中总数据个数，包括nulll值avgColLen ：列的平均长度maxColLEN ：列的最大长度minValue ：列的最小值maxValue ：列的最大值numNulls ：列中null值个数numFalses ：如果boolean型，false值的个数numTrues ：如果boolean型，true值的个数countDistinct ：不同值的个数topK ：topk值的个数，数据倾

2017-07-23

揭秘OSS实战优化、UDF追求极致之路

用户自定义计算(UDF) 对于像支付宝等追求极致的应用，会有一些特殊的需求。

2017-02-27

MaxCompute Studio提升UDF和MapReduce开发体验

MaxCompute Studio 为开发者提供了良好的开发体验，支持项目空间浏览、SQL 脚本开发，UDF开发和调试，作业执行状态展示等功能，本系列将逐一展开进行介绍。

2016-10-20

云计算大会有感—MapReduce和UDF

(转载请注明出处：http://blog.csdn.net/buptgshengod) 1.参会有感首先还是非常感谢CSDN能给我票，让我有机会参加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票（看到网上卖一千多一张呢）。还是得从国家会议中心说起，两年前lz曾经在那当过IDF的志愿者，当时是纯体力劳动，负责给参会人员发一些杂志什么的，当时苦逼的为了多蹭一个盒饭躲到柜子后面直到开饭。真没想到两年后可以以来宾的身份参加国家会议中心的大会（虽然午餐还是苦逼的盒饭吧），这次真的可以走进主会议场聆听专家们的报告。说实话，一进主会议场看到几千个码农，都是差不多的装扮，真的有点小震撼。听了几个院士和运营商老总的报告，最震撼的还是微软副总裁王亚勤先生的演讲，感觉挺震撼的。不得不说微软就是微软（

2014-05-22

如何在 Apache Flink 1.10 中使用 Python UDF?

这意味着您可以从现在开始用 Python 编写 UDF 并扩展系统的功能。

2020-03-03

Spark 2.4.0编程指南--Spark SQL UDF和UDAF

Spark 2.4.0编程指南--Spark SQL UDF和UDAF 更多资源 github: https://github.com/opensourceteams/spark-scala-maven

2018-12-17

Hive自定义UDF和聚合函数UDAF

Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。Hive中有3种UDF： UDF：操作单个数据行，产生单个数据行； UDAF：操作多个数据行，产生一个数据行。

2017-11-11

ComputeColStats UDF中近似算法的介绍(续)

在前一篇文章的最后提到，对于准确率的提升是后续需要做的事情之一。接下来看看对于提升准确率，还有哪些事情可以做。一，回顾首先回顾下前一篇文章最后得到的结果，如下：执行时间先忽略，只看准确率。对于上面８个字段，有些在sample为２５（采样比例１／２５）的情况下还是相当准确的，比如odps_task_type，start_time；而有些则存在一定差距，比如project_name，fuxi_ceil_mem等；还有些存在比较大的差距，比如odps_inst_id，fuxi_avg_cpu。同样的采样算法，同样的估计算法，对于不同的数据会得到截然不同的结果。这种差异相信决大部分来自于数据本身。下面就从数据本身来看下到底差异是如何出现的。二，数据差异不同的字段存储的数据不同，不同数据可能会存在唯一值上的差异。比如说对于主键，比如说对于纬度直，两者肯定在DistinctValue的分布上肯定是完全不同的。 1，如果该字段为主键，那么RowCount（X轴）和DistinctValue（Y轴）关系类似下图：这是一条斜率为1的直线。对于这种情况，目前的算法肯定可以非常准确的估算出DistinctValue值。 2，如果该字段为纬度值（唯一值非常少），那么RowCount（X轴）和DistinctValue（Y轴）关系类似下图：随着RowCount的增加，DistinctValue也在增加，但到了某个点后DistinctValue基本保持不变。 3，如果该字段为一般字段，随着RowCount的增加而DistinctValue也缓慢增加，类似下图：三，数据差异导致的DistinctValue的计算误差？上面一部分列举了三种可能的RowCount和DistinctValue关系。第一种类型是比较简单的，也能很准确的估算出DistinctValue值。而对于第二种和第三种则要困难的多，从测试的结果来看是这样的。我们采样的前提是，采样算法能保证采样是随机的，每条数据被访问的几率是相同的。但实际上这样的前提是不存在的。这也是目前对第三种的估算也可能存在较大差异的原因。因为按道理来说，其实第三种我们也应该能很好的预估才对。目前的采样算法并不是随机的，数据本身分布对采样的结果影响极大。为了性能和实现起来简单，目前采样的算法是隔n条取1条的方式实现的，并不是真正意义上的随机采样。针对同一次估算过程，我尝试过不同的拟合回归算法，结果并没有特别的不同，问题并不是在算法上，而是在数据本身上。下面通过对存在较大误差的fuxi_avg_cpu来看下，不同的采样比例下的RowCount和DistinctValue关系的差异。上面几张图对下对比，能看得出来在不同的采样比例下图形的状态会有很大的变化。差异这么大的话想要比较准确的预估显然是不太现实的。四，总结目前看来DistinctValue估算的差异大部分原因是因为采样，想要提高准确率增加采样比例就可以了。而具体回归的算法，则没那么重要了。

2017-07-24

如何实现一个数据库的 UDF？图数据库 NebulaGraph UDF 功能背后的设计与思考

UDF 使用方法下面来讲讲 NebulaGraph UDF 的具体使用，如果你是用 NebulaGraph v3.5.0+ 版本的话，就可以按照以下方式使用 UDF 功能了。

2023-09-13

如何用 Wasm 为数据库增加 UDF 功能

Java 脚本式的 UDF。

2022-03-15

如何在 PyFlink 1.10 中自定义 Python UDF？

Python UDF 的发展趋势直观的判断，PyFlink Python UDF 的功能也可以如上图一样能够迅速从幼苗变成大树，为啥有此判断，请继续往下看… Flink on Beam 我们都知道有

2019-12-10

0011-如何在Hive & Impala中使用UDF

4.编译jar包前提条件是已配置Maven的环境变量，命令行进入工程目录，执行如下命令： mvn clean package 3.Hive使用自定义函数（UDF）将章节2中编译好的sql-udf-utils

2018-11-16

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。