【MaxCompute】基于Package跨项目访问资源实践-低调大师

【MaxCompute】基于Package跨项目访问资源实践

2023-05-23 865

背景

目前随着公司业务的不断扩展，各个业务线的数据也越来越多，如果所有数据都集中管理比较错综复杂。MaxCompute的跨项目访问资源比较适合这样的场景。每个业务线创建对应的project，自行管理数据。如果有需要访问其他业务线数据的诉求，可以基于Package实现数据共享的诉求，下面我们来介绍下基于Package实现跨项目访问资源的具体操作，本文以共享自建udf函数为例。

前期准备

MaxCompute项目projectA 和 projectB，详情参考新建MaxCompute项目；
子账号 A（projectA开发环境任务发布人），详情参考子账号创建；
子账号 B（projectA生产环境任务执行人，可为主账号或权限较高的子账号）；
子账号 C（projectB跨项目访问人）；
projectA准备udf所有的jar包、表和函数，详情参考 MaxCompute udf。

步骤

账号权限明细

子账号 A（projectA开发环境任务发布人）：普通开发人员
子账号 B（projectA生产环境任务执行人）：除主账号外权限最高的管理者
子账号 C（projectB跨项目访问人）：普通开发人员，详情参考权限管理

步骤一：子账号A 创建package任务并发布生产

登录DataWorks 数据开发，创建SQL节点，创建package任务，详情可参考 ODPS SQL节点。

修改项目责任人（如果有专人执行生产任务可执行此步骤）

在数据开发页面，单击业务流程后的图标，进入任务列表页面。
修改责任人

提交发布任务
提交

发布

可在发布列表中查看

步骤二：子账号B 执行生产任务

1.子账号B登录DataWorks运维中心，周期任务运维 - 周期任务，详情可参考 DataWorks运维中心。

2.子账号B执行任务

右键任务 - 测试，详情可参考周期任务运维

选择业务日期

查看运行结果

步骤三：子账号C 使用package

1.主账号或管理员（Super_Administrator 或者 Admin）登录 projectB，安装package 并允许子账号C 访问 package，详情可参考基于package跨项目访问资源。

2.子账号C 登录 projectB，进行package访问

查看package的资源列表

使用udf函数

【 MaxCompute发布免费试用计划，为数仓建设提速 】新用户可0元领取5000CU*小时计算资源与100GB存储，有效期3个月。 立即领取>>

微信关注我们

原文链接：https://my.oschina.net/u/5583868/blog/8883454

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DPDK内存碎片优化，性能最高提升30+倍!

原文链接点击 DPDK内存碎片优化，性能最高提升30+倍! 背景 DPDK（Data Plane Development Kit）是一个用于高性能数据包处理的开源项目，常用于构建各类高性能网络应用。基于 DPDK 的设计思想及其提供的线程/内存模型，SPDK(Storage Performance Development Kit)被开发出来，广泛用于构建各类高性能存储应用。为了提升应用程序的性能，DPDK 基于大页内存实现了一套自己的内存管理接口，这些内存接口被广泛应用于SPDK/DPDK 的各类应用中，而且不少应用会在 IO 路径中进行内存的分配与释放。DPDK 常用的内存接口有： void *rte_malloc(const char *type, size_t size, unsigned align); void *rte_realloc(void *ptr, size_t size, unsigned int align); void rte_free(void *ptr); 在实际使用过程中，我们发现 DPDK 原生的内存分配接口在一些场景下有着较大的性能问题。本文将结合...

2023-05-23

622

yidocs-auto 作用 vitepress 导航栏和侧边栏自动生成工具无需手写侧边栏和顶部导航栏配置！！！谁开发的官网 https://yicode.tech yicode（易编程）系列软件开发生态，全部由陈随易自 2019 年维护至今。致力于为中小企业、外包公司、软件工作室和个人开发者，提供技术规范、项目模板、效率工具等。效果实际效果，请浏览易文档 https://doc.yicode.tech 查看。本文档的顶部导航和左侧目录，均为自动生成。截图安装以下方式，根据自己的情况，任选一种 npm install @yicode/yidocs-auto -D pnpm add @yicode/yidocs-auto -D yarn add @yicode/yidocs-auto -D 使用参考如下案例即可 import { defineConfig } from 'vitepress'; import { docsAuto } from '@yicode/yidocs-auto'; let { sideBar, navBar ...

2023-05-23

481

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。