首页 文章 精选 留言 我的

精选列表

搜索[分布式SQL],共10000篇文章
优秀的个人博客,低调大师

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

作者:周克勇,花名一锤,阿里巴巴计算平台事业部EMR团队技术专家,大数据领域技术爱好者,对Spark有浓厚兴趣和一定的了解,目前主要专注于EMR产品中开源计算引擎的优化工作。 背景和动机 SparkSQL多年来的性能优化集中在Optimizer和Runtime两个领域。前者的目的是为了获得最优的执行计划,后者的目的是针对既定的计划尽可能执行的更快。相比于Runtime,Optimizer是更加通用的、跟实现无关的优化。无论是Java世界(Spark, Hive)还是C++世界(Impala, MaxCompute),无论是Batch-Based(Spark, Hive)还是MPP-Based(Impala, Presto),甚至无论是大数据领域还是传统数据库领域亦或HTAP领域(HyPer, ADB),在Optimizer层面考虑的都

优秀的个人博客,低调大师

使用Azure Automation Hybrid管理本地SQL Server备份状态(一)

Azure Automation是一种云解决方案,可通过自动执行任务,为服务器提供所需的状态配置以及配置管理来帮助组织满足其基础结构和安全性要求。默认情况下,创建Azure自动化后,它将允许在Azure中执行脚本。但是某些组织希望能够在其他云和本地环境中自动化任务,那么此时Hybrid Worker工具是提供这种解决方案的关键。利用 Azure Automation Hybrid worker功能,既可以直接在托管角色的计算机上运行 Runbook,也可以对环境中的资源运行 Runbook,从而管理这些本地资源。 Runbook 在 Azure 自动化中进行存储和管理,然后发送到一个或多个指定计算机上运行。若要安装和配置 Windows 混合 Runbook 辅助角色,可使用两种方法。 官方建议的方法是使用自动化 Runbook 来彻底实现配置 Windows 计算机过程的自动化。 第二种方法使用分步过程来手动安装和配置角色。 在接下来的博客中我们会给大家介绍自动化安装的方式进行安装。部署要求:部署Azure Automation Hybrid worker的计算机需要满足如下需求:• Windows Server 2012 或更高版本。• Windows PowerShell 5.1 或更高版本(下载 WMF 5.1)。• .NET Framework 4.6.2 或更高版本。• 双核。• 4 GB RAM。• 端口 443(出站)创建Automation Account:说了这么多,下面我们一起看一下如何进行部署。首先,我们需要创建一个Automation账户,登录Azure Portal-->创建资源-->管理工具-->Automation:设置Automation账户的名称、资源组以及位置:创建完成,如下图所示: 创建Log Analytics因为在部署Hybrid Runbook Worker时需要指定OMSResourceGroupName和WorkspaceName两个参数(这两个参数为可选参数)所以我们需要创建一个Log Analytics资源。点击创建资源-->管理工具-->log analytics:输入名称等相应参数,点击创建:创建完成,如下图所示:配置自动化账户的诊断信息切换到我们刚刚创建的自动化账户,点击Diagonstic-->+ Add diagnostic setting:在此设置将诊断信息发送到我们刚刚创建的log analytics,选择所有类型的log和metric: 下载自动化部署脚本前面和大家提过,本次我们演示自动部署的方式,所以需要先在Powershell Gallery上下载名称为“New-OnPremiseHybridWorker.ps1”的部署脚本并复制到运行Hybrid Runbook Worker的计算机。具体下载地址如下:https://www.powershellgallery.com/packages/New-OnPremiseHybridWorker/1.6下载完成后在承载角色的计算机上以管理员身份打开Windows Powershell,运行我们刚刚下载的脚本文件,具体参数列表如下: AutomationAccountName(必填):您的自动化帐户的名称。 AAResourceGroupName(必填):与自动化帐户关联的资源组的名称。 OMSResourceGroupName(可选):Log Analytics工作区的资源组的名称。如果未指定此资源组,则使用AAResourceGroupName。 HybridGroupName(必填):您指定作为支持此方案的Runbook的目标的Hybrid Runbook Worker组的名称。 SubscriptionID(必填):您的自动化帐户所在的Azure订阅ID。 WorkspaceName(可选):Log Analytics工作区名称。如果您没有Log Analytics工作区,该脚本将创建并配置一个。.\New-OnPremiseHybridWorker.ps1 -AutomationAccountName Automation-Hybird -AAResourceGroupName Automation-RG -HybridGroupName BJDC-Hybird -SubscriptionId e5a2e705-e06f-454e-bbce-41d3bbeb1b9f -WorkspaceName Autologanalytics1安装过程中,系统会提示同意安装NuGet: 开始安装:输入Azure凭据以进行身份验证:安装完成如下图所示:切换到自动化账户,“ 混合工作组”页面将显示新组和成员数。如果是现有组,则成员数会增加。您可以从“ 混合工作组”页面上的列表中选择组,然后选择“ 混合工作组 ” 磁贴。在“ 混合工作者”页面上,您会看到列出的组的每个成员

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册