首页 文章 精选 留言 我的

精选列表

搜索[知识库增强],共10000篇文章
优秀的个人博客,低调大师

为了让开发者写MaxCompute SQL更爽,DataWorks 增强SQL 编辑器功能

众所周知,数据开发和分析的同学每天都要花大量时间写MaxCompute SQL;Dataworks作为数据开发的IDE直接影响着大家的开发效率,这次新上线的Dataworks我们在编辑体验上做了很多工作,在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析,并实现更好更智能的代码提示,更快速的响应,帮助大家提升开发效率; 首先show几张美图: 看起来如何?是不是很像本地编辑器,很Cool ~ 接下来,我们一一介绍一下这些新特性。 1、MaxCompute SQL 语法错误的实时提示(精确到行,列) 实时语法检查,同时,支持MaxCompute 2.0语法,报错位置可以精确到行、列。 2、在编辑器中显示具体的错误信息 快速定位问题,支持语法分析,为用户提示详细的报错信息。 3、自动补全 (关键字/project/表/字段)

优秀的个人博客,低调大师

毕马威:未来3年,76%的科技行业CEO有望增强AI和认知技术招聘

图/HRDIVE 雷锋网7月25日消息 据外媒近日报道,根据毕马威最新出具的一份报告表明,未来三年,科技公司在人工智能、认知技术和机器人自动化行业的管理层候选人上,有了新的需求变化。在综合了毕马威的两项企业调查结果之后,数据显示,超过76%的科技行业的CEO表示希望增加 IT 人才,来支持自动化和新兴认知技术;有64%的受访者表示希望增加中层管理人员。 毕马威2017最新调查报告(图/prnewswire) 此外,毕马威调查还显示,公司正通过聘请更多的支持人员和实现自动化和认知技术。有62%的受访者表示希望增加客服岗位的招聘,60%表示将增加销售岗位的招聘,43%表示希望增加高级管理人员。 毕马威TMT业务全球和美国主席蒂姆·扎尼(Tim Zanni)表示:“科技行业的CEO们正致力于各个层面的招聘,这表明他们已经看到了认知技术的战略

优秀的个人博客,低调大师

Dell EMC扩充数据保护产品线 Data Domain增强云分层功能

Dell EMC扩充了自己的数据保护产品,提供可扩展性更高的Data Domain软件,Azure支持的NetWorker,以及扩展的云分层功能。 我们得知,Data Domain的重复数据删除备份软件现在已经在戴尔PowerEdge服务器上提供了。但是这是以前,区别是什么?现在这已经在参考架构上进行了认证,扩大了在云上的运用。 Data Domain Virtual Edition(DD VE)是来自Dell EMC Data Domain产品的软件,定位是入门级、远程、分支机构环境使用。Dell EMC表示,这是一款“虚拟设备,运行在你选择的硬件上,支持你现有的备份、归档和企业应用。” 目前ESXi和Hyper-V虚拟机管理程序都支持DD VE,从每个实例0.5TB可扩展到16TB,容量可以以1TB为单位进行扩展。 现在情况变了。第三代版本可扩展到96TB,增加6倍。 它引入了预验证、全面支持、预测试的参考架构,其中包括PowerEdge 13G服务器。 云分层功能可用于在公有云、私有云或者混合云——例如Dell EMC Elastic Cloud Storage(ECS)以及Virtustream Storage Cloud——中长期保留数据。 现在云分层功能包括: NetWorker with CloudBoost可保持运行在Azure以及AWS中的应用通过NetWorker或者Avamar管理平台可以实现对Data Domain Cloud Tier的原生管理Data Domain Boost for Enterprise Applications支持Oracle、SQL、SAP、SAP HANA以及IBM DB2Data Domain Cloud Tier不要求云网关或者虚拟设备来将需要重复删除的数据直接分层到公有云、私有云或者混合云中DD Encryption以及DD Retention Lock用于云分层Spanning Backup for Office 365简化了对欧盟数据主权法规的遵从Dell EMC表示,Data Domain Boost for Enterprise为支持的应用提供了原生云分层功能。管理员可以使用这些应用自身的GUI或者CLI命令获得Boost。 加密和保留锁定功能意味着发送到目标(例如Virtustream、ECS等)是被加密和保留的。 有了Spanning Backup for Office 365,Office 365和SalesForce的所有欧洲客户都是在位于欧洲的新区域数据中心进行数据存储和处理的。2017年Spanning这些服务将扩大到其他地区。 DD VE起价为206000美元。3.0版本现在已经功能,微软Azure支持NetWorker 9.1。NetWorker 9.1 with CloudBoost将在2016年12月供货, Data Domain Cloud Tier原生管理支持NetWorker 9.1、Avamar 7.4和Data Domain Boost for Enterprise Applications 3.5. Spanning Backup for Office 365现在已经供货。原文发布时间为:2016年10月21日本文作者:杨昀煦 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

【我的Android进阶之旅】Jenkins挂载slave节点,增强分布式编译的效率

由于公司的Jenkins任务越来越多,而且所有的Android Jenkins任务都在同一台服务器上进行编译,而且该服务器配置Jenkins任务最多3个任务同时运行,所以有时候大家一起编译的时候,只能一个一个的等待。 因此最近我重新搭建了一台Center OS服务器,配置好了SDK,JDK等一系列Android的编译环境。并且在新的Center OS服务器上搭建好了新的Jenkins平台,本来想把部分的Android Jenkins任务迁移到新的Center OS服务器上的Jenkins平台来,但是这样的话,又得重新创建用户名密码等一些繁琐的操作,因此决定在老的Jenkins平台上通过新增节点的方式,将在新的Center OS服务器使用起来,这样的话就可以同时又两台服务器同时处理Jenkins任务,大大减少了大家的排队时间。现在我将如何新增节点的方式记录下来,以备后用。 如下图是一张网上的关于Master/Slave架构示意图。 Master/Slave相当于Server和agent的概念。Master提供web接口让用户来管理job和slave,job可以运行在master本机或者被分配到slave上运行。一个master可以关联多个slave用来为不同的job或相同的job的不同配置来服务。 一、相关概念 以下是从 http://www.cnblogs.com/itech/archive/2011/11/11/2245849.html 转载的相关概念 当job被分配到slave上运行的时候,此时master和slave其实是建立的双向字节流的连接,其中连接方法主要有如下几种: 1、master通过ssh来启动slave Jenkins内置有ssh客户端实现,可以用来与远程的sshd通信,从而启动slave agent。这是对*unix系统的slave最方便的方法,因为*unix系统一般默认安装有sshd。在创建ssh连接的slave的时候,你需要提供slave的host名字,用户名和ssh证书。创建public/private keys,然后将public key拷贝到slave的~/.ssh/authorized_keys中,将private key 保存到master上某ppk文件中。jenkins将会自动地完成其他的配置工作,例如copy slave agent的binary,启动和停止slave。但是你的job运行所依赖其他的项目需要你自己设置。 2、master通过WMI+DCOM来启动windows slave 对于Windows的Slave,Jenkins可以使用Windows2000及以后内置的远程管理功能(WMI+DCOM),你只需要提供对slave有管理员访问权限的用户名和密码,jenkins将远程地创建windows service然后远程地启动和停止他们。 对于windows的系统,这是最方便的方法,但是此方法不允许运行有显示交互的GUI程序。 注意:不想其他类型的链接方式,此种方式slave(note)的名字非常重要,将被用来当做slave的地址访问slave。 3、实现自己的脚本来启动slave 如果上面成套的方法不够灵活,你可以实现自己的脚本来启动slave。你需要将启动脚本放到master,然后告诉jenkins master在需要的时候调用此脚本来启动slave。 典型地,你的脚本使用远程程序执行机制,例如SSH,RSH,或类似的方法(在windows,可以通过cygwin或psexec来完成), 在脚本的最后需要执行类似java -jar slave.jar来启动slave。slave.jar可以从http://yourjenkinsserver:port/jnlpjars/slave.jar下载,也可以在脚本的开始先下载此slave.jar从而保证slave.jar正确的版本。 但是如果使用ssh slave plugin的话,此plugin将自动地更新slave.jar。 4、通过Java web start来启动slave jave web start(jnlp)是另一种启动slave的方法。用这种方法你需要登录到slave,打开浏览器,打开slave的配置页面来连接。还可以安装为windows service来使得slave在后台运行。 如果你需要运行的程序需要UI的交互,使用下面的方法:在slave系统上创建jenkins用户,设置自动登录,在系统的startup items增加slave JNLP文件的快捷方式,使得slave在系统登录的时候自动启动。 5、直接启动slave 此方式类似于java web start,可以方便地在*unix系统上将slave运行为daemon。需要配置slave为JNLP类型连接,然后在slave机器上执行 java -jar slave.jar -jnlpUrl http://yourserver:port/computer/slave-name/slave-agent.jnlp 6、 Slave配置的好的建议 每个slave都有用户jenkins,所有的机器使用相同的UID和GID,使得slave的管理更加简单; 每个机器上jenkins用户的home目录都相同/home/jenkins, 拥有相同的目录结构使得维护简单; 所有的slave运行sshd,windows运行cygwin sshd; 所有的slave安装ntp client,用来与相同的ntp server同步; 使用脚本sh来自动地配置slave的环境,例如创建jenkins用户,安装sshd,安装java,ant,maven等; 使用脚本来启动slave,保证slave总是运行在相同的参数下: #!/bin/bash JAVA_HOME=/opt/SUN/jdk1.6.0_04 PATH=$PATH:$JAVA_HOME/bin export PATH java -jar /var/jenkins/bin/slave.jar 二、新增节点 第一步,点击【系统管理】按钮,进入管理Jenkins页面,然后点击【管理节点】按钮,如下所示: 进来之后,就可以看到已经加载好的所有节点,如下所示: 点击上图左侧的【新建节点】,如下所示: 输入【节点名称】,然后选择下面的两个单选按钮,我选择【复制现有节点】,如下所示: 然后进入了该节点的具体配置页面,如下所示: 其中 Name是节点名字; 描述(Description)是节点描述; # of executors是该节点可以同时运行job的数量; 远程工作目录(Remote root directory)主要是添加了workspace的目录; 标签(Label)是该节点的标签名,在运行job的时候,可以使用该标签指定job运行的node; 用法(Usage)是你如何使用该节点,通常选择Utilize this node as much as possible,即尽量使用该节点。 启动方法(Lance method):是将该node挂载到master上的方法。这里有四个选项,常用的是前两选项,即“Launch slave agents on Unix machine via SSH”和“Launch slave agents via Java Web Start”。本文将详细介绍这两种挂载node的方法。 Availability是你何时连接该节点。通常选择一直连接即可,即“Keep this slave on-line as much as possible”。 1、启动方式【Launch slave agents on Unix machine via SSH 】 这里配置【启动方法】的话,我们选择使用Launch slave agents on Unix machine via SSH,关于SSH连接slave,jenkins有如下描述: Launch slave agents on Unix machines via SSH Starts a slave by sending commands over a secure SSH connection. The slave needs to be reachable from the master, and you will have to supply an account that can log in on the target machine. No root privileges are required. 这段描述的意思是说,选择此种方式连接时,master和slave必须是能够通过ssh进行连接的,必须有slave机器的账号才行,但不要求必须是root账号。 这种方式的前提是需要安装SSH Slaves plugin插件。 这种方式的步骤如下: 输入slave节点的IP。 Add Credentials。 有如下两种方式: 1.1、通过【Username with password】的方式 需要知道slave机器的用户名和密码,见下图: 点击【Add】按钮,弹出如下所示的框, 然后点击【Jenkins】按钮,弹出如下界面: 我们在上面填写相关的username和password,最好填上Description,如下所示: 填写完毕之后,点击【Add】即可保存。然后再在下面的界面,选择我们刚刚保存好的Credentials,如下所示: 选择完毕之后,如下所示: 因为该节点是备用节点,为了分流主节点的压力,所以在【用法】上,如上图所示我们选择【尽可能的使用这个节点】 最后点击【Save】按钮保存,保存之后,进入如下的界面: 点击【Relaunch agent】按钮,启动该节点。启动过程中,会打印一堆的启动日志,如下图所示: 当看到如下所示的界面时,表示该节点已经正常启动了。 这个时候,我们回到主面板,可以看到刚才加的新节点如下所示: 其中Linux_for_android 是之前配置好的节点,Linux_for_android_new 是刚刚配置好的新节点。 1.2、通过【SSH Username with private key】的方式 如上图,除了可以使用【Username with password】的方式之外,还可以使用【SSH Username with private key】的方式 需要先在master机器上生成ssh key pair。生成的 public key放到slave机器的 ~/.ssh/authorized_keys里面。然后chmod 600 ~/.ssh/authorized_keys。 然后,添加连接slave的credential,见下图: Scope有两个选项,分别是System(Jenkins and nodes only)和“Global(Jenkins、nodes、items、child items)” 这两种方式的Scope选项,我选择的是System(Jenkins and nodes only),表示这个Credentials仅仅是用来master和node进行连接用的。 还有另外一种是“Global(Jenkins、nodes、items、child items)”,这种scope的Credential可以用来连接git等其他机器。具体选择哪种scope,根据自己的需要。就连接slave这个需求来说,哪种scope的credential都可以。 Username填写在master上生成key pair时使用的用户名。 Private key选择From the jenkins master ~/.ssh Passphrase 为生成Private Key时候的密码 Description为改Credential的描述 余下的步骤和【通过Username with password方式】类似。 2、启动方式Launch agent via Java Web Start 现在我们来讲解一下启动方式【Launch agent via Java Web Start】,关于这种方式jenkins有如下描述: Launch slave agents via Java Web Start Starts a slave by launching an agent program through JNLP. The launch in this case is initiated by the slave, thus slaves need not be IP reachable from the master (e.g. behind the firewall.) It is still possible to start a launch without GUI, for example as a Windows service. 这段话的意思是说,JNLP方式连接salve,不需要master必须能够ssh连接到slave,只需要两者能够ping通即可。这种连接方式的slave还可以作为服务运行在slave的机器上。 这种方式连接slave的步骤如下: 在【启动方式】上选择【Launch slave agents agents via Java Web Start】 按照上面图片的设置方式设置完成后,点击save,就建好了一个slave节点。如下图所示。 接下来的任务是将该节点连到master上。与ssh方式是master主动连接slave不同,这种JNLP方式是slave主动连接master。 登陆到slave机器上,运行上图中的java -jar 命令,即可将slave连接到master上了。 三、配置Jenkins任务,使用新配置好的节点 随便挑选一个Jenkins任务,然后进入如下所示的界面: 如上图所示,该任务勾选了【Restrict where this project can be run】选项框,并且里面的【Label Express】值是【Linux_for_android】,这样的话表示该任务只能在【Linux_for_android】这个节点运行,刚刚新配置好的【Linux_for_android_new 】节点是不能运行该任务的。 因此我们将该勾选框去掉,如下图所示: 然后点击【保存】按钮,进行保存。接着我们试着运行下该Jenkins任务。 如上图所示,当【Linux_for_android】已经有三个任务在运行的情况下,运行【AP_HttpDns】Jenkins任务,该任务自动被分配到了【Linux_for_android_new 】节点运行。 由于每个节点设置了最多可以运行3个Android Jenkins任务,因此现在可以同时有6个Android Jenkins任务在两个节点上同时运行。比之前只有一台服务器编译快多了。 四、参考链接 两种常见挂载Jenkins slave节点的方法 (http://blog.csdn.net/liuchunming033/article/details/52025541) Hudson、Jenkins的node节点设置(分布式处理自动化测试用例)(http://www.cnblogs.com/zhuque/archive/2013/01/23/2873610.html) Jenkins进阶系列之——12详解Jenkins节点配置 (http://blog.csdn.net/limm33/article/details/51191263) Jenkins Master/Slave架构(http://www.cnblogs.com/itech/archive/2011/11/11/2245849.html) Different ways of starting slave agents 作者:欧阳鹏 欢迎转载,与人分享是进步的源泉! 转载请保留原文地址:http://blog.csdn.net/ouyang_peng/article/details/75174943 如果本文对您有所帮助,欢迎您扫码下图所示的支付宝和微信支付二维码对本文进行打赏。

资源下载

更多资源
Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册