首页 文章 精选 留言 我的

精选列表

搜索[队列],共9229篇文章
优秀的个人博客,低调大师

yarn划分队列示例

修改Yarn服务的配置,修改Capacity Scheduler配置项如下: 修改部分: yarn.scheduler.capacity.root.default.capacity=60 yarn.scheduler.capacity.root.default.maximum-capacity=60 yarn.scheduler.capacity.root.queues=default,dev 新增部分: yarn.scheduler.capacity.root.dev.capacity=40 yarn.scheduler.capacity.root.dev.maximum-capacity=40 yarn.scheduler.capacity.root.dev.state=RUNNING yarn.scheduler.capacity.queue-mappings=u:etl:dev,u:ETL:dev,u:gotop:dev,u:hive:default,g:hadoop:dev,g:hdfs:dev yarn.scheduler.capacity.queue-mappings-override.enable=true yarn.scheduler.capacity.root.dev.acl_administer_jobs= yarn.scheduler.capacity.root.dev.acl_submit_applications= 本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/2049794,如需转载请自行联系原作者

优秀的个人博客,低调大师

消息队列MQ新增3把武器

7月15日,阿里云消息中间件MQ正式发布3种消息发送方式,至此,MQ覆盖了消息发送全部场景。新增的三种方式包括可靠同步、可靠异步、单向(oneway)发送方式,满足客户在不同场景、不同传输质量和性能上的消息需求。 简介 MQ发送普通消息有三种实现方式:可靠同步发送、可靠异步发送、单向(Oneway)发送。本文介绍了每种实现的原理、使用场景以及三种实现的异同,同时提供了代码示例以供参考。 可靠同步发送 原理:同步发送是指消息发送方发出数据后,会在收到接收方发回响应之后才发下一个数据包的通讯方式。 应用场景:此种方式应用场景非常广泛,例如重要通知邮件、报名短信通知、营销短信系统等。 可靠异步发送 原理:异步发送是指发送方发出数据后,不等接收方发回响应,接着发送下个数据包的通讯方式。MQ 的异步发送,需要用户实现异步发送回调接口(SendCallback),在执行消息的异步发送时,应用不需要等待服务器响应即可直接返回,通过回调接口接收务器响应,并对服务器的响应结果进行处理。 应用场景:异步发送一般用于链路耗时较长,对 RT 响应时间较为敏感的业务场景,例如用户视频上传后通知启动转码服务,转码完成后通知推送转码结果等。 单向(Oneway)发送 原理:单向(Oneway)发送特点为只负责发送消息,不等待服务器回应且没有回调函数触发,即只发送请求不等待应答。此方式发送消息的过程耗时非常短,一般在微秒级别。 应用场景:适用于某些耗时非常短,但对可靠性要求并不高的场景,例如日志收集。 下表概括了三者的特点和主要区别。 发送TPS 发送结果反馈 可靠性 同步发送 快 有 不丢失 异步发送 快 有 不丢失 单向发送 最快 无 可能丢失 示例代码 同步发送 public class ProducerTest { public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.ProducerId, "XXX");//您在控制台创建的Producer ID properties.put(PropertyKeyConst.AccessKey,"XXX");// AccessKey 阿里云身份验证,在阿里云服务器管理控制台创建 properties.put(PropertyKeyConst.SecretKey, "XXX");// SecretKey 阿里云身份验证,在阿里云服务器管理控制台创建 properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, "3000");//设置发送超时时间,单位毫秒 Producer producer = ONSFactory.createProducer(properties); // 在发送消息前,必须调用start方法来启动Producer,只需调用一次即可。 producer.start(); //循环发送消息 for (int i = 0; i < 100; i++){ Message msg = new Message( // // Message Topic "TopicTestMQ", // Message Tag 可理解为Gmail中的标签,对消息进行再归类,方便Consumer指定过滤条件在MQ服务器过滤 "TagA", // Message Body 可以是任何二进制形式的数据, MQ不做任何干预, // 需要Producer与Consumer协商好一致的序列化和反序列化方式 "Hello MQ".getBytes()); // 设置代表消息的业务关键属性,请尽可能全局唯一。 // 以方便您在无法正常收到消息情况下,可通过阿里云服务器管理控制台查询消息并补发。 // 注意:不设置也不会影响消息正常收发 msg.setKey("ORDERID_" + i); // 同步发送消息,只要不抛异常就是成功 SendResult sendResult = producer.send(msg); System.out.println(sendResult); } // 在应用退出前,销毁Producer对象 // 注意:如果不销毁也没有问题 producer.shutdown(); }} 异步发送 public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.AccessKey, "DEMO_AK");// AccessKey 阿里云身份验证,在阿里云服务器管理控制台创建 properties.put(PropertyKeyConst.SecretKey, "DEMO_SK");// SecretKey 阿里云身份验证,在阿里云服务器管理控制台创建 properties.put(PropertyKeyConst.ProducerId, "DEMO_PID");//您在控制台创建的Producer ID properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, "3000");//设置发送超时时间,单位毫秒 Producer producer = ONSFactory.createProducer(properties); // 在发送消息前,必须调用start方法来启动Producer,只需调用一次即可。 producer.start(); Message msg = new Message( // Message Topic "TopicTestMQ", // Message Tag,可理解为Gmail中的标签,对消息进行再归类,方便Consumer指定过滤条件在MQ服务器过滤 "TagA", // Message Body,任何二进制形式的数据,MQ不做任何干预,需要Producer与Consumer协商好一致的序列化和反序列化方式 "Hello MQ".getBytes()); // 设置代表消息的业务关键属性,请尽可能全局唯一。以方便您在无法正常收到消息情况下,可通过MQ控制台查询消息并补发。 // 注意:不设置也不会影响消息正常收发 msg.setKey("ORDERID_100"); // 异步发送消息, 发送结果通过callback返回给客户端。 producer.sendAsync(msg, new SendCallback() { @Override public void onSuccess(final SendResult sendResult) { // 消费发送成功 System.out.println("send message success. topic=" + sendResult.getTopic() + ", msgId=" + sendResult.getMessageId()); } @Override public void onException(OnExceptionContext context) { // 消息发送失败 System.out.println("send message failed. topic=" + context.getTopic() + ", msgId=" + context.getMessageId()); } }); // 在callback返回之前即可取得msgId。 System.out.println("send message async. topic=" + msg.getTopic() + ", msgId=" + msg.getMsgID()); // 在应用退出前,销毁Producer对象。注意:如果不销毁也没有问题 producer.shutdown();} 单向(Oneway)发送 public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.AccessKey, "DEMO_AK");// AccessKey 阿里云身份验证,在阿里云服务器管理控制台创建 properties.put(PropertyKeyConst.SecretKey, "DEMO_SK");// SecretKey 阿里云身份验证,在阿里云服务器管理控制台创建 properties.put(PropertyKeyConst.ProducerId, "DEMO_PID");//您在控制台创建的Producer ID properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, "3000");//设置发送超时时间,单位毫秒 Producer producer = ONSFactory.createProducer(properties); // 在发送消息前,必须调用start方法来启动Producer,只需调用一次即可。 producer.start(); //循环发送消息 for (int i = 0; i < 100; i++){ Message msg = new Message( // Message Topic "TopicTestMQ", // Message Tag, // 可理解为Gmail中的标签,对消息进行再归类,方便Consumer指定过滤条件在MQ服务器过滤 "TagA", // Message Body // 任何二进制形式的数据,MQ不做任何干预,需要Producer与Consumer协商好一致的序列化和反序列化方式 "Hello MQ".getBytes()); // 设置代表消息的业务关键属性,请尽可能全局唯一。 // 以方便您在无法正常收到消息情况下,可通过阿里云服务器管理控制台查询消息并补发。 // 注意:不设置也不会影响消息正常收发 msg.setKey("ORDERID_" + i); // oneway发送消息,只要不抛异常就是成功 producer.sendOneway(msg); } // 在应用退出前,销毁Producer对象 // 注意:如果不销毁也没有问题 producer.shutdown();} 企业级互联网架构Aliware,让您的业务能力云化:https://www.aliyun.com/aliware

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册