首页 文章 精选 留言 我的

精选列表

搜索[HTTP/2]，共10000篇文章
优秀的个人博客,低调大师

大数据开发—常见问题（2）

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题，供大家参考~ Q. 图片中的任务状态实际是暂停的，为什么统计的是失败？ A. 大数据开发套件中的暂停状态，就是失败，所以会放在失败里统计. 此处建议如果用于紧急处理任务，减少对下游数据的影响，可以将其置为暂停状态；如果是不再使用的任务，建议删除 。 Q. 一个 sql 里 join 一个百万的小表 6 次，这个小表的数据会在内存里做缓存吗？还是会被全表扫描 6 次?A. 当一个大表和一个或多个小表做 join 时，可以使用 mapjoin ,在小数据量情况下，SQL 会将用户指定的小表全部加载到执行 join 操作的程序的内存中，从而加快 join 的执行速度 。详情请参见 SELECT 操
2017-05-04
优秀的个人博客,低调大师

Hadoop2.X中使用RPC

1.1 协议 import org.apache.hadoop.io.Text; import org.apache.hadoop.ipc.VersionedProtocol; public interface MyProtocol extends VersionedProtocol { public static final long versionID = 1L; public Text test(Text t); } 1.2 客户端 import java.io.IOException; import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.Text; import org.apache.hadoop.ipc.RPC; public class MyClient { public MyProtocol myProtocol; public MyClient() throws IOException { InetSocketAddress addr = new InetSocketAddress("localhost", 8888); myProtocol = (MyProtocol) RPC.waitForProxy(MyProtocol.class, 1, addr, new Configuration()); } public void sendClientMsg() { System.out.println("I am client,waiting server's data..."); Text result = myProtocol.test(new Text("message from client")); System.out.println(result.toString()); } public static void main(String[] args) throws IOException { MyClient client = new MyClient(); client.sendClientMsg(); } } 1.3 服务端 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.Text; import org.apache.hadoop.ipc.ProtocolSignature; import org.apache.hadoop.ipc.RPC; import org.apache.hadoop.ipc.RPC.Server; public class MyServer implements MyProtocol { public void initialize() throws InterruptedException, IOException { // numHandlers表示服务器端处理请求的线程数目 Server server = new RPC.Builder(new Configuration()) .setProtocol(MyProtocol.class).setInstance(this) .setBindAddress("localhost").setPort(8888).setNumHandlers(5) .build(); server.start(); } // 获取自定义的协议版本号 @Override public long getProtocolVersion(String protocol,long clientVersion) throws IOException { return MyProtocol.versionID; } // 获取协议签名 @Override public ProtocolSignature getProtocolSignature(String protocol, long clientVersion, int clientMethodsHash) throws IOException { return new ProtocolSignature(MyProtocol.versionID, null); } @Override public Text test(Text t) { if ("message from client".equals(t.toString())) return new Text("data from server"); return new Text("who are you"); } public static void main(String[] args) throws InterruptedException, IOException { MyServer server = new MyServer(); server.initialize(); } }
2016-12-03
优秀的个人博客,低调大师

Android 基础课堂 - Lesson.2

Android 基础课堂 在上周的基础课堂中，我们说过了，本系列的基础课堂将会结合一个应用的开发过程慢慢带大家慢慢深入理解Android开发的过程，故该基础课堂和正常的Android入门教程不太一样，不会像正常的Android入门教程那样，巴拉巴拉的从四大组件、各种控件等等开始讲，而是会遵从用到什么讲什么的原则，然后慢慢 涵盖各组件、各控件，在实际场景中学习组件、控件的应用，我觉得对于入门来说，是比较好接受的，当然入门之后，我们可以反过来把Android的整体架构再理一遍过去，这时候来理架构比起一入门就理架构，我觉得会比较好懂点。 至于我们要开发一个什么样的应用呢，这个嘛，慢慢的就知道了，哈哈随着基础课堂的延续，该应用会慢慢的展现在我们眼前，那么下面就让我们进入到今天的基础课堂吧。 第二课、从创建一个Android工程开始 一、Hel
2016-09-11
优秀的个人博客,低调大师

虚拟化技术（2）——存储虚拟化

存储虚拟化 随着存储的需求呈螺旋式向上增长，公司内的存储服务器和阵列都无一例外地随之成倍增长。对于这种存储管理困境的一种解决办法便是存储虚拟化。存储虚拟化可以使管理程序员将不同的存储作为单个集合的资源来进行识别、配置和管理。存储虚拟化是存储整合的一个重要组成部分，它能减少管理问题，而且能够提高存储利用率，这样可以降低新增存储的费用。 权威机构S N I A（存储网络工业协会）给出的定义 “通过将存储系统/子系统的内部功能从应用程序、计算服务器、网络资源中进行抽象、隐藏或隔离，实现独立于应用程序、网络的存储与数据管理”。 存储虚拟化技术将底层存储设备进行抽象化统一管理，向服务器层屏蔽存储设备硬件的特殊性，而只保留其统一的逻辑特性，从而实现了存储系统的集中、统一、方便的管理。 与传统存储的比较 与传统存储相比，虚拟化存储的优点主要体现在：磁盘利用率高，传统存储技术的磁盘利用率一般只有30－70%，而采用虚拟化技术后的磁盘利用率高达70－90%；存储灵活，可以适应不同厂商、不同类别的异构存储平台，为存储资源管理提供了更好的灵活性；管理方便，提供了一个大容量存储系统集中管理的手段，避免了由于存储设备扩充所带来的管理方面的麻烦；性能更好，虚拟化存储系统可以很好地进行负载均衡，把每一次数据访问所需的带宽合理地分配到各个存储模块上，提高了系统的整体访问带宽。 分类 虚拟化存储有多种分类方法，从大的方面可以分为：根据在I/O路径中实现虚拟化的位置不同进行分类；根据控制路径和数据路径的不同进行分类。根据在I/O路径中实现虚拟化的位置不同，虚拟化存储可以分为主机的虚拟存储、网络的虚拟存储、存储设备的虚拟存储。根据控制路径和数据路径的不同，虚拟化存储分为对称虚拟化与不对称虚拟化。 优缺点 优点： 存储虚拟化也能够改进可用性。如果一个应用程序与某些特定的存储资源相联，那么任何对于这些资源的中断都将会降低该应用的可用性。通过存储虚拟化，应用程序就不会再与某个物理性的存储程序相联系了。 存储虚拟化可能帮助帮助存储容量扩增自动化。不需要手动的配置，存储虚拟化能够运用策略，分配更多的存储容量给所需的应用。存储虚拟化也可以允许存储资源在传送的过程上进行更改或者升级，这些操作都无需中断应用性能，减少了为修理和维护所需要的存储宕机时间。 缺点： 存储虚拟化的不利方面是额外增加的复杂性。存储层是存储环境新增的部分，随着虚拟产品打补丁和更新，必须进行管理和维护。同样，存储设备之间的互操作性和兼容性也会有所影响。在一些情况下，虚拟层可能会与存储系统的某些特性相干扰，比如远程复制。比如说，一个包含本地远程复制的存储阵列，当这个阵列被用在虚拟化环境时，也许就不能够再提供这种复制的服务。只有在实验室的试验和评估结果才能够显示出这种潜在的问题。 另一个问题就是一旦存储虚拟化实施后，重新恢复或是取消操作存在的困难。这并不是不可能，但是重新将应用与存储位置进行关联的过程很容易出错。专家们建议逐步实施局部的存储虚拟化，先在一个或几个应用中局部部署，然后再扩大至数据中心和整个公司内部。 三层模型 根据云存储系统的构成和特点，可将虚拟化存储的模型分为三层：物理设备虚拟化层、存储节点虚拟化层、存储区域网络虚拟化层。三层虚拟化存储模型大大降低了存储管理的复杂度，有效地封装了底层存储设备的复杂性和多样性，使系统具备了更好的扩展性和灵活性。用户只需将存储设备添加到存储池中并进行简单配置，就可以创建虚拟卷，而不必关注系统中单个设备的物理存储容量和存储介质的属性，从而实现统一的存储管理。 物理设备虚拟化层： 主要用来进行数据块级别的资源分配和管理，利用底层物理设备创建一个连续的逻辑地址空间，即存储池。根据物理设备的属性和用户的需求，存储池可以有多个不同的数据属性，例如读写特征、性能权重和可靠性等级。按需分配的存储设备作为一个逻辑卷管理器，可以从存储池中分配逻辑卷，动态地分配存储资源，并管理数据块的映射和转发。 存储节点虚拟化层： 可实现存储节点内部多个存储池之间的资源分配和管理，将一个或者多个按需分配的存储池整合为在存储节点范围内的统一的虚拟存储池。这个虚拟化层由存储节点虚拟模块在存储节点内部实现，对下管理按需分配的存储设备，对上支持存储区域网络虚拟化层。 存储区域网络虚拟化层： 可实现存储节点之间的资源分配和管理，集中地管理所有存储设备上的存储池，以组成一个统一的虚拟存储池。这个虚拟化层由虚拟存储管理模块在虚拟存储管理服务器上实现，以带外虚拟化方式管理虚拟存储系统的资源分配，为虚拟磁盘管理提供地址映射、查询等服务。 三种目前能够实现的存储虚拟化方法 存储虚拟化是物理存储的集合，也就是将多个网络存储设备集合成一个存储设备，这样就能简化存储管理。人们都在讨论实现存储虚拟化的最好方法，但是没有一种方法可以适用于任何环境。实际上，许多公司都是根据具体要求采用不同的架构方式。你需要比较各种方法，然后根据自身需要选择合适的存储虚拟化方法。下面简单地介绍带内、带外和独立路径存储虚拟化方法： 带内（In-band）/对称存储虚拟化技术 带内方法主要在主服务器和存储设备之间实现虚拟功能，是传统的产品和存储系统经常采用的方法。特征：带内/对称存储虚拟化技术采用x86软件或专有硬件以及软件存储系统，看起来就像是始于存储设备，终于主服务器。这是最常见的存储虚拟化形式。优点：无需代理主机，相关部署实例和超高速缓存能够帮助实现各项性能，同时保持灵活性。注意事项：数据通道中可能会存在一些性能问题寻找：能够扩大查找范围、实现互操作功能，且不会使系统变得复杂和不稳定，也不会增加系统成本。实例：传统的存储系统、产品，如IBM SVC、FalconStor软件公司和 DataCore 软件公司的相关产品。 带外(Out-of-band)/非对称存储虚拟化技术 带外存储虚拟化设备安装在主机和存储之间的数据通道之外，因而主机中需要安装专门的软件。特征：带外/非对称存储虚拟化技术可以减少带内存储所存在的性能问题。但是，带外存储需要依靠代理主机和元数据控制器访问存储设备，这样就使存储虚拟化变复杂了。优点：扩展性能较好。注意事项：逐渐被独立路径存储虚拟化技术取代。寻找：在带内和独立路径技术之外，寻找稳定、适应能力强的供应商和解决方案。实例：LSI StoreAge 分离路径存储虚拟化技术 分离路径存储虚拟化技术综合了带内和带外技术的优点：特征：分离路径存储虚拟化技术在与软件绑定的开关或者产品中采用存储服务模块或者适应器。优点：部署更加灵活，解决了数据通道问题。注意事项：提供给你软件的供应商还处于成长阶段。寻找：寻找稳定的供应商、能够共存的扩展方案，同时支持不同的软件和硬件。实例：LSI StoreAge, Incipient公司的相关产品, EMC 公司的 Invista, Fujitsu VS9000 实施存储虚拟化后移除有困难吗 如果在存储架构上的其中一层应用了存储虚拟化，那么移除或“退出”虚拟层有困难吗？要采取什么措施来提高成功率或减小放弃虚拟层的破坏性？ 存储虚拟化对于公司是一个重要的的决定。对你所做的一定要谨慎，因为去掉虚拟化并不容易。一旦你部署了虚拟化环境，从存储到服务器以及物理存储之间是完全抽象的，IT存储管理员不知道存储是来源于哪里。几年来你可能要依赖存储虚拟化厂商的产品，因此，仔细挑选一个厂商是绝对重要的。 你可以退出存储虚拟化，但这是一个头疼的问题。你需要在某个地方备份你的数据，移除虚拟层，然后把数据备份到物理存储设备上。 应用 虚拟化存储在各种行业中已经开始了大规模应用。 这些应用包括： 数据中心：应用虚拟化技术提供计算和存储服务中心、网络管理中心、灾难恢复中心、IT资源租赁中心等服务。 电信行业：随着产业的发展，电信行业面临两方面的挑战，一方面降低IT架构的成本，另一方面提高IT架构的可用性。虚拟化技术正是解决这一问题有效办法。 银行证券保险行业：利用虚拟化进行容灾，采取“两地三中心”方案，即生产中心、同城灾备中心、异地灾备中心。同城灾备中心负责一般性灾难的防范，异地灾备中心用来防范大范围的灾难。利用虚拟化技术，可以在统一的虚拟化基础架构中，实现跨数据中心的虚拟化管理。 政府信息系统：政府数据存储系统的建设正受到前所未有的重视。系统利用先进的存储虚拟化技术，建立统一、标准、共享的数据资源存储平台，能够有效地管理庞大、繁多、复杂的数据及相关的设备，提高资源利用率，并建立起全面的数据安全保障体系。
2016-05-02
优秀的个人博客,低调大师

Bitlocker企业安全加密管理系列-2

本系列我先给大家介绍做出来的效果是怎样的吧，当我们的加域客户端安装了MBAM代理后，我们可以很好的利用组策略对客户端下发安全策略，例如强制设置最后必须加密磁盘的期限： 当最后的期限到了后就必须强制加密了，否则这个框是不会消失的，哪怕重启这个提示框也会再次出现，我们还可以在下发策略的时候为用户启用密码复杂度以及密码使用期限，嘿嘿： 当然加密的恢复密钥是保存在MBAM的数据中的，所以用户有没保存无所谓了，用户可以随时修改自己的Bitlocker加密后的PIN码： 如果企业的策略更加强制，对任何移动存储介质都要严加管教那也是没问题的，我们可以设置策略，对没有Bitlocker的移动硬盘或U盘插入公司加密电脑后只能读，不能写入或修改，除非也把移动存储介质也加密吧，当然恢复密钥也保存在MBAM服务器的，妥妥的。 如果对读出的文件修改再保存到U盘也是不行的哟： 这样看来我们采取对企业的电脑加密，来个全方位的保护，是对您资料的多全面保护啊~这样的企业级加密保护，对于企业来说只要是Windows 8以上，那真的是非一般的价值。加密后的效果我就介绍这些主要的吧，嘿嘿~后面我会给大家分享当用户忘记Bitlocker密码后如何查询恢复密钥的效果。 您的支持，我的动力。
2016-04-29
优秀的个人博客,低调大师

开源大数据周刊-第2期

阿里云E-Mapreduce动态 E-Mapreduce团队计划下周发布VPC方案，敬请期待。 Aliyun-emapreduce-demo发布在github上，敬请关注。 资讯播报 阿里云启动公益云计划 李连杰也喊话要拥抱大数据云栖大会·深圳峰会4月20日在深圳举行。大会上，阿里云正式启动了公益云计划，壹基金创始李连杰也参与此次启动仪式。李连杰表示，我们希望通过壹基金，还有云计算、大数据，能为更多NGO组织提供榜样，更好地运用科技来解决社会的公益慈善问题 QCon北京：构建大数据生态需要哪些核心技术？大数据之所以能引领一场革命，原因并不在于“大”，而在于“有用”，它能够将数据与现实社会有机融合，能真正意义上产生对社会有价值的变革。这也正应了业界流传的那句话：三分技术，七分数据，得数据者得天下。大数据公司在争抢数据源的同时，对数据处理的技术
2016-04-23

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册