首页 文章 精选 留言 我的

精选列表

搜索[服务],共10000篇文章
优秀的个人博客,低调大师

日志服务数据加工最佳实践: 字符串动态键值对的提取

本实践案例主要是从字符串专题进行展开,将从多方面讲解如何使用不同方案字符串,来解决用户需求。 一个快速案例: 解析URL中参数键值对 以下是一个url的数据,本文将会使用两种方案来展开这条日志内容: request: https://yz.m.sm.cn/s?ver=3.2.3&app_type=supplier&os=Android8.1.0 需求 1、对以上日志进行解析出proto, domain, param等内容2、对param中的键值对值做展开操作 原始日志 比如在控制台上收集到的日志为: __source__: 10.43.112.168 __tag__:__client_ip__: 12.120.75.130 __tag__:__receive_time__: 1563517113 __topic__:

优秀的个人博客,低调大师

码云 Gitee 8月25日凌晨2点服务扩容维护公告

由于业务增长迅速,码云 Gitee 将对核心交换机进行升级,以便下一步的系统扩容。定于本周日凌晨2点对系统进行割接。 具体割接信息如下: 割接时间:本周日(8月25日凌晨2点) 割接时长:1小时(凌晨2点~3点) 割接内容:升级码云核心交换机 割接期间码云(Gitee)将无法正常访问,请各位用户提前做好安排,给您带来的不便,深表歉意!

优秀的个人博客,低调大师

IBM_V7000底层结构及服务器数据恢复案例详解

【IBM原理详解】IBM_V7000(全名IBM Storwize V7000)是IBM推出的新一代中端存储系统,尽管定位中端,Storwize V7000却提供了以往高端存储才具备的强大存储管理功能。其常见型号有IBM Storwize V3700,IBM Storwize V5000以及IBM Storwize V7000。其底层存储结构支持RIAD 0,RAID 10,RAID5以及RAID 6。上层的卷支持普通卷,精简模式的卷,镜像模式的卷以及精简镜像模式的卷。虽然在整体存储结构上V7000做的很不错,但某些物理故障或其他操作都可能会对卷或存储造成破坏,因此对系列存储的数据恢复技术才有了用武之地。【配置IBM_V7000】1、使用管理IP连接IBM_V7000,输入用户名(默认:superuser)和密码(密码:passw0rd)。2、默认是没有任何配置的,需要先配置Mdisk,池以及卷,然后添加主机映射卷。3、创建Mdisk,Mdisk的类型有RAID0,RAID0,RAID5以及RAID6。4、创建池,可以将多个Mdisk划分到一个池中。5、创建卷,卷是在池的基础之上配置的,卷的类型有通用,自动精简,镜像以及精简镜像。6、创建主机并映射卷,主机的类型有光纤通道的主机和iscsi的主机。至此整个配置的大致流程就算完了,但是我们并不知道分配给主机的逻辑卷,实际在磁盘是如何分布的。那它们是如何分布的呢?详解下文的结构与原理,其结构和HP Lefthand系列的存储产品很像,【结构及原理】其实IBM_V7000的底层原理并不复杂,整个存储结构一共分为四层。第一层:既物理硬盘,是实际存放数据的地方。第二层:IBM_V7000中命名为Mdisk,其实就RAID,是多个物理磁盘的集合。第三层:池,是将多个Mdisk组合成一个大的逻辑容器。第四层:卷,从池中分配出来的空间,面向用户的存储单位,卷不可以跨池。结构图如下:从整体的存储结构上看,磁盘才是数据最终存放的地方。而所谓的Mdisk,池和卷都是将物理磁盘虚拟化了而已。在物理磁盘这一层,数据是以小块为单位(Block)存储的,N多个磁盘组成了一个Mdisk,既存放在Mdisk中的数据会分成N多个Block平均分布在所有磁盘上。在Mdisk这一层,数据是以段(Section)为单位存储的,多个Mdisk组成了一个池,既在池中创建的卷会被分成若干个段放到不同的Mdisk中,不同卷的类型分布在池中的方式也不同,不过最终还是以段为单位存储在Midsk中的。整个存储过程则是用户将数据存放到卷中,而卷又会被分割成若干个段分布在不同Mdisk中,而Mdisk又会将段分成若干个块分布在不同的磁盘中。最终数据全部是以块为单位分布在不同的磁盘中。【数据恢复案例】1、存储架构存储型号:IBM_V7000磁盘数量:24块600G SAS磁盘Mdisk数量:2个Mdisk,都是RAID 5卷数量:2个2T的通用模式,1个3T精简模式。2、故障原因因磁盘老化导致Mdisk中有几块磁盘掉线,导致Mdisk不可用造成上层卷无法访问。而因只设置了一个全局热备,在磁盘掉线后管理人员没有及时更换磁盘才造成整个故障的发生。3、解决方案先镜像所有磁盘,然后分析哪些磁盘是一组Mdisk。找出属于同一组Mdiskd磁盘,然后分析是否存在磁盘掉线的情况。如果存在掉线磁盘,则在Mdisk组中除掉此磁盘。生成Mdisk,接着分析Mdisk之间的结构。生成池,接着分析卷的结构,因不同卷的类型不一样,所以存储结构也不一样。分析完卷的结构后就可以生成每个卷的数据了。4、数据恢复结果由于只是Mdisk中有几块磁盘掉线了,没有再做其他操作。所以整个数据恢复的很完整,用户验收数据无误。由于对IBM V7000系列存储的底层结构研究的很透彻,所以对此系列存储的故障,数据几乎都可以挽救。但是,有一种情况数据是无法挽救的,那就是所有磁盘被重建了并且初始化完成了。因为在创建完Mdisk之后,系统会对Mdisk做初始化,也就是清零。如下图因此,如果是存储被重建了,并且还被初始化,这种情况下恢复数据的希望就很渺茫。

优秀的个人博客,低调大师

日志服务数据加工最佳实践: 构建字典与表格做数据富化

字典和表格是数据富化(映射)过程中主要使用的两种数据结构,本文主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 直接构建 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 优点: 直观、简单、方便. 从任务配置资源构建 e_dict_map(res_local("http_code_map"), "status", "message") 其中http_code_map是任务高级配置项, 值为: {"400": "错误", "200": "正常", "*": "其他"} 优点: 如果内容较多, 且经常修改的话, 更易于维护. 从表格构建 使用tab_to_dict从表格构建, 而表格的构建参考本文后续的表格构建. e_dict_map(t

优秀的个人博客,低调大师

阿里云Web应用托管服务(web+)如何创建应用和部署环境?

这篇文章的主题是Web+控制台应用及其环境,这里将向您介绍如何在Web+中通过向导创建一个应用及部署环境。 首先,在Web+控制台首页点击新建链接,进入创建应用及部署环境的向导。 第一步,选择应用的基本信息。在这个页面可以看到Web+支持Tomcat的应用、Java应用及Node JS等三种应用类型。我们输入应用的名称,然后输入对应用的描述,点击下一步。 第二步,我们进入到了部署环境界面。在这里输入部署环境的名称,然后输入对部署环境的描述、部署包来源,来源可以选择上传一个本地应用程序,也可以选择使用样例程序。如果你想知道样例程序的具体内容,可以通过这里链接下载。之后的部署包版本,我们可以输入自己指定的部署包版本信息,也可以选择默认使用当前时间戳作为此次部署的版本,同时填入版本描述。 如果我们要对环境做更多的配置,可以点击下一步,当然也可以使用默认配置,直接点击完成创建。 此时,Web+将提醒你,此次操作将使用低成本的方式创建部署环境,所谓低成本就是在该可用区中创建一台小规格的ECS实例,点击确认。 可以看到,系统已经创建了应用及部署环境包版本。 我们点击查看环境的部署日志。这时可以看到环境绑定了相关的VPC、VSwitch并开始创建了一台ECS实例。 现在Web+已经创建了一台ECS实例,并开始安装所需要的软件及其应用程序,部署应用程序成功之后,开始同步云监控组,整个过程耗时93秒。 然后在部署环境的摘要信息中有一个访问地址,我们点击进入。 此时就能进入部署好的样例程序。 更多信息参考:https://help.aliyun.com/product/113017.html 原文链接:https://aliyunnew.com/a/How-does-Aliyun-Web-Application-Hosting-Service-web-create-an-application-and-deployment-environment.html

优秀的个人博客,低调大师

高可用服务架构设计(10)-Hystrix隔离策略细粒度控制

0 Github 资源隔离两种策略 线程池隔离 信号量隔离 对于资源隔离,做更加深入一些的讲解,除了可以选择隔离策略,对选择的隔离策略,可以做一定的细粒度的控制 1 execution.isolation.strategy 指定HystrixCommand.run()的资源隔离策略 THREAD基于线程池 // to use thread isolation HystrixCommandProperties.Setter() .withExecutionIsolationStrategy(ExecutionIsolationStrategy.THREAD) SEMAPHORE基于信号量// to use semaphore isolation HystrixCommandProperties.Setter() .withExecutionI

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册