首页 文章 精选 留言 我的

精选列表

搜索[全球应用加速],共10000篇文章
优秀的个人博客,低调大师

免费的容器架构可视化工具 | 阿里云应用高可用服务 AHAS 发布重大新特性

工具下载链接:点这里。活动发布链接:点这里。 采用容器服务后,了解容器之间的关系及依赖是一个比较有挑战的问题。容器化改造后的实际架构模型可能与预想的架构存在较大的差异,架构师或系统运维人员需要精确地了解资源实例的构成和交互情况,存在一定的困难。其次,系统架构在动态演化过程中可能引入了一些不可靠的因素,比如弱依赖变强依赖、局部容量不足、系统耦合过重等,给系统的稳定性带了极大的安全隐患。所以我们每次在面对系统改造、业务大促、迁移上云以及稳定性治理工作之前,都会通过梳理架构图的方式,呈现系统架构中个组件之间的交互方式,架构可视化能够清晰的协助我们识别架构中存在的问题以及建立高可用的系统。 近日,阿里云高可用服务 AHAS 针对阿里云容器服务发布重大特性,推出阿里云容器服务架构可视化功能,帮助用户识别容器服务架构。 一键实现架构可视化 通过阿里云

优秀的个人博客,低调大师

【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力

案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 本文全面总结了大数据项目组在亲听项目以及全链路debug项目上进行的实时流处理需求梳理,架构选型,以及达成效果 一、背景介绍 1.1亲听项目 亲听项目专注于帮助用户收集、展示、监控和处理用户体验问题,是保证产品的主观评价质量的利器,关于其具体功能可参考在ata搜索"亲听"查看系列文章。目前亲听项目的实时流处理需求来自算法效果监控,算法效果监控需要对上游TimeTunnel日志进行解析后经过处理得到一些关键指标,亲听通过对这些指标的前端展示和阈值监控报警达到算法效果监控目的。 需求要点可以总结如下: 上游需要处理的TimeTunnel日志的实时数据量大约在日常峰值每秒数万条记录,大促峰值每秒几十万条记录 从用户搜索行为到亲听系统得到搜索行为指标数据秒级的低延时 数据的处理逻辑较为复

优秀的个人博客,低调大师

修改HBase的rowkey设计把应用的QPS从5W提升到50W

UTT是Aliexpress的营销消息运营平台,运营希望促销活动时APP消息推送的QPS达到34W。 UTT刚接入APP消息推送时,QPS只能达到5W,离运营的要求有很大的距离。 通过改造,QPS达到了50W,其中最主要的改造是对Hbase的rowkey的改造。 首先介绍一下UTT大致工作流程: 1、运营人员在UTT的小二控制台配置运营任务(job),在任务中设置商品选择参数、目标人群参数和消息发送渠道; 2、UTT调用算法平台计算出要发送的消息,数据生成在阿里云飞天系统的云梯表中; 3、UTT把云梯表中的数据导入到hbase,并生成N个可以并发执行的发送任务(segment),segment的信息存储在mysql表中; 4、UTT按计划发送时间捞取segment,把存储在Hbase中的segment对应的消息读取出来调用阿里巴巴移动消息推送网关发送出去。 步骤1、2、3是提前执行的,我们要优化的是步骤4。 改造中,我们主要做了如下几件事: 1、修改了Hbase的rowkey规则和数据读取方式; 2、优化了记录发送进度的逻辑; 3、优化了消息发送到阿里巴巴移动消息推送网关的流程。 其中最主要的是对Hbase的rowkey的修改。 改造前的rowkey设计: rowkey=segmentSalt+”_"+dataIndexInSegment+”_”+segmentId+”_”+jobTime+”_”+jobId 说明如下: job:job对应运营在后台页面配置的任务,一个job可能多次运行,用jobId+jobTime可以唯一标识一个job的一次发送任务。 segment:一个job的一次发送任务拆分为多个segment,每个segment对应10万条消息。多个segment的消息可以并行发送。 segmentSalt:4位的随机字母,每个segment有一个salt,用于把数据均匀分散到Hbase的不同region中; dataIndexInSegment:每条消息在segment中的序号,从0到99999; 改造前UTT按计划发送时间捞出要发送的segment后,从按0到99999的顺序从Hbase中读取消息,然后发送出去。为了提高效率使用了hbase的批量get方法。 这个设计存在一个很大的问题,同一个segment里的相邻消息的rowkey不是连续的,之间可能隔的非常远。 如下图所示,10000号消息rowkey和100001号消息rowkey之间可能隔了很多rowkey。 这会带来啥问题?这就需要了解Hbase的存储机制。 Hbase的存储是以storeFile为单位,以LSM树(Log-structured merge tree)方式存储。 此结构优化写性能,牺牲读性能。写数据的时候先按rowkey计算出region和store,顺序写入到store的memeStoreFile中,memoStoreFile达到指定大小后flush到磁盘的storeFile中。因此同一个store里,多个storeFile的rowkey的范围是会有重叠的。 按rowkey读取数据时,计算该rowkey可能存储的storeFile,把这些storeFile全部读取到内存中,最后把多个storeFile里查询到的结果合并后输出。 为了提高读性能,Hbase会在后台把多个storeFile进行merge,形成rowkey范围互不重叠的storeFile。 另外Hbase采用按列值KV方式存储数据,也就是说每个列的值都是独立存储的。每个列值KV对里的key包括了rowkey和列名,key里的大部分数据是重复的,storeFile采用压缩算法减小空间。 改造前同一个segment里的消息的rowkey很分散,读取一个segment的消息时要从磁盘上装载大量的storeFile,消耗大量的cpu进行解压缩,这也会导致storeFile 的cache命中率不高。并且读出来的大部分storeFile是没有包含所需数据的。 分析UTT的场景,多个segment是并发读写的,每个segment有segmentSalt,保证了读写均匀分布到Hbase的不同region。如果读取一个segment的消息时能从尽量少的storeFile读取数据,就能够减少磁盘IO,减少解压缩及数据查找的CPU,还能提高storeFile cache的命中率。 改造后的rowkey设计: rowkey=segmentSalt+”_”+jobTime+”_”+jobId+”_”+segmentId+”_”+dataIndexInSegment(前补零到定长5位) 这样多个segment并发读写均匀分散到不同region,同一个segment的消息顺序写到相同的storeFile中,读取的时候不再使用get方法而是使用scan方法。最后qps提升了一个数量级。 附一个hbase的知识脑图,不知道作者是谁,挺好的。

优秀的个人博客,低调大师

烽火18台之七——烽火台在关键信息基础设施安全检查中的应用

关键信息基础设施网络安全检查开启 7月8日,中央网信办网站发布通知,“经中央网络安全和信息化领导小组批准,首次全国范围的关键信息基础设施网络安全检查工作已经启动。”随后,多地以及多个行业召开检查工作动员部署会议。本次关键信息基础设施网络安全检查是围绕习近平总书记“4.19”讲话进行的一次有针对性的、全国范围的网络安全检查工作。盛邦安全对此进行了深入解读,并根据国家要求协助多地进行了安全检查工作。本文主要将盛邦安全对于本次安全检查的理解以及在实践中的所思所想进行阐述,希望能够给各位起到一些借鉴意义。 领导单位:中央网信办牵头组织,各省(区、市)网络安全和信息化领导小组与中央和国家机关将统一领导本地区、本部门的网络安全检查工作,各省(区、市)网信办统筹组织本地区检查工作。 检查范围:除中央和国家机关及其直属机构外,党政机关、企事业单位主管的关键信息基础设施。行业包括能源、通信、金融、交通、公用事业等重要行业运行的信息系统或工业控制系统。 检查时间:至2016年12月底。 应该检查哪些内容? “大量党政机关网络被攻击篡改,网站平台大规模数据泄露事件频发,生产业务系统安全隐患突出,甚至有的系统长期被控,面对高级别持续性的网络攻击,防护能力十分欠缺,加之网络安全威胁具有很强的隐蔽性,“谁进来了不知道、是敌是友不知道、干了什么不知道”,亟须摸清家底加强风险评估和防范。“ ——中央网信办网站 对于关键信息基础设施网络安全检查应该检查的内容,盛邦安全通过分析中央网信办所发布的内容以及实际操作,总结出以下几个方面。 1、摸清家底。无论是习近平总书记在“419”上的讲话,还是实际操作上来看,摸清家底都是安全检查的第一步。只有对关键信息基础设施(例如网络设备、业务系统等)做到心中有数,才能进一步发现其中风险,从而避免存在短板。 2、漏洞扫描。据统计85%以上的攻击来自于漏洞,漏洞可以说是网络安全检查中最重要的一环。而本次检查既包含传统的网站平台、业务系统,还要包括工控领域中的生产业务系统。而且对于关键信息基础设施,漏洞检查应该更加全面,需包含Web漏洞、系统漏洞、中间件漏洞、数据库漏洞。 3、后门检查。国家多次强调了有些系统长期被控的情况,导致“谁进来了不知道、是敌是友不知道、干了什么不知道”。这种现象往往是黑客在早期在系统中植入了后门。后门往往是利用漏洞植入,一旦植入尽管修复了漏洞仍然可以通过后门连接,甚至于绕过防护设备。所以后门检查也是关键信息基础设施检查的重中之重。 4、其他风险。配置基线、弱口令、主机的安全检查等,都是信息系统中常见的风险。这些风险的控制可以有效增加攻击成本,对于我国现阶段网络安全情况非常适用。 5、高级别持续性攻击。文中提到了高级别持续性的网络攻击,此类攻击通常利用0day漏洞,以及先进的攻击手段对特定目标进行长期持续性网络攻击的攻击形式。目前应对此类攻击比较好的手段是利用大数据分析以及威胁情报进行检测。 关键信息基础设施网络安全检查的实践盛邦安全通过烽火台-监控预警系统,在本次关键信息基础设施网络安全检查工作中实现了以下内容。 1、资产发现。WebRAY烽火台-监控预警系统可自动发现网络内的网站、业务系统、网络设备等。可利用分布式模式,通过在各安全域部署探针,发现各区域的内部网络资产。 2、漏洞检测。WebRAY烽火台-监控预警系统提供全面的漏洞检测能力,包含系统漏洞、web漏洞、中间件漏洞、数据库漏洞。同时能够对于工控系统的漏洞进行检测。 3、后门检测。烽火台-监控预警系统通过被动流量检测技术以及基于威胁情报的盲扫技术实现对于后门的检测。对于直观单位实现无感知检测,适用于大规模检测。 4、弱口令检测。烽火台-监控预警系统可支持telnet、ssh、ftp等目前知名的检测协议。 5、高级可持续性攻击检测。烽火台-监控预警系统可集成安全情报,对此类攻击进行深层次检测。 本文出处:畅享网 本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册