首页 文章 精选 留言 我的

精选列表

搜索[基础设施],共10000篇文章
优秀的个人博客,低调大师

从科幻灵感开始的一场数据存储基础设施实验之旅

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 在过去的这个假期里,我深深地体会到了经典科幻电影迷们的那种情感,尤其是当我准备将各种各样无记录的部件组装成一台复杂的存储系统的时候,这种情感从未如此强烈。在那段时间,我就是彻头彻尾的Dr. Cal Meacham(出自1955年上映的经典科幻电影This Island Earth),但是我却没有“Metalunan”(同样出自该电影的角色)来帮我做记录工作。抛开做一些“排序”工作或者其他一些电影中提到的工作不谈,我也不是很确定我的这项发明能够用来存储数据。但不管怎样,我在这个项目中时刻保持着激情。 背景故事 我的测试环境包括两台互为集群的DataCore SANsymphony服务器,其实它早就变成了一台连接各种设备并用于各种测试的外部存储——从USB到eSATA以及Fibre Channel(FC)。每块StarTech.com eSATA板子都达到了它们的极限,它们的硬盘通过DataCore经过虚拟化处理后被放到了存储池中,并平均分给了那两台服务器。通过复制功能,保证两边硬盘上的数据始终是一致的。随着2016年的研究项目进入尾声,我认为是时候去重新考虑下数据存储的架构了,让这堆零散的东西变得更有意义,在新的一年发挥更大的作用。 在这个假期里,一个朋友跟我说他们的公司正准备淘汰一批Promise Technology的阵列——准确的说是3台——通过iSCSI、FC和SAS连接的。他表示如果我想到话,可以将这些阵列用在我的那台存储架构的服务器上,既能实现“垃圾回收”,又能升级我的系统。我确实很想要这批设备,所以在圣诞节的前几天,他开着拖车出现在了我的公寓门口。 当他迫不及待地卸下了那批货物并转身离开的时候,我知道我的生活将会随之改变。每台设备都很重,很显然里面包含了来自不同厂商的TB级和500GB的SATA硬盘,以至于让我、我的朋友以及我未成年女儿的男性朋友合力才能搬到我的办公室里。 “下周我会打电话给你询问下事情的进展,”我的那位朋友在离开的时候急匆匆地说。 卷1:搭建 几乎如他所预见的一样,像我这种智力有限的人是没法完成interocitor测试的。但就像处于科幻电影黄金时代的Meacham一样,我在最开始就预见到了这件事:我购买了3个坚固的架子并用来放置设备:分别为12,12和16台机柜。此前我从来没想到几百TB的数据会如此沉重。 目测来看,这些设备上没有iSCSI接口,但是却有两个FC和1个SAS。更为重要的是,每台机柜在开机之后都会产生巨大的噪音,整个办公室就像飞机库一样。 当决定了如何放置这些设备之后,我开始着手清理电源上的风扇,同时考虑如何为它们提供充足的电力和网络连接,为的就是把这一整套设备放在100英尺(加上两堵墙)的存储室内,和我工作的地方隔离开来。机柜和服务器之间的连接也是一个令人头疼的问题。 卷2:挑战 计划是这样的:将放在外置eSATA、USB以及iSCSI存储上的数据转移到通过新设备搭建的虚拟存储池中。为了实现这个计划,我需要将新阵列连接到服务器上,通过DataCore对其进行格式化并建池,然后将数据拷贝过去,这样之后才能将之前的设备全部淘汰掉。 这是我遇到的***个挑战。我的服务器上没有多余的HBA插槽了,不管是FC还是SAS。从eBay的搜索结果来看,我需要为每块HBA提供一个PCIe x16的槽位。而我的服务器有两个插槽,一个用在了声卡上,另一个则用在了作为集群灾备的两端口的FC板卡上。eSATA需要一个PCIe x1插槽,还剩下一些看起来不错但是比较过时的32位PCI插槽。其实我可以从Association of Service以及Computer Dealers的供应商那里买到极为便宜的HBA卡,或者从eBay也可以,但前提是我得有多余的插槽。 长话短说,***的设备居然是一块被某人出于某种原因翻新过的FC控制器。我之所以发现这件事,还是在新年过后和一位来自Promise Technology的技术支持的聊天中,我顺带脑补了这样一个场景:我摇着他的头问道:“你就不能从Promise买一块***的VTrak吗?” 卷3:收尾 我需要进行很多测试来验证控制卡移植的可用性。但不管怎样,一块SAS和一块FC都被我丢下了。我也可以将FC控制器集成到SAS中,进而将它转换成一个FC设备。这也使得我可以将每台存储设备连接到服务器上的任何一个HBA的FC端口上。或者,我也可以买一台二手的Brocade FC交换机,从二手市场购买的话既可以便宜80刀,还能保证所有连线都是安装好的。 不管采用哪种办法,我的interocitor测试平台***都搭建起来并开始运行了,而且在很短的时间里,所有的存储架构都将被进行虚拟化,所有那些4硬盘的小阵列进而都会被淘汰掉。好吧,也许是我下次需要更多活动空间的时候才会考虑将它们都扔掉。 下一步就是为整个平台部署一套Strongbox Technologies的Strong LINK软件,同时添加一套LTO-5或者更好的带库存储设备来运行Linear Tape File System。这样一来,那些极少被访问的数据就会被自动迁移到带库中了。 我花了不到几百美元的钱搭建了一套不错的存储架构,而且还可以定期对其进行扩展。这就是我所谓的特殊的圣诞假期。在此感谢Metalunans给我的启示。 *Interocitor,1955年科幻电影中的智力测试设备。

优秀的个人博客,低调大师

MinerU 4.0 正式发布:让复杂文档成为 Agent 可用的知识基础设施

MinerU 是上海人工智能实验室 OpenDataLab 团队开源的智能文档解析工具,也是开源社区中最受欢迎的复杂文档解析工具之一。它面向 PDF、图片、办公文档、网页、电子书等复杂文档,提供结构化解析与内容提取能力。目前,MinerU 已获得超过 8 万 GitHub Star,并在科研文献解析、AI-Ready 数据生产和企业知识库建设等场景中持续被使用。

优秀的个人博客,低调大师

LockBit5.0 横扫政企虚拟化基础设施

经历执法机构打击之后,LockBit 勒索团伙重建运营体系,推出全新迭代版本LockBit5.0,是当前全球活跃度最高的 RaaS 勒索威胁。该版本实现 Windows、Linux、VMware‑ESXi 全平台打击,主打三重勒索:数据窃取 + 文件加密 + DDoS 施压,制造业、医疗、文娱、虚拟化集群成为重灾区ngCERT。本文梳理 LockBit5.0 完整攻击链路,结合海外知名企业真实攻击案例,拆解加密特征、入侵路径、应急处置以及分层防御方案,帮助运维人员识别、处置该高危威胁。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册