首页 文章 精选 留言 我的

精选列表

搜索[自我进化],共7131篇文章
优秀的个人博客,低调大师

Oracle Autonomous Linux:用于云计算的自我更新、自我修补的Linux发行版

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 自动化是 IT 行业的增长趋势,其目的是消除重复任务中的手动干扰。Oracle 通过推出 Oracle Autonomous Linux 向自动化世界迈出了又一步,这无疑将使 IoT 和云计算行业受益。 Oracle Autonomous Linux:减少人工干扰,增多自动化 周一,Oracle 联合创始人拉里·埃里森Larry Ellison参加了在旧金山举行的Oracle OpenWorld 全球大会。他宣布了一个新产品:世界上第一个自治 Linux。这是 Oracle 向第二代云迈进的第二步。第一步是两年前发布的 Autonomous Database。 Oracle Autonomous Linux 的最大特性是降低了维护成本。根据 Oracle 网站 所述,Autonomous Linux “使用先进的机器学习和自治功能来提供前所未有的成本节省、安全性和可用性,并释放关键的 IT 资源来应对更多的战略计划”。 Autonomous Linux 可以无需人工干预就安装更新和补丁。这些自动更新包括 “Linux 内核和关键用户空间库”的补丁。”它们也可以在系统运行时进行,以减少停机时间。Autonomous Linux 还会自动处理伸缩,以确保满足所有计算需求。 埃里森强调了新的自治系统将如何提高安全性。他特别提到了 Capitol One 数据泄露是由于配置错误而发生的。他说:“一个防止数据被盗的简单规则:将数据放入自治系统。没有人为错误,没有数据丢失。 那是我们与 AWS 之间的最大区别。” 有趣的是,Oracle 还瞄准了这一新产品以与 IBM 竞争。埃里森说:“如果你付钱给 IBM,可以停了。”所有 Red Hat 应用程序都应该能够在 Autonomous Linux 上运行而无需修改。有趣的是,Oracle Linux 是从 Red Hat Enterprise Linux 的源代码中构建的。 看起来,Oracle Autonomous Linux 不会用于企业市场以外。 关于 Oracle Autonomous Linux 的思考 Oracle 是云服务市场的重要参与者。这种新的 Linux 产品将使其能够与 IBM 竞争。让人感兴趣的是 IBM 的反应会是如何,特别是当他们有来自 Red Hat 的新一批开源智能软件。 如果你看一下市场数字,那么对于 IBM 或 Oracle 来说情况都不好。大多数云业务由 Amazon Web Services、Microsoft Azure 和 Google Cloud Platform 所占据。IBM 和 Oracle 落后于他们。IBM 收购 Red Hat 试图获得发展。这项新的自主云计划是 Oracle 争取统治地位(或至少试图获得更大的市场份额)的举动。让人感兴趣的是,到底有多少公司因为购买了 Oracle 的系统而在互联网的狂野西部变得更加安全? 我必须简单提一下:当我第一次阅读该公告时,我的第一反应就是“好吧,我们离天网更近了一步。”如果我们技术性地考虑一下,我们就像是要进入了机器人末日。如果你打算帮我,我计划去购买一些罐头食品。 你对 Oracle 的新产品感兴趣吗?你会帮助他们赢得云战争吗?在下面的评论中让我们知道。

优秀的个人博客,低调大师

云存储进化

大数据时代,PC互联网,移动互联网以及社交化平台的发展,让数据呈现几何化、爆炸式增长。而随着数据来源渠道的增多,网络的数据也不再是单一的数据类型,大量的非结构化数据涌现改变了数据的组成模式。如今大数据使得整个互联网科技都面临新一轮的洗牌,如何利用大数据将成为决定企业未来命运的关键! 那么大数据究竟有多大呢?可能很多人会问这个问题。2013年,世界上存储的数据预计能达到约1.2泽(约12亿TB)字节。12亿TB是个什么概念?如果把这些数据全存储于标准的光盘,这些光盘可以堆成五堆,每一堆都可以伸到月球。而如果把这些数据存储于1TB容量的硬盘中,那么将需要12亿块,这些硬盘可以分为五堆,每堆相当于长城的长度(6700公里)。 云存储是伴随云计算发展起来的一种新兴的存储模式,对于很多人来说是一个相对陌生的领域。其实云存储技术早已深入到我们的生活和工作中,只是很多人还没有意识到它的存在罢了,目前云存储技术已经在大数据解决之道方面有了一些案例。随着大数据时代的来临,云存储将担负更多的任务和使命 微软SkyDrive云存储 近日360网盘的推出以及与百度1TB竞争升级的事件相信大家都有所耳闻!没错,这些网盘其实就是最典型的云存储应用。这些云存储服务商为用户提供定量的存储空间,让用户实现通过PC、手机等终端进行访问等需求。网盘、云盘这些云存储技术是最典型也是最初级的云存储技术,如今一些企业已经将云存储技术有了更深层次的发展和创新,例如迅雷的云加速功能。 2013年互联网大会迅雷CEO邹胜龙将云存储加速带来的改变形容为:“让大数据像水一样的自由流淌。”在当时听到这句话的时候,我对这句话并不理解,据我所知,迅雷随身盘这种典型的云存储模式并没取得成功,而且即将在2013年9月1号停止支持,那么邹胜龙先生是为何在大会上反反复复强调迅雷云加速技术呢?又是如何让大数据能够自由流动呢? 迅雷对云存储技术有了更深层次的应用 带着这些不解,笔者翻看了迅雷云加速的一些业务。目前迅雷已经拥有高速通道、离线下载、迅雷云播、迅雷网游加速器、手机迅雷等多个产品,并且覆盖PC、手机、平板、TV四屏,可以说迅雷如今基本完成了对业务的全面布局。 根据笔者对这些业务的研究发现,在这些业务中,如离线下载、高速通道等很多服务都是基于云存储功能而实现的,可以说这些技术都是云存储技术的一种创新和演进。迅雷对云存储技术有了更深层次的应用,并不只是局限于传统的数据存取和数据保护,更是将云存储技术应用到下载、视频、网友等领域,是云存储技术应用到大数据方面的一个全新创新! 迅雷业务种类很多 迅雷利用云存储技术确保用户能够获得流畅、连贯的体验,而且还推出了根据账号实现云端同步的功能,可以说迅雷如今已经利用云存储实现了整个产品的布局,让大数据之间的传输更自由。那么迅雷是如何利用云存储技术的创新促进大数据之间的流动的呢? 下面我们就通过离线下载业务来看一下讲解下迅雷的云存储创新之处。 离线下载是迅雷云加速中的一个重要的功能,当下载的时候遇上冷僻的资源时,由于中国网络资源复杂,如果从原始服务器下载到本地,可能由于资源少、距离远等原因使得下载的速度不高,这样使用普通下载就会浪费大量的时间和电费。而当资源好,速度高的时候,则会影响用户正常的网络问题,造成别的任务无法完成。 迅雷离线下载每传输完一个文件,就会记录文件资源的地址,CID值,以及文件其他的特征信息。如此积累,迅雷便保存了大量文件的特征信息,当再有用户下载相同的文件时,迅雷云加速服务不再需要从资源所在的服务器下载文件,而是从迅雷云加速服务内部的资源中直接复制到用户的离线传输文件夹里,这样,一个几GB 甚至几十GB 的大文件在瞬间就传输完成了,因此很多人觉得离线下载极快,叫做‘秒杀’。 云存储后台需要什么样的支持? “秒杀”下载并不是迅雷服务器神通广大,而是迅雷利用云存储技术的一种创新。这样能节省大量带宽用于传输迅雷云加速网络上不存在的新资源。正是利用这样的方法,迅雷不断积累资源,不断索引资源。但很长时间都没有人再下载的文件,迅雷云加速服务也会删除这个文件的索引信息,减少服务器空间占用。 离线下载业务实现了数据之间的快速传输,在大数据时代,让人们之间的数据流动性更欢快。但目前迅雷离线下载只提供给会员使用。如果你是会员用户,那么就可以依靠迅雷的服务器强大的下载功能下载文件,或者直接从迅雷服务器上直接下载别人已经下载的文件,等于复制粘贴,这样就节省了大量的时间,促进了数据间的流动。 云存储服务器需要强大的后台支持 目前迅雷每个月付费会员高达400多万,而且在400多万用户背后还有近3亿的免费用户,这些用户也可以用迅雷的离线下载业务,这必然需要强大的云存储平台支持,给用户提供离线下载业务,而且还要满足数据的文件总量的增长以及用户流量的激增的挑战。同时云存储平台需要不断的对其服务器平台进行存储容量、系统宽带,I/O的需求增加。 下面我们就来讨论下什么样的平台才能满足迅雷的需求。 要想搭建能够满足用户需求的云存储平台,我们首先需要先了解离线下载平台的原理: (1)用户通过客户端或Web界面向服务器提交一个下载请求。 (2)服务器端接受请求,首先查询用户提交的下载链接是否被下载过。如果有,直接把已下载的数据文件(或只是文件的链接)放入用户服务器端的在线空间。如果没有,开启多线程实施下载(或用某公司自己特有的P2P方式)。 (3)下载完成后,用户在线登录到在线空间,取回下载的文件。其间也可以采用迅雷提供的P2P方式,从已下载或正在下载相同文件的用户那里取得数据。 (4)离线下载多针对冷门资源,或资源少的文件。待服务器端不是替用户下载完成后,用户还需要利用下载软件从服务器上下载文件。相比直接下载,增加了下载资源速度,节约了时间。 如何搭建离线下载支持平台? 那么需要多少服务器才能满足迅雷400万的会员以及将近3亿的普通用户需求呢?笔者开始误以为这个业务会需要很多服务器支持。但是通过对迅雷的离线下载平台进行研究后,发现支持离线下载的服务器并没有我们想象的那么多。毕竟这些用户并不可能同时下载数据,而且每个用户的下载也不可是都饱和,冷门的数据也并不是一直存储,所以对服务器的需求并没有想象的那么多。 下面我们来细分析一下这个平台的组成,可能大家就会明白为何并不需要那么的服务器就能够满足用户需求了。 离线平台需要离线下载服务器、WEB服务器、数据存储服务器三个平台共同支持。这三个平台都需要出色的性能支持,在处理器和内存方面并没有区别,主要区别是在存储硬盘方面的不同。 下面我们从性价比和需求方面来预测一下三种系统在存储方面的需求: 离线下载服务器主要提供的速度下载,所以对服务器的硬盘性能和容量要求较高。选择SAS硬盘为宜;数据存储服务器提供存储功能,对存储的容量要求高,但是对速度没有太大的需求。采用SATA硬盘为宜;Web服务器对硬盘的速度和性能要求高,但是对容量的大小没有太大的要求。采用SAS硬盘既可满足。 利用对云存储技术的改进和创新,迅雷解决了离线下载业务的支持问题。同时这种技术也能够胜任多种业务,如数据存储、数据库应用、高性能计算、计算机集群等领域。云存储技术让数据的存储更简单,灵活性更强。在大数据来临之际,云存储技术的创新与发展必将促使大数据发生新的革命,让数据真正的实现自由流动。 本文转自d1net(转载)

优秀的个人博客,低调大师

译: 进化的系统需要进化的系统工程

By James TurnbullInes Sombra March 20, 2018https://www.oreilly.com/ideas/the-evolution-of-systems-requires-an-evolution-of-systems-engineers 在过去的几周,我们一直在反馈从我们第一次站在职场时就在变化的工业技术。我们在寻找在两个不同的但是重叠领域的变化:技术的变化与方法学的变化。我们大部分人第一次接触的系统是第一代的CS应用。它与它的上一代系统有很大不同:其通过控制台连接到一个运行在大型机或中型机的中心化应用。工程师像增强服务器一样学习它的客户端逻辑。连接性,传输的数据,安全,延迟与性能,客户端与服务器间的状态同步成为管理系统时需要考虑的问题。 复杂性的提高需要其对应的管理这些系统的方法与技能的提

优秀的个人博客,低调大师

Kafka实战(三) -Kafka的自我修养

Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系统要执行多种类型的数据处理与分析,主要包括业务系统和应用程序性能监控,以及用户行为数据处理等。 遇到的主要问题: 数据正确性不足数据的收集主要采用轮询(Polling),确定轮询间隔时间就成了高度经验化的难题。虽然可以采用一些启发式算法(Heuristic)来帮助评估,但一旦指定不当,还是会造成较大的数据偏差。 系统高度定制化,维护成本高各子系统都需要对接数据收集模块,引入了大量的定制开销和人工成本 LinkedIn工程师尝试过使用ActiveMQ解决这些问题,但并不理想 显然需要有一个“大一统”

优秀的个人博客,低调大师

微服务——程序员的自我修养

微服务在2016年成为仅次于物联网和认知计算的第三热门技术,微服务究竟有何等神通,让ThoughtWorks、Netflix、Amazon、Uber等公司趋之若鹜? 传统应用之殇 版本发布·千年等一回 在过去传统企业应用开发模式下,每当遇到需求要修改时,不得不按照大颗粒系统发布版本,瀑布式的版本计划困住了程序员那优雅的双手。 应用升级·祝你平安 应用无法做到永远在线,大版本升级时,不得不停机中断服务。一个小小的问题就有可能带来整个系统的崩溃。 技术选型·独角戏 技术实现单一,需要想办法用一种技术解决所有问题。每个问题都变成钉子,每个方案都被当成锤子。 微服务·初见 如何解决传统应用开发模式逐渐暴露出来的牢骚?随着领域驱动设计、持续交付、按需虚拟化、基础设施自动化、小型自治团队等实践的流行,微服务架构逐渐地被广大勤劳智慧的架构师们归纳总结而出: 微服务架构风格,描述的是一个大型复杂软件应用系统由若干个微服务组成。系统中的各个微服务能被独立部署和扩展,每个微服务还能提供一个稳固的模块边界。各个微服务之间是松耦合的,微服务很小,专注于做好一件事情。微服务框架带了良好的技术异构性、弹性、扩展性,它的简化部署为持续交付提供了巨大推动力。 微服务·爱你在心口难开 事实是大量传统应用在微服务改造过程并没有想象的那么顺滑,虽然微服务带来的好处多多,同时也引入了很多新的挑战,如: ?分布式编程难度大、有风险:分布式编程难度更大,远程调用更慢且总存在失败的风险 ?需处理分布式系统的一致性:对分布式系统来说,保持一致性非常困难,意味大家都要处理最终一致性 ?增加运维复杂性:需要一个成熟的团队(机制)来管理大量需要频繁部署的服务 那么,是否该用微服务架构?什么时候用微服务架构?该用什么样的微服务架构?怎么用微服务架构?遗留业务如何快速迁移上云?微服务化之后繁杂的微服务如何管理运维? 微服务·多了“引擎”两个字 如何解决以上问题? 你也许希望有一个开发框架,能够帮助各企业和开发者最大化的降低应用微服务化的门槛。 你也许希望有一些工具,能够有力支撑企业在微服务架构下的高效开发。 你也许希望有一个平台,能够帮助企业和开发者全方位管理改造后的大量微服务。 你也许希望有一位领先微服务改造专家,能够给予专业的微服务化解决方案指导。 微服务引擎CSE是全新的企业级微服务开发与管理平台,包含了微服务SDK、一系列配套的开发工具以及一站式微服务应用管理平台,致力于为企业提供0门槛服务化改造,为企业提供微服务全生命周期管理服务。在CSE上线之前先让我们露出一小部分核心性感的特性刷新你的微服务观。 1.开放是一种人生境界 CSE支持多开发模式多语言多协议,传统应用改造0门槛。无论遗留应用是SpringMVC、透明代理、亦或是JAX-RS的开发模式,业务代码0改动就可以完成微服务改造。无论你是倾心GO语言还是青睐JAVA,无论你是执着REST协议还是钟情RPC,没有做不到,只有你想不到。同时,CSE-SDK还兼容spring-cloud主流社区,保持与业界生态能力互通。 2.用一杯咖啡的时间完成微服务改造 CSE黑科技助力传统应用0修改服务化。当然开发者可能已经写好了一些微服务或者真的一丁点儿都不想改动遗留代码。CSE提供了一项黑科技,支持非侵入接入微服务治理。给你一个微服务摇篮,让遗留应用无缝接入CSE微服务治理与管控平台,让你的应用安全可靠舒心。 3.周末再也不想接到加班电话? 一站式微服务应用管理云服务,服务论剑随时随地:在微服务开发完毕之后,繁杂的微服务实例如何管理、如何监控、如何运维?微服务引擎的一站式微服务应用管理平台,提供微服务全生命周期管理,提供微服务治理、微服务安全管理、灰度发布、分布式事务等等特性。让你享受谈笑间樯橹灰飞烟灭的商业快感! 原文发布时间为:2017年10月20日 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

安全驻场工程师的自我救赎之路

前言 IT行业外包的现象已经是很普遍的现象了,安全自然也不例外,一些甲方的企业建设中,因为编制或资源的限制,通常会把自身不愿意组建团队来做的事情,外包出去,这通常就是很多驻场同事口中的ITO,因为编制与公司福利的不对等,很多驻场工程师心中都会有明显的“不平衡”感,即拿着乙方的薪水,操着甲方的心,生在甲方的阵营,活在乙方的世界。有时候甚至也会夹杂在乙方公司与甲方公司的诉求之中,委屈求全,艰难求存,着实两边受气,想着“钱没到位”+“心委屈”的双重冲击下,默默的打开了某些招聘网站,一脸生无可恋的感触。 那么面对这样的情况,安全驻场工程师如何才能更好的在甲方场景下幸福的“生存”下去呢?这成了很多小伙伴头痛的事情。 一、目的 身边有很多萌新的安全小伙伴有时候会经常自嘲为ITO,觉得干着甲方的活,受着乙方的气,不断的抱怨着甲方的人如何如何,感叹时运不济等等,看到他们负能量爆棚,一面虎口婆心的安慰道,一面思考着,如何才能快乐的干下去,减少这种负能量呢?这好像是个有意思的事情,接下来从安全项目驻场与安全服务驻场两种情况下从驻场工程师的视角下来谈这个问题。 二、安全服务驻场工程师 企业发展的过程中,都会有各种各样的项目,安全建设过程中,自然也不例外,因为某些原因,安全服务就会上线,对于稍大型的甲方来说,都会要求与安全服务配套的驻场人员,这样可以更好的提高服务,也能交付质量,让甲方放心。 安全服务驻场,一般会根据服务的时间来确定驻场时间的长短,那么,如果遇到这样的,安全驻场的小伙伴应该从哪几个方面注意呢? 1. 了解安全服务内容 注意在安全服务驻场时,自己在此服务中承担的职责是非常重要的,这一点关乎到切身的利益,这可以让自己在今后的服务过程中,能够很清晰的明白工作界限,及时把自己职责内的重要工作做好,避免因为一些琐事导致主要职责未做好,因小失大。 2. 制定可行计划 一般来说,知道自己的工作职责后,项目经理都会对项目有个实施计划,此时,应该在他的计划框架下,根据自己的工作职责内容,设定一个自己专有的计划,明确每个时间节点应该做好的事情,这样才不会因你拖延项目进度,导致留下不好的印象。 3. 及时汇报沟通 无论是在甲方还是乙方,这个点都是需要特别注意的,每次领导或甲方人员安排的事情,都应该问自己“三个问题”,是什么?为什么?怎么做? 中间的过程文档保持留存的习惯,每做完一部分内容,都可以发邮件给领导或者甲方人员,简述工作内容,进度,难点,以及需要提供的帮助,必要的时候,可以现场进行阶段性的汇报,让他们知晓自己工作的情况,也便于当内容有变更时能及时知晓,或者工作存在差异时能及时纠正。 4. 定期复盘总结 每次做完一件事情,都应该去总结、复盘,只要这样才会发现哪些不足,需要优化,哪些地方下次可以借鉴,这样才能慢慢积累出属于自己的做事方法与思维逻辑。 三、安全人力驻场工程师 说到安全人力驻场,很多小伙伴不明白跟安全服务驻场有什么不同,其实本质的区别在于,安全服务驻场工作职责由乙方领导分配,KPI遵守乙方公司考核,安全人力驻场的工作职责由甲方人员分配,基本上不受乙方公司的约束,KPI遵守甲方人员考核,也就是绩效与奖金由谁决定的问题。当然,如何处理甲乙方之间的关系,这又是一门高深的学问,此时我们暂且不论。 切记:安全人力驻场的单位一定要能让自己快速成长的。 那作为安全人力驻场工程师,我们应该如何呢? 1. 主动沟通主要工作内容 一般来说,甲方的安全人员都会找对应的安全工程师沟通主要工作内容,遇到规范的,要求高的甚至已经将对应的KPI准备好了,当然也不排除,某些甲方人员太忙而把你忽略掉,或者要干些各种杂事,遇到这样的情况,最好主动去沟通主要工作内容,这样不会感觉没事做惶恐不安,也能尽早的了解自己主要的内容,当然对于有“目的”进大型公司做安全人力驻场的小伙伴,自然是更好的事情。 2. 适当展现擅长方面、积攒信任 在知道了自己的工作内容后,就可以根据内容在某些特殊的时候展现自己的优势与擅长的方面,这目的一是为了让甲方“爸爸”知道你的能力,二是积攒信任,让他觉得你更加的可靠,为今后给予更多的工作奠定基础。 3. 尽快熟悉甲方工作流程 熟悉甲方内部的流程,这对于工作的正常、顺畅的推进作用很大,一般甲方内部,因为公司的制度,要求,都会导致整个工作流程冗长,尽早熟悉,对自身了解甲方的业务流程及安全制度帮助明显,也为以后有想法进甲方的小伙伴提供一定的基础,为继续在乙方的小伙伴锻炼“甲方思维”。 4. 主动承担更多工作事务 随着在甲方的时间越长,对甲方环境的熟悉,此时可以根据自己的能力主动承担更多的事物,增加自己的价值,也为甲方同事“减负”,让他有更多的时间去做他觉得有意义的事情,让你成为他的“左膀右臂”,自然后面的加薪、升职少不了,当然此时肯定会累一些,但肯定是值得的。 这里有一点需要特别强调的,当你的想法与他冲突之时,你可以尝试着说出想法,如果采纳,你下次可以继续,如果连续几次,他都拒绝,那就按照他的思路来,把自己的想法放在心中,切不可正面“刚”,这有百害而一利。 5. 及时汇报事情进度 无论是在甲方还是乙方,这个点都是需要特别注意的,每次甲方人员安排的事情,特别是重点的事项,都应该问自己“三个问题”,是什么?为什么?怎么做? 中间的过程文档保持留存的习惯,每做完一部分内容,都可以发邮件给甲方人员,简述工作内容,进度,难点,以及需要提供的帮助,必要的时候,可以现场进行阶段性的汇报,让他知晓自己工作的情况,也便于当内容有变更时能及时知晓,或者工作存在差异时能及时纠正。 其实这一步,是让甲方同事对你真正的信任,你想,一个有能力,又懂得从领导角度想,有责任心的人,谁都不会拒绝的。 6. 打野式学习,提升能力与思维 为什么叫做打野式的学习呢?其实是因为在甲方的事情会比较杂,不会是一个螺丝钉的活,这会导致时间是断断续续的,不连续,这时,我们就应该跟打游击一样,遇到有较长的时间之时,合理的利用,可以找自己喜欢看的技术点,也可以是做事情的方法,例如金字塔原理、OPR工作法等,最重要的还是需要学会换位思考,从站在甲方同事的角度想想,他会如何做呢?这一招很有用。 7. 定期复盘总结 每次做完一件事情,都应该去总结、复盘,只要这样才会发现哪些不足,需要优化,哪些地方下次可以借鉴,这样才能慢慢积累出属于自己的做事方法与思维逻辑。 圈内很多的大佬都是从一次次的复盘、总结中成长起来的,通过每次的复盘、总结能锻炼自己的思维与逻辑,正所谓“人与人之间的真正差距,在于思维的层次。” 四、总结 说了这样多,很多小伙伴都会觉得很��嗦,没办法,文笔不好,各位大佬将就着看吧,希望能正在从事安全驻场或者准备从事安全驻场的小伙伴一定小小的帮助。 【责任编辑: 赵宁宁 TEL:(010)68476606】

优秀的个人博客,低调大师

自然语言处理发展历程自我总结

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zergskj/article/details/72862480 自然语言处理(NLP)历史悠久,从上个世纪初,便有人开始提出自然语言相关的规律和假设,但本人阅读了若干自然语言相关的书籍后,发现自然语言处理的方法论在长达近1个世纪的时间内并无半点实质上的进展。 自然语言处理的方法体系目前大致可分为两个方向: 1.形式化语言处理方向 这个方向吸引了众多学者,体系非常庞杂,其中诞生了很多处理主义,但都并未有革命性的变化,基本上属于盲人摸象,其中就包括了如下理论:范畴语法、语言串分析、语言集合论、有限状态语法、短语结构语法、线图分析、汉字结构、左结合、合一运算、依存配价、格语法、词汇模型…… 不一一列举了,防止被绕晕,其实都是文字概念上的变化,很多概念都有重复的嫌疑,总结一下,就是基于语言规则的形式化模型,各有各的细微变化,但都没有从根本上解决问题,用人力可以实现有限状态机的“有限度的”智能。 2.数字化语言处理方向 这个方向似乎才是沿着科学的道路在前进,但发展似乎也很慢,主要包括如下理论:概率语法、Bayes动态规划、HMM、CRF、LSTM、CNN,这些方法将语言看作数字信号,使用概率论的方法对其处理,但也没有真正实现语义理解。 针对以上两个方向,我个人认为,数字化语言处理才是正确的,但对形式化语言处理的认识越深,才能更好的设计自然语言处理模型,现阶段想要做出自动学习语言并生成语言认知模型还比较困难,但形式化方向上很多先驱提出的算法、语言规律和语言现象,有助于网络结构和参数的设计。

优秀的个人博客,低调大师

从未停止进化的MaxCompute

2017云栖大会·杭州峰会将于10月10日-14日在杭州云栖小镇隆重举行,据相关数据显示大会多场主题分论坛门票都已经售罄。在这110余场主题分论坛中,可能备受大家最为感兴趣是人工智能、大数据的专场。大数据的热度在深圳峰会、成都峰会、上海峰会都逐一印证。 提到阿里巴巴、阿里云大家都会想到大数据、科技,也会联想到阿里巴巴自研的大数据平台MaxCompute。MaxCompute从诞生至今也已经有7个年头了:从 2010 年 4 月,MaxCompute正式投入阿里云金融生产到2016 年 MaxCompute 2.0 云栖大会正式对外发布,无不证明MaxCompute在成长、在壮大、在拥抱生态、在赋能更多伙伴实现业务数据化,数据业务化。 (图:2016杭州云栖大会 计算平台负责人关涛做MaxCompute2.0发布) 距离2016年云栖大会

优秀的个人博客,低调大师

视频监控存储在进化

除了上帝,谁都离不开数据,所以,大数据时代数据存储量呈现爆炸式增长。同时,随着IT网络技术的蓬勃发展和视频监控数字化、网络化、高清化、智能化的逐渐成熟,视频监控前端摄像机视频采集技术也在飞速发展,从早期的10万像素到今天的200万、500万像素,视频清晰度越来越高,视频画面中的信息量也越来越丰富。作为安防视频管理系统信息的最终集散地,存储技术引发了行业变革。那么,追根溯源,我国视频监控存储技术,经历了哪些变革呢? 被遗忘的存储记忆 第一代存储是早期的监控系统采用的VCR存储,VCR存储实现了最基本的记录功能或记忆功能。这个存储技术在2000年初较为盛行,韩国品牌为主,国内企业较少涉足。由于年代较于久远,而且磁盘存储的诸多不足,在这里不做详细介绍和点评。 从宠爱到非主流 第二代的存储是DVR,DVR产品的出现让人们眼前一亮,DVR采用数字化视频图像处理方式,并应用了计算机及网络技术,视频存储在硬盘上,实现了存储的数字化,录像很容易在各种数字介质上转移和复制,而视频的质量不会因此有任何的降低。另外,DVR的存储也可以实现远程网络的管理。从DVR开始,引爆了当时中国安防的数字化升级浪潮。杭州出现的上市部落那几家企业,都是从DVR产品开始企业的技术与资金的原始积累。就到目前为止,DVR仍有市场。不过,从宠爱到边缘化,只能说安防的演进之路,它算是一个见证者。 并驾齐驱的双雄之争 第三代存储,这里一直存在争议,有人说NVR,有人说是IP存储。其实这两种存储都是视频存储发展过程中的一个阶段,都可以归纳为网络存储。现在很多用户和工程商将网络和高清等同了,其实这是概念的错位,网络存储最重要的不是解决网络的问题,而是解决高清的问题。早期的IPC确实是解决网络的问题,模拟系统无法让终端的客户控制最前端的摄像头,所以IPC诞生了,随着IPC的发展,我们发现2012年之前只有网络才是解决高清的最好的方式。所以才导致很多人误将高清和网络混淆了。这样我们就很清晰的认识到第三代存储是网络存储,用网络手段解决了高清的问题。 网络存储最为常见的就是NVR和SAN,前者是由DVR发展而来的,DVR接模拟摄像头,改为接网络摄像机就是NVR了,所以NVR集成了DVR的各种技术,表现出产品非常成熟和稳定,非常适应安防行业。NVR这个概念有苏州科达提出,2008年当时是一石激起千层浪,引发行业其他巨头研发混合DVR与之抗衡。就目前应用而言,NVR自身技术也在升级,完全可以适合于小型高清项目应用。 IPSAN在安防行业出现也较早,在2005年到2011年之间,仿佛最早的集中存储方案,IP-SAN是存储的唯一选择。而2011年之后,IPSAN同门师兄(FCSAN诞生早于IPSAN),FCSAN在安防耀世而出,开始了征程。与IPSAN相比较,优势显而易见。 其一,能大幅提高系统架构的稳定性。一般来说IP SAN监控存储设备的磁盘控制器不是采用FC SAN存储设备中的硬件RAID芯片+中央处理器的结构,而是采用每个磁盘柜中分为多个磁盘组,而每个磁盘组由一个微处理芯片控制所有的磁盘RAID操作(采用软件计算,效率较低)和RAID组的管理操作。这样一来,每一次磁盘I/O操作都将经过IP SAN存储内置的一个类似交换机的设备从前端众多的主机端口中读取或者写入数据,而这些操作都是基于IP交换协议,其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作,所以一般我们看到的IP SAN存储都具有几十个GB的缓存。利用这个大的缓存区,IP SAN存储在测试Cache的最大读带宽时可以获得600,000IOPS甚至以上这样高的值,但是这个值并不能真正说明在实际应用中就能够获得好的性能。因为在具有海量存储的时候,不可能所有的数据均载入到系统缓存中,这个时候就需要大量的磁盘I/O操作来查找数据,而IP-SAN存储所采用的SATA磁盘在这一块切切性能非常弱,而且还涉及到一个在IP网络上流动的iSCSI数据向ATA格式数据转化的效率损失问题。也就是说IP-SAN存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。而采用FC磁盘的FC SAN存储设备就不存在这样的问题。通过2条甚至4条冗余的后端光纤磁盘通道,可以获得一个非常高的磁盘读写带宽,而且FC的磁盘读写协议不存在一个数据格式转换的问题,因为他们内部采用的都是SCSI协议传输,避免了效率的损失。而且FC SAN存储设备由于光纤交换和数据传输的高效性,并不需要很大的缓存就能够获得一个好的数据命中率和读写性能,一般2Gb或者4Gb即可满足要求。另外由于具备专门的硬件RAID校验控制芯片,所以磁盘RAID性能将比软件RAID性能好很多,并且可靠性更好。 其二,比IP SAN节省50%以上的项目建设成本,利于产品的再次升级或换代。FCSAN诞生于1991年(被美国的行业标准协会批准通过),一直应用在银行、电信、广电、证券交易所等高端行业,其中证券交易所是国家规定必须使用光纤存储,在以往光纤核心技术都在国外的厂家手里,使用成本很高。北京智慧仓存储技术有限公司在国内率先开发RAID算法,设备不需使用RAID卡;同时稳定支持用户自购的监控级硬盘,是用户购买费用大幅降低。而IPSAN诞生于2001年,专门开发的低端存储,以往的应用范围也不是很广,到了高清视频广泛应用之后,才大规模使用,成本只有市场上最低价格FCSAN的三分之一或四分之一。虽然IP SAN的千兆起步价格确实比较便宜,但今天的千兆以太网如果要在性能上与FC SAN一争高下的话,必须全部升级来达到下一代10G的速度才有可能与4G FC SAN相提并论。但目前来看,10G以太网技术主要应用在大型城域网骨干,10G桌面的以太网技术和产品尚不普及,10G IP SAN价格也远高于4G FC SAN。 最后,FC SAN解决了目前低端IP SAN存储的主要技术问题,如IP SAN常见的科学技术缺失(光纤通道技术、RAID技术等),可以大大改进存储的安全性、稳定性、磁盘兼容性和可维护性等。智慧仓的FC SAN是嵌入式操作系统,一般非嵌入式系统盘容为1GB,而智慧仓只有其十分之一,安全性大为提高。如果是非嵌入式系统,故障率一般较高,抗以外破坏能力也弱,断电等意外情况经常会导致系统重新启动或RAID不能正常组装。我们的RAID技术除了经济性高还有较高使用寿命,独有的配置方法可以保证多组RAID大量硬盘的运行稳定。此外,在售后中可以简单更换整机而无需重新初始化RAID,提供安全性。 IP SAN到今天为止,最快的传输速度约为50MB/s,而FC SAN早已达到200MB/s,那么,对于需要超大带宽的应用方案,如视频点播等,FC SAN就比较具有优势,但对于一般的联网、备份、资料库等,两者均可满足。 当然,在这个发展阶段,NASDAS也有出现并赢得了小众市场,毕竟非主流,不在这里介绍。 停在云端的存储新未来 云存储,这个炙手可热的新一代存储方式,牵动和行业神经。提到先进的存储技术就不能不讲到云存储。这是一种具有很大诱惑性的存储技术,云存储可以实现存储完全虚拟化,大大简化应用环节,节省客户建设成本,同时,提供更强的存储和共享功能。云状存储中所有设备对使用者完全透明,任何地方、任何被授权用户都可以通过一根接入线与云存储连接,进行空间与数据访问。用户无需关心存储设备型号、数量、网络结构、存储协议、应用接口等,应用简单透明。云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。可以说,云存储是安防未来的主流,但目前国内企业真正具备其技术的厂家较少,还有许多完善之处,特别是与大数据的结合应用。 值得一提的是,云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。而云存储的基础层基本上是SAN存储,这些SAN数量庞大且分布在多不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和 IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。所以,云和SAN如何高效结合,是未来存储技术提升的关键。 结束语 对于当下视频监控存储技术,可以说群雄逐鹿。我们看待存储方式,不仅在于产品质量,更为重要的是该存储产品是否能和目前的行业应用现实相结合,同时还能顾及到未来的发展趋势,具有出色的兼容性。从目前来看,我国的安防市场,云存储的应用前景巨大,未来在以NVR、SAN为核心存储的基础上,存储架构也将有相应的改变。这是一个最好的时代,百花齐放才是春!(作者单位:北京智慧仓存储技术有限公司) 本文转自d1net(转载)

优秀的个人博客,低调大师

从躁动的“互联”进化

大互联,就是广阔的互联。 1 躁动的“互联” 截至2015年6月,中国网民规模达6.68亿,手机网民规模达5.94亿,互联网普及率48.8%,成为名副其实的网络大国。互联的实时性和时长大幅增加,连接数大幅增加,活跃性提升迅猛。各种移动互联网、O2O应用比比皆是,人们的生活也因此发生了天翻地覆的变化。 过去几年中,互联将“人—人”之间的连接发展到了极致,未来,“人—物”、“物—物”互联将更加普遍。于是,智能家居崛起了、智能硬件火爆了、智慧制造开始了,更大的互联到来了…… 2 大互联时代 我们认为,“大互联时代”很可能会像“大航海时代”一样,改变业界、甚至是世界的格局。未来几年内,无需我们参与,各种实体和虚拟体即可互联,而且总量高出人类总数几个数量级。当互联已经不再从人身上发出时,当机器学习已经开始懵懂成长时,“大互联”会让一切终端变得更加智能,生活也更加方便,而对应付出的代价则有可能是“失控”。 我们已经看到,大互联带来的IT应用,尤其是移动IT应用层出不穷。在企业里,无线考勤、无线办公、流程审批等等给办公带来了极大便利;在商业,APP和微信轻应用使得顾客黏性大幅增加,客流分析系统让IT人员能够给商场的发展提出可靠的建议;在学校,课堂无线点到系统让老师点名更加方便,通过LBS实现课堂的热度统计,可以反馈出教师的教学水平……这些应用目前仅仅展现了冰山一角。与此同时,对于IT从业人员来说,业务的增加和删减,也变得更加“日常”,而当我们每次改变IT业务的时候,都会因网络配置的修改感到万分头痛。 一方面是大互联带来的终端爆发,另一方面是IT应用带来的挑战,处于二者之间的网络,势必要承担着更大的作用。同样,对我们IT人员来说,在大互联的时代里,网络建设的思路也必须改变! 3 大互联的“三要素” 大互联时代有三个基本要素:网络延伸、业务跨界和交付融合。 网络延伸 网络要将自身的基因融入移动化应用和物联网,实现应用层面大互联。 我们按照网络层次,将“大互联”拆分来看,可以分为泛连接、软件定义网络和移动化应用三个层次。 在泛连接层面,未来处于网络边缘的产品会承担更多物联网的责任,比如华三推出的蓝牙之心AP和“蜘蛛侠”AP,分别能够向下深度耦合蓝牙和RFID等物联网设备,实现大互联在泛连接层面的融合统一。去年非常火爆的“iBeacon+微信摇一摇”就是很好的例子,通过摇一摇这个O2O入口,iBeacon基站获得了众多客户的青睐,但成百上千的iBeacon基站如果电池耗光或被盗用都是很头痛的问题,华三的蓝牙之心可以对大量iBeacon基站进行批量管理和智能配置,大幅降低了其维护难度。 软件定义网络,能将IT业务和基于泛连接的终端紧密耦合在一起,通过软件定义的手段,对业务+网络+终端进行整体切片,不仅快速有效,而且无论新增、删减或是修改业务,都不再担心会影响其他业务。 在移动化应用层面,华三的BYOD开发套件,可以让用户和合作伙伴更轻松地将APP与网络进行耦合,以解决不同业务对网络的不同要求。同时在业务部署时,上层应用由于被植入了网络基因,和网络的联动功能将配合得更为紧密,比如基于用户、终端、位置等一系列维度的权限控制。 业务跨界 大互联时代,IT业务不单纯是技术的支撑,而是生产力。 最近很多人都在研究WiFi探针,是一个很有代表性的例子。WiFi本来是作为网络接入使用的,是传统意义上的数据管道。但现在,更多人希望WiFi能帮他们探测用户的位置,建立用户流动模型,进而为商业决策提供支撑。比如20-30岁的女性客户更喜欢逛哪些门店,每类商品选购时长、购买频率等。IT管理者们对WiFi探针的热情远高于WiFi接入。大互联所带来的数据,可以让IT管理者们进入企业核心业务的决策中。即使现在数据还远远称不上是大数据,但已经足够让他们在商业分析方面有所建树。 在这种趋势的引领下,未来的网络建设势必不能只做管道,而是要更加关注数据的挖掘,如何能够将数据更多更精准地挖掘出来,是需要考虑的重点。华三的丘比特定位、DPI和BYOD引擎能帮助客户准确地抓取各种位置、终端和流量数据,以及提取时钟信息等。 融合交付 APP+物联网+传统网络,如果不能融合交付,一切都是无稽之谈。 华三大互联最终向用户呈现的是一套融合交付的方案,除了和周边合作伙伴完成技术对接外,绿洲平台也是一个亮点。通过基于公有云技术的绿洲平台,客户不仅可以实现IT的远程管理和维护,还可以一键式下载各种IT应用,并通过SDN对网络进行切片式部署,极大地降低企业IT应用的部署难度。 4构筑大互联生态圈 2015之于华三的大互联之路来说,刚刚启程。构筑大互联体系,也绝非华三一家可以为之。华三的大互联,将会以构筑开放平台为己任,邀请更多的优质合作伙伴共同发展。我们欢迎工业物联网、智能硬件、企业IT应用、商业WiFi等新兴领域的公司,与我们共同建设大互联生态圈。在国家“互联网+”的战略下,大家一起努力,共同实现IT人的中国梦。 本文转自d1net(原创)

优秀的个人博客,低调大师

Docker 1.13 编排能力进化

经过了近6个月的磨砺,Docker 1.13在2017年1月发布,它标志着 Docker 内置编排能力的进一步成熟。本文将介绍Docker在编排方面的新进展。 简介 去年6月,Docker宣布在1.12版的引擎中内置编排能力,也就是 Swarm Mode,在容器之上引入了服务(service)的概念,也实验性的推出了应用栈(stack)来支持多服务应用的部署管理。但是 Docker 1.12 版本,服务的开发和操作缺乏类似Docker Compose工具的支持,而且由于Docker Compose v1/v2是面向容器编排设计,和Swarm Mode中的概念上有很多不同。只可以用docker-compose bundle命令将已有docker-compose.yml转换为Distributed Application Bun

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册