首页 文章 精选 留言 我的

精选列表

搜索[低空时代]，共10000篇文章
优秀的个人博客,低调大师

敏捷开发时代，彻底结束了

最近，我收到一位读者的私信，他最近“内耗”得非常厉害，他可能一时兴起把我的私信当作了吐槽箱。 他们公司一直实行敏捷的管理模式，复盘发现了一个问题：发布与迭代具有强相关性，一个迭代就发布一次，导致需求交付周期过长，严重超出团队和业务部门可接受的时限。现在他在考虑到底该如何改变，是选择SAFe还是DevOps。 卡尔·波普尔曾说：“新的基本原则是，为学会避免犯错误，我们必须从我们的错误中学习。”敏捷本身并不能带来投资回报。当改进开发流程而不改进部署时，我们最终不可避免会面临这些问题。我之前陆陆续续写过一系列DevOps文章，我的看法是选择DevOps。大家可以先从了解DevOps入手，我已经在之前的文章《DevOps生命周期，你想知道的全都在这里了！》中已经详细说明了。敏捷和DevOps毫无疑问可以共存，DevOps很多时候被视为敏捷的延申，将敏捷的理念扩展到代码部署之外。 那我们该如何在敏捷团队中启用DevOps？ 01 放弃使用手动手动流程是最常见的错误和延迟源头。在软件开发过程中，我们需要注意“手动”一次，包括手动测试、手动部署、手动交付……这些都是浪费时间的蛛丝马迹。 02 找到瓶颈在整个流水线中实施检测，查看代码在哪些地方受阻，然后集中精力消除瓶颈。没有什么能比通过最慢部分的速度更快。管道中其他地方的改进只会让瓶颈变得更糟，因为它们只会在堵塞点堆积更多的任务。要想取得进展，唯一的办法就是解决最大的瓶颈。 03 自动化测试这是实现真正有效的敏捷的关键因素。我听说它被描述为黄金标准，但并非绝对必要。错。自动化测试是绝对必要的。它能让你永远快速。人们喜欢说他们做的是测试驱动开发（TDD），但通常他们只是说先写测试再写代码。真正的 TDD 是自动化的。而有效的 TDD 是立即完成的。人们常说以后再写测试。这永远不会发生。 如果你打算这么做（你应该这么做），现在就做。不仅要自动化 UI 测试，还要自动化集成测试、单元测试和验收测试。是的，在功能代码之上编写测试需要更长的时间，但从长远来看，这不会拖慢您的工作进度。事实上，自动化回归套件能帮助你实现持续和无限的速度，正如《敏捷宣言》所设想的那样。试图用手动测试来实现敏捷是失败的秘诀。尽一切努力实现自动化，并不惜一切代价保护它。 04 使用自动化工具在选择配置管理工具时，我们应优先考虑支持基础设施即代码（IaaC）的工具，这是实施DevOps理念的关键。这种方法能够方便我们在多种平台上部署应用，避免重复的工作。 提高自动化程度至关重要，包括大部分代码、扫描流程，以及预防任何潜在的漏洞。我们应在存储库中构建工件，或者实施自动发布，以极大程度上减少基础设施和开发团队之间的协调工作。 同时，我们需要注重文档的记录。虽然在敏捷方法中，团队可能不会详细记录他们的会议纪要或其他交流内容，但在DevOps环境中，完整的设计文档和规范对于理解软件版本至关重要。 当然，企业转型DevOps难免会遇到一些“不可抗阻力”和“结果不尽如人意”，禅道提供DevOps咨询课程，帮助企业从持续集成、持续部署到自动化测试和监控的落地全方位DevOps流程。既然我们已经知道了改进的方向，那么我们就该勇敢地尝试，最终形成能够持续交付和以客户为中心的团队，交付让客户满意的产品。正如培根所说：“世界上有许多做事有成的人，并不一定是因为他比你会做，而仅仅是因为他比你敢做。”也不知道那位读者能不能看到我的回复！
2024-06-17
优秀的个人博客,低调大师

Apache InLong (incubating) 进入1.0 时代！

Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1Apache InLong(incubating) 简介 Apache InLong（应龙）是腾讯捐献给 Apache 社区的一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。InLong 项目原名 TubeMQ ，专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力，我们将项目升级为 InLong，专注打造一站式海量数据集成框架。 Apache InLong 以腾讯内部使用的 TDBank 为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong 服务于数据采集到落地的整个生命周期，按数据的不同阶段提供不同的处理模块，主要包括： inlong-agent，数据采集 Agent，支持从指定目录或文件读取常规日志、逐条上报。后续也将扩展 DB 采集、HTTP 上报等能力。 inlong-dataproxy，一个基于 Flume-ng 的 Proxy 组件，支持数据发送阻塞和落盘重发，拥有将接收到的数据转发到不同 MQ（消息队列）的能力。 inlong-tubemq，腾讯自研的消息队列服务，专注于大数据场景下海量数据的高性能存储和传输，在海量实践和低成本方面有着良好的核心优势。 inlong-sort，对从不同的 MQ 消费到的数据进行 ETL 处理，然后汇聚并写入 Hive、ClickHouse、HBase、Iceberg 等存储系统。 inlong-manager，提供完整的数据服务管控能力，包括元数据、任务流、权限，OpenAPI 等。 inlong-audit，提供独立于数据流向、覆盖全流程的审计的数据审计服务。 inlong-dashboard，用于管理数据接入的前端页面，简化整个 InLong 管控平台的使用。 1.0 版本之前（包括 0.9.0 到 0.12.0），InLong 专注于打通基础链路和建设配套能力上。 基础链路方面，完成了基于 TubeMQ 和 Apache Pulsar 两个消息队列的数据链路，分别满足低成本高性能、高一致性高性能的使用场景。 配套能力建设方面，完成了各个模块部署步骤的简化，同时增加单机、Docker Compose 和 Kubernetes 部署；完成了各个模块指标体现建设，丰富了各维度监控指标；完成了全链路数据审计能力，让数据“位置”清晰可查。 在后续的版本中，InLong 将首先提供插件化的支持，方便快速扩展新的采集、入库流向；增加数据流管理，包括心跳状态、数据流启停等；同时强化全链路稳定性、性能，增加批量数据采集能力和多集群管理能力。 2Apache InLong(incubating)1.0.0版本主要特性 刚刚发布的 1.0.0-incubating 主要包括以下内容： 该版本关闭了约 124+ 个 issue，包含 8 个重大 feature 和 36 个 improvements。 InLong Sort 支持单租户分拣 在 1.0.0 版本中，Sort 增加了单租户级别的分拣能力，可支持一条采集流启动一个 Flink 任务，为后续数据流状态管理提供了基础。 InLong Sort 支持 Flink 1.13.5 版本 社区的同学之前就提过升级 Flink 版本，以支持在 InLong 中使用 FLink SQL。1.0.0 版本中，Sort 完成了对 Flink 1.13.5 的升级，方便 Sort 扩展新的 Sink 以及对接公有云场景。 InLong Sort 支持 Standalone 模式 Sort 可以对 MQ 中的数据进行 ETL 处理，初期 Sort 只有 Flink 版本，虽然能使用到 Flink 强大的实时处理能力，但却增加了 InLong 项目对部署环境的要求，用户必须要有 Flink 集群才能运行 InLong。 1.0.0 版本开始，InLong 引入了 Sort Standalone 模块，支持非 Flink 场景下的数据分拣。 全流程审计数据的埋点和展示 上一个版本，InLong 引入了数据审计模块，但未完成数据的埋点和展示，审计服务不能完全使用。 1.0.0 版本中，InLong Audit 不仅优化了审计 API 和容灾的场景，还完成了全组件的埋点和数据展示，实现了审计模块部署即可用。 支持通过认证访问 Apache Pulsar 在之前的版本中，InLong 支持了基于 Apache Pulsar 数据链路。在实际场景中，Pulsar 集群都带有认证，在 1.0.0 版本中，实现访问带有认证的 Apache Pulsar 集群。 DataProxy 支持 HTTP/UDP 协议 为了方便用户直接使用 DataProxy SDK 扩展 InLong 采集端的能力，1.0.0 版本在原有 TCP 协议的基础上，我们开放了 DataProxy HTTP/UDP 协议的支持。 Agent DB 采集支持 SQL 采集 DB 采集是数据集成领域很常见的使用场景，InLong 开始补齐这块能力，实现对主流关系型数据库，增量/全量不同场景的支持。 1.0.0 版本优先实现了通过 SQL 采集 MySQL 的数据，在后续的版本中完成对其它数据库以及 Binlog 的采集。 其他特性及问题修复 相关内容请参考版本发版说明（文末标注），其中详细列出了本次版本的特性、提升 和 Bug 修复，以及具体的贡献者。 3Apache InLong(incubating)后续规划 后续版本，我们会进一步强化 InLong 的基础能力建设，同时扩展更多的数据源端和目标端，覆盖更多的使用场景，主要包括： 插件化能力 新增 Iceberg、ClickHouse 、Kafka 流向 新增关系数据库 Binlog 采集、Kafka 采集 4Apache InLong(incubating)贡献者招募 Apache InLong(incubating)当前共有84 名Contributor，仍处在项目孵化的初期，还有很多待办事项，包括：Feature 开发、社区运营，文档翻译等，期待更多开源爱好者加入 InLong，一起将 InLong 打造成 Apache 顶级项目。 以下为 InLong 项目的时间线： 2021年12月22日，发布 0.12.0版本 2021年11月5日，发布 0.11.0 版本 2021年9月3日，发布 0.10.0 版本 2021年7月12日，发起更名后第一个版本 0.9.0 投票 2021年4月11日，完成社区改名，改为 Apache InLong 2021年2月11日，发起社区改名变更申请 2020年12月20日，进行项目改名讨论和投票 2020年5月30日，按照 Apache 社区规范发布第一个社区版本 2019年11月3日，进入 Apache 社区孵化 2019年9月12日，TubeMQ 对外开源并捐献给 Apache 社区 Apache InLong 项目官方网站：https://inlong.apache.org Apache InLong GitHub 地址：https://github.com/apache/incubator-inlong Apache InLong 版本发布历史：https://github.com/apache/incubatorinlong/blob/master/CHANGES.md
2022-02-28
优秀的个人博客,低调大师

大数据时代的数据治理

其实一直想写这个主题，只是最近事有点多。按照向下兼容的特性来说，大数据治理和数据治理应该是没有差别的。但从本质而言，传统数据库的模式是Schema on Write，即在写入数据前先要定义Schema，包括了数据库的表、视图、存储过程、索引等，每个数据库条目都有自己的血缘关系（Lineage），基于角色或栏的访问控制，变更日志等等，这些内容在跨系统数据传输或转置时必须定义明确，因为在数据流的每个入库阶段都可能改变原始数据。 尤其数据的血缘关系梳理是非常困难的事情。举个例子来说，最初的数据录入是在MySQL库中，进入数仓（比如Oracle）就会有数据结构的变化；数仓中还会有内置的SQL描述规范，数据需要转置；接下来进入BI工具（比如MicroStrategy）又会对数据造成改变；最后一些可视化工具（比如Tableau）又会对数据进行分类汇总。因此在传统数据治理中，通常需要有数据核验官或QA记录下在每一个数据流的落地环节，原始数据做了哪些变化与调整，并且在原始数据结构（Schema）发生变化的时候，更新其后的每一个环节的描述文档。 而大数据治理是Schema on Read的模式，即在采集各类数据时不需要定义各种数据库对象，我们甚至不知道哪些数据是今后用得上的。毕竟数据就是企业的资产，现在不做统计不代表它没有价值，只是在当前阶段不需要定义Schema而已。 由于整个采集存储过程没有涉及到任何转置，原始数据没有因为需要结构化或匹配差异系统而遭到破坏，数据的血缘关系是非常清楚的，因此在大数据治理中不需要考虑数据流的各个环节。 通常我们理解的大数据（非结构化）主要来自以下终端： 移动设备：包括平板与智能手机，内容有图片、视频、Po文、GPS位置信息等； 网站：包括流量分析，用户点击操作以及在线行为数据； 社交媒体：包括微博、微信、领英... 传感器设备：包括RFID射频识别、条形码、智能设备数据 企业：包括Web日志、应用日志、系统日志.. 一般企业不可能一夜之间完成数据架构的转型，而是在原数仓基础上会逐步引入Hadoop，Spark等开源组件，对于这些企业来讲，大数据治理无非在原有治理框架下添加了新的业务和IT职能模块（下图绿色部分）。 关于新增的大数据治理部分主要分为以下- 六个领域： 首先是大数据战略与目标：在这一领域内需要定义业务目标；通过大数据的应用期望实现的业务价值；投入总成本TCO与回报率ROI；战略执行时间线以及评价指标；另外企业必须理解大数据技术发展迅速，上线前必须有POC阶段。 第二是人员组织建设：按照上图的职责分工，大数据职能该放置在业务、IT还是共享服务；数据科学家该放在什么部门，PMO还是业务部门；数据科学家的内部职级序列；谁来定义大数据的使用标准；大数据如何在业务与IT之间保持连贯性。 第三就是上面说到的大数据的规范使用：包括企业中大数据分析岗的角色设立以及大数据的分f析目标（是放在近期目标还是未来的机会领域）；谁来评估分级大数据资产；新的数据消费者与数据生产者的动态关系以及数据管理流程须清楚明晰；新的大数据资产的生命周期管理；哪些外部数据有必要采集进来。 第四是大数据架构与技术：大数据架构与技术是丰富多样的，企业需要建立一个参考模型来监控新技术与工具，当然密切关注开源社区也能获得产品更新的一手资料；鼓励POC与灰度测试，不用急于明确企业数据标准；工具与技术的人员培训；处理NoSQL的关系型假设；需要注意的还有传统的存储架构在面临大数据的海量吞吐与多样性是的表现情况。 第五是大数据与信息的生命周期管理：大数据是辐射端到端信息管理全生命周期的，因此大数据战略下的数据保留策略也不得与法务、合规以及可靠性的要求相悖离；同样如前面提到的大数据是Schema on Read的模式，企业在不明确未来规划的前提下能否承受尚未使用的大数据所带来的存储负担；大数据在IT运维，备份/归档，灾难恢复等传统IT领域的影响。 最后的规划领域是数据安全：即对大数据集（扫一下盲，数据库是物理概念，数据集是逻辑概念即针对某一个业务目的的数据整体）和数据查询结果的所有者须有明确定义；匹配大数据的数据安全即数据访问策略的更新；如何解决数据私密性与合规风险；对于大数据项目下的第三方数据集如何管理访问规则。 从大数据治理的规划路线上，本座还是坚持以从上至下的推进方式，例如： 签发企业大数据与数据科学战略； 调整组织模型，定义大数据岗/部门和数据科学岗/部门职责； 定义与业务目标相匹配的大数据资源使用策略和执行文档； 定义大数据参考模型，参考架构及技术监控框架； 检查企业中现有数据的结构化假设是否有潜在问题，是否可以通过NoSQL及其他大数据工具替换原来受技术限制的RDBMS解决方案； 延伸现有的治理模式，完善企业大数据治理模型，并同步更新企业的信息标记语言（IML）； 快速开展企业大数据与数据科学项目，从POC开始并积极寻找到业务赞助方。
2019-07-27
优秀的个人博客,低调大师

SDN时代的网络管理系统

十年前，我们认识到需要在数据网络中聚合语音与视频网络。在六年多前，我们开始接受企业网络传统边界的消失，至少在安全性方面是这样考虑的。在近五年前，我们在数据中心内开始接受存储网络与数据网络的聚合。现在，我们正在部署虚拟网络、移动设备和云服务，开始构建一个软件定义网络(SDN)的世界。我们的管理与监控工具也必须以相同节奏向前发展，才能跟上网络的发展脚步。 网络可见性的不确定因素 在网络面对诸多变化的情况下，统一主题的不确定性在于不清楚连接网络的实体有多少、位置在哪里。由于企业内快速出来大量的移动网络，因此虚拟网络、云网络及其他大多数服务都是这样。它既影响提供服务的后台系统，也影响使用这些服务且面对用户的设备，因此它影响着所有的方面，包括管理服务水平协议和保证稳定的应用性能。 数据中心内或数据中心之间的虚拟网络堆叠在物理网络之上，它在物理网络之外形成了另一个拓扑，这里将出现虚拟机的进、出和动态移动。在这个区域，管理工具必须能够映射堆叠的网络(可能有很多)，监控它们的性能，同时管理所有支持虚拟网络的底层物理交换机和路由器。理想情况下，这些工具要能够跟踪虚拟机的整个生命周期，从创建、移动到下线或休眠(并且还要能够让下线的虚拟机重新上线)。 云网络要服务于外部资源，如在亚马逊或谷歌等提供商的基础架构即服务资源池上运行的应用程序堆。此外，它们还会将内部服务连接到这些外部资源。云资源会创建外部托管的虚拟网络，因此会有相同的挑战，如发现终端的数量与位置。而且，它们的底层状态很不清楚：我们无法监控物理交换机状态。这只会增加虚拟网络行为监控的重要性。当然，这些虚拟层所在的不同物理基础架构的数量本身也是变化的。企业可能会快速改变云服务提供商，或者增加、删除资源池中的资源。 或许最动态且最具挑战性的是企业WLAN中涌入了大量的移动设备。它们在数量上正快速地增长——可以预见未来几年仍然会继续增长，同时在特定时刻连接网络的移动设备数量波动又很大。而且，随着员工或客户在设施中走动，流量在企业网络中经过的物理组件也会快速变化。网络中“发送最多”或“接收最多”的终端位置每秒钟都在改变——即使问题节点保持不变!所以管理工具需要更好的跟踪瞬时连接，包括设备连接、断开及其物理网络连接位置的改变。此外，管理平台还需要改进它们的处理效率，包括检查网络访问控制权限或移动设备管理数据，给进出网络的节点添加永久标识符(以使更好地监控用户或设备行为)。 展望未来几年的发展，管理工具还需要考虑另一层动态性，因为SDN将开始改变我们提供连接的方式。SDN有一个重要的底层假设：任何数据控制设备都可以实现任意数量的服务，包括提供网络流量与行为的深度监控。管理工具将拥有新的数据要处理——但是要去理解一个完全动态和波动的环境，为IT人员提供能理解、可管理的工具。 重新设计网络管理工具 企业管理工具必须对应企业业务和运营需求。新的企业网络必须服务于企业的虚拟化、云与移动性。为了让IT能够在这种变化的环境中提供高效服务，管理工具与监控工具必须保证IT基础架构能够适应虚拟化、云及移动环境动态性，包括将来的软件定义网络，以便支持这些业务目标。 作者：John Burke 翻译：曾少宁 来源：51CTO
2017-08-31
优秀的个人博客,低调大师

认知计算：开启商业新时代

2016年新年伊始，IBM董事长兼CEO罗睿兰出现在一年一度的CES大展上，其关于IBM转型为“认知计算解决方案与云平台公司”以及称其是IBM重要转型的演讲引起了人们对“认知计算”的强烈关注。尽管从2014年开始IBM就已经在围绕“认知计算”布局，并为此专门成立了沃森集团推广“认知计算”，但这是IBM正式明确地对外提出向“认知计算解决方案公司” 转型。显然，这一次“认知计算”被上升到一个新的高度，其将成为继“电子商务”、“智慧的地球”之后，未来相当长时间内IBM的市场战略中最为重要的一个关键词。 备受IBM推崇的“认知计算”到底有什么魔力，又如何能够支撑IBM的“转型大业”，引领IBM未来5年甚至更长时间的前进之路；而更重要的，对于企业而言，认知计算与我有什么关系？如何能帮我提升竞争力，领先对手一步？ 大数据加速认知计算落地 首先设想一下这样的场景，在你身边有一个机器人，在你要出行时它自动帮你根据路途拥堵状况规划出行线路；如果出行遇到堵车它会自动给受影响的各方发短信提醒；它还能体察你的喜怒哀乐，照顾你的饮食起居：在你不高兴时给你说个笑话调节情绪，在你坐久了它会提醒你起来活动，根据你的身体状况提醒你修订的饮食习惯…..这是一个被科幻小说描述了很多遍的场景，今天得益于科技水平的不断进步，上述场景正在逐步得以实现，而认知计算就是背后实现的技术之一。 谈到认知计算很容易让人想到人工智能和近一两年百度、腾讯、阿里等互联网公司正在发力的深度学习。这些概念高度相似，到底有什么区别？根据IBM对这个概念的阐述，认知计算会包括人工智能的一些要素，但它是一个更宽泛的概念。IBM认为，认知计算不是制造为人们思考的机器，而是与增加人类智慧有关——认知计算系统通过与人的自然语言交流及不断学习帮助人们做到更多，使专家可以更好地从海量复杂的数据中获得更多洞察，从而做出更为精准的决策。 实际上，在推动认知计算普及的众多原因之中，数据正是最为重要的原因之一。众所周知，随着移动设备、社交网络及各种数字化和联网产品（各种传感器）的普及，数据量正在前所未有的速度暴增。而有了数据，我们将能够更加准确地了解客户需求，设计更受欢迎的产品，提供更贴心地做好服务，同时，我们还能做出更合理的决策，避免经营风险。 根据IDC的预测，从2010年的到2020年数据量会有50倍的增长，这其中非结构化数据增长尤其迅猛。IBM的一份资料也显示，未来两年医疗数据将增长99%，其中88%的医疗数据都将是非结构化数据，包括电子病历、化验结果、医学影像、视频以及病患传感器（如可穿戴医疗设备）；未来两年政府和教育数据也将增长94%，其中84%是非结构化数据，这些数据来自各类传感器、建筑物、道路、车队等；传媒业的数据将增长97%，其中82%是非结构化数据，这些数据包括书籍、期刊、报纸和其他出版物，以及视频、电影、录音及在线游戏等。 数据就是财富，海量数据对企业而言就是无价资源，然而现有的技术并不能很好地让我们看到其中蕴藏的财富，直到认知计算的出现，确切地说是认知系统的出现。 除了大数据之外，认知计算的出现还与软件的广泛使用有关，特别是“API经济”的流行。随着云成为新一代软件运行和利用数据的首选平台，越来越多的软件基于各种各样的API来构建。统计显示，在全球1820万名软件开发者中，有120万人正在发表可供外界使用的APIs，有470万人向合作伙伴或完成注册的机构发布APIs。到2020年，预计将有260亿个设备使用超过1万亿个应用。 基于API的软件构建模式为认知计算的使用奠定了很好的基础，因为对于大多数企业（特别是中小企业）而言无需构建自己的认知计算基础设施，而是可以透过API以服务的方式来使用，这让更多的企业可以快速从认知计算中受益。 认知计算系统与IBM Watson 认知计算系统是应用了认知计算技术的应用系统。具体地说，认知计算系统能够通过感知和互动理解世界，使用假设和论证进行推理，以及向专家和通过数据进行学习，它将认知技术应用到具体应用、产品与运营中，从而帮助用户创造新的价值，IBM Watson就是认知计算系统的杰出代表。 注：到2016年底，IBM Watson API将达到50个 作为一个技术平台，Watson其能够采用自然语言处理技术和机器学习技术，从大量非结构化数据中揭示非凡洞察力。Watson核心能力包括： Understand（理解）：Watson通过自然语言理解技术，能够与用户进行交互，并理解和回答用户的问题； Reason（推理）：Watson通过生成假设技术，能够透过数据揭示洞察力、模式和关系，实现以多种方式认知和产出多种结果而不仅仅是一种结果的传统方式； Learn（学习）：Watson通过以证据为基础的学习能力,能够从所有文档中快速提取关键信息，使其能够像人类一样进行学习和认知。通过追踪用户对自身提出的解决方案和问题解答的范库和评价，Watson还能够不断进步，提升解决方案和解答的能力。 实际上，Watson不仅仅是这些技术的简单集合，而是以前所未有的方式将这些技术统一起来，彻底改变了商业问题解决的方式和效率。 IBM Watson的出名要追溯到2011年参加“Jeopardy!”电视问答挑战赛，当时Watson因战胜这项比赛的两位前任冠军Ken和Brad而声名大噪。因为这种寻找答案的逻辑非常复杂，不能用一般搜寻引擎的方法，而要先理解问题，再从庞大的资料库找出相关的文件，最后归纳出答案。 Watson背后的核心技术支撑正是认知计算。不过，今天的Watson与2011年参加挑战赛时相比有了很大变化。当时的Watson主要是基于机器学习、自然语言处理、问题分析、特征工程、本体分析等五项技术，而今天，Watson背后的核心支撑技术已经涵盖了如排序学习、逻辑推理、递归神经网络等来自5个不同领域的技术，包括大数据与分析、人工智能、认知体验、认知知识、计算基础架构。 正是得益于新技术持续不断的加入，2011年Watson的“问与答”能力只是今天的Watson具备的28项能力之一。除此之外，这些能力还包括关系抽取、性格分析、情绪分析、概念扩展及权衡分析等，它们如今都已被转变成服务或APIs，2016年底Watson API服务的数量还将达到50个。 对于企业而言，认知计算的应用可以有多种形式，除了直接通过云服务调用Watson API进行开发，企业还可以在此基础上定制自己的认知系统，也就是让IBM提供针对特点应用场景的认知算法，然后结合自己的数据，实现应用和商业模式的创新。 在今年的CES大展上，IBM就宣布与软件在机器人方面进行合作，软银采用了Watson帮助其机器人Pepper学习和理解语言和手势，同人类自然互动，未来的Pepper将是一个带有情绪感知能力的个人机器助理。IBM表示，Pepper将配备一个软件开发工具包和访问Watson的 API，这样开发人员可以按照自己的业务用例和经验对功能进行优化。 当然，Watson所能做的工作还有很多，比如，在迭代中学习找到解决方案；理解人类的自然语言与对话；动态的分析各类假设和问题；在相关数据的基础上优化问题解答；大数据的理解和分析，而更多的功能还在持续不断地被发掘。 值得一提的是，将Watson作为基于云的API平台对外开放，正是IBM为构建认知计算生态系统而做出的重大决策，这样每一个人都能将Watson的强大能力加到他们的应用中，这有助于推动Watson得到更加广泛的应用，并且加速创新。根据IBM提供的资料，现在有36个国家、17个行业的客户都在使用认知技术；全球超过7.7万名开发者在使用Watson Developer Cloud平台来进行商业创新；有超过350名生态系统合作伙伴及既有企业内部的创新团队，正在构建基于认知技术的应用、产品和服务，其中100家企业已将产品推向市场。 原文发布时间为：2016年02月15日 本文来自云栖社区合作伙伴至顶网，了解相关信息可以关注至顶网。
2017-08-01
优秀的个人博客,低调大师

信息安全的“硬战时代”

在信息安全领域，2014年的开端似乎战云密布。1月的时候爆出支付宝有内部人员泄露超过20G的海量用户信息；深圳航空系统也被指黑客利用其系统漏洞，获取系统的所有权限，窃取约500多万名客户的个人信息。正当国内慌不迭地收拾信息泄密残局的时候，国外的企业泄密新闻也频频传来：韩国信用评级公司职员朴某非法收集和泄露上述信用卡公司的1亿400条用户个人信息；日本东京一名半导体制造商“闪迪”前职员将有关“NAND闪存”的开发资料用U盘拷贝带出，并向海外企业泄露东芝公司技术。 照此看来真有点年年安防年年泄的滑稽意味。但在哭笑不得之余，我们仍然需要对于“信息安全”这一重大议题时刻保持认真、警惕的态度。通过这些泄密事件，我们才只是闻到了火药味的轻微弥漫，而更为强大的暗流正朝着2014汹涌而来，一场企业信息安全与泄密“势力”之间的硬仗已经不可避免。 第一，BYOD易成为恶意程序启动平台 自带设备（BYOD）的趋势造成公司的两种威胁。首先，因为这些移动平台是员工自己的，确保其设备的安全性就更加艰难，这种恶意程序可以用智能手机和平板电脑作为启动平台向公司网络发起攻击。其次，由于员工使用自己的设备办公，公司数据就会被存储在这些相对不安全的环境中。总而言之，这些源于内部和外部的风险，包括对设备本身的管理不善，对软件漏洞的外部操纵，以及测试不良的不可靠的业务应用程序等都可能造成威胁。 然而，由于生产率收益和省钱对大多数公司来说太具诱惑力，BYOD政策不会被轻易放弃。各公司将不得不采取各种措施锁定或者排除设备，这些措施包括划分信任应用程序和敏感数据，将不受信任的设备隔离在网络之外等。 第二，便捷云计算面临众多威胁 信息技术朝着移动和分布式系统逐渐演变，意味着大多数公司都会有数据渗透到云中。 但云服务的广泛采用，又使得网络犯罪者能够更便捷地绕过许多公司设置的数字防御系统。此外，一些高水平的网络犯罪者创建了他们自己的云服务，比如有人试图入侵某系统，可以注册并迅速租用一个僵尸网络或购买其他非法服务。又或者，网络犯罪者很可能已经使用了多种服务从企业内部窃取数据，或者使用被信任的在线服务获得访问权限，比如一些信誉良好的网站或文件共享服务，并从中下载恶意软件。尽管很多IT经理都确认或假定员工将业务数据储存到云中，但目前很少有企业针对这些情况而采取保护措施。 第三，黑客攻击频繁，企业声誉难保 有人认为，目前世界上只有两种类型的公司：已经遭受过攻击的公司和即将遭受攻击的公司。至今，仍有些企业天真地认为他们不会遭受攻击，或者认为企业不会受到攻击的影响。但对信息安全稍有关注的人就会知道，黑客攻击新闻犹如家常便饭，或大或小，每月不来一桩似乎都不习惯。可以说，黑客攻击风险正在威胁着每一个活着的企业。某位知名的企业高管一针见血地问道：“对于你的营销经理、你的投资服务主管、你的人力资源团队而言，攻击意味着什么?”可以想见，当攻击可能导致企业股价暴跌时，企业声誉恐怕也难逃一劫。 事实上，今年的信息安全威胁远不止以上三点，如巨量计算、社交网络、大数据、物联网等依然是火热的安全话题。这些话题不仅在企业层面引起普遍关注，在社会甚至国家方面也被提到了前所未有的高度。 从去年6月棱镜门事件爆发开始，信息安全问题就在持续发酵，国家对信息安全工作的重视程度也不断增加；到8月，国家发改委发布通知明确专项重点支持金融信息安全领域、云计算与大数据信息安全领域、信息安全分级保护领域与工业控制信息安全领域。11月12日，十八届三中全会公报则提出设立国家安全委员会，更是将信息安全上升到了国家战略的高度。后又召开中央网络安全和信息化小组首次会议，到今年两会，“信息安全”再度成热词，备受关注。 如此紧锣密鼓地应对信息安全，可谓史无前例。一场关乎个人、企业与国家的信息安全大战役俨然就要拉开序幕。 戴尔曾不无悲观而又警觉地提出：企业忽视强大未知的新威胁将导致重大损失。因为在一次调查访问中，它发现接近半数的人把BYOD、云计算和互联网作为未来五年一个重要的安全隐患。也就是说，不仅仅是2014，而是在更长时间内，这场硬仗都容不得我们哪怕松一口。看来，各大企业只有做好打持久仗的准备，才能在乱局中求得生存发展。原文发布时间为： 2014年06月26日本文作者：陈广成本文来自云栖社区合作伙伴至顶网，了解相关信息可以关注至顶网。
2017-07-31
优秀的个人博客,低调大师

物联网时代新机遇

国务院总理李克强在2016 政府工作报告中提出，在“十三五”期间要促进大数据、云计算、物联网广泛应用。 数据显示，2015 年中国物联网整体市场规模高达7,500 亿元，业界预测，物联网将是互联网之后的下一个风口。 具体物联网会给各行各业带来哪些机会，本文或许能为您提供一些参考。 想象一个洒水系统，它结合了天气预报、传感器以及按使用次数收费的机制来对你家草坪的灌溉系统进行优化。或者公共空间里的垃圾箱，它能根据需要对垃圾进行压缩，同时在装满时提醒市政工作者前来清 理。 这就是物联网，在这个“网”中，数以百万计的传感器和设备不断产生持续的数据流，以多种方式改善我们的生活和工作。比如，自动停车的座驾如今还是个梦想，但自动驾驶的出租车却可以将我们送到城市里的任何地方，中途还能停下车，让愿意拼车省钱的乘客加入；或者能够跑遍全国各地进行商业运输的卡车，快捷、安全，还能避开交通带来的延误，同时优化车辆零件更换的需求。这些可不是遥不可及的梦想。而家居安全系统已经提供了远程控制门禁和室内温控的功能，但这些系统能为你做的事还不止如此——就算是根据你的喜好、当前的天气情况和你到家的时间来自动通风降温也不是难事。 * 据思科公司（Cisco）预测，到2020年，将有500亿台设备连接到互联网；而高德纳咨询公司（Gartner）的预测则表明，各行各 业通过互联网实现的经济增值将在2020年时达到19亿美元——一只美味的商业蛋糕即将出炉。 从物联网中受益 在你惊讶于与互联网相连的物体的数量，以及基于其产生的数据流分析后发现的商机之时，不妨想想以下问题：如果设备和传感器彼此联网并能相互沟通，这意味着什么呢？物联网会如何影响你的日常生活？有些影响是显而易见的：GPS系统、报警系统和温控系统——全都在发送和接收持续不断的数据，从而监控和自动开展手机和家居中的活动。有些影响则不那么明显：地板、杯子、服装和其他日常生活中的物品也能够接入互联网传输往来数据。 各公司正积极主动地寻求机会，通过梳理其中的数据来开辟新市场，激发积极的变化或改善现有的服务。让我们来看看位于这场变革前沿的一些行业中的例子吧： * 智能交通解决方案加快了公共交通的流速、减少了燃料消耗、优化了车辆修理的时间安排并且能够减少交通事故，挽救人们的生命。 * 智能电网能够以更高的效率连接可再生能源，提高系统可靠性并且能根据更小的用量单位对消费者收费。 * 远程医疗监控为人们提供便利，能够很方便地获得医疗服务，提升医疗质量，扩大覆盖范围，同时降低费用。 * 感应器能装到家庭中、机场里，甚至装到鞋子和门里，可设置成如果每隔一段时间未被使用（或未在非正常时间使用）就发送信息，从而提高安全性。 * 机械监控传感器能诊断（并预测）即将出现的维护问题、近期零件缺货，甚至能根据修复设备和地区需求对维护人员的日程安排进行优化。 联网设备的应用范围会从企业和工业延伸到大众市场。日常的消费电子产品、家用电器和城市基础设施中会用上更多更小巧的联网传感器和执行器。因此，如果你的牛奶快用完了，电冰箱就会在你回家途中经过商店时进行提醒，而不是等到晚餐要用牛奶时才发现。 如果在商店买牛奶的你是个老客户，甚至都不用去收银台结账。传感器能识别出你从货架上拿走了什么，一旦你把商品带离商店，货款就会自动从你的账户中扣除。 从这些设备中采集并汇总到我们的网络和系统中的数据量也会激增。目前每秒都会生成数十亿条信息事件，供我们进行处理、分析，并在设备与人之间进行共享，从而改善人们的生活。 设备已就绪，网络已架好，数据的洪流已开始流动，你准备好了吗？ 如果你从事的是制造业或电信业，那么你已经见识过物联网的影响。物联网很显然并不只给消费者带来了便利，它也给企业带来了新的数据来源和商业运作模式，能激发新的生产力。 由于物联网中连接的设备、机械和工业资产越来越多，与企业相连的生态体系也会改变我们运作和决策的方式。公司能够从这些海量数据流中挖掘出有意义的信息，从而释放极大的潜力。 你是否知道现代化的石油和天然气钻井平台每天会产生8TB的数据？一架现代化的飞机一个小时就能产生40TB的数据。最新款的汽车一秒钟就能产生1G数据。而这对于物联网来说，只不过沧海一粟！ 你可不能把这种数据存在数字仓库里，留待之后再来分析。要让这种数据发挥作用，就得在组织收到这些数据的同时进行分析。你可以经过分析并据此进行明智的决策，与其他的机机通信数据流整合，同时还可以在控制室内观察异常情况，从而对状况的感知进行监控。通过分析数据流，你能够了解即将发生什么情况，提前预测故障或安全风险，因此节省大量资金。 现在你能够掌握一切，从用量和行为到零部件的性能。正在发生的事情、没能达到需求的地方、服务或维护该如何改善等。有了即时数据反馈，这些都能够一目了然。 重要的是分析数据 从电子和机械传感器、无线射频识别标签、智能计量表、扫描仪、移动通讯、即时社交媒体上接收和发送各种数据，并从中得到大量的信息。当这些数据来源全部联网并（在无人干预的前提下）彼此通讯时，物联网（IoT）就诞生了。 但要想从这些来源的数据流中得到有用的知识，并在这种新经济中分一杯羹，你必须用对分析法。 在传统分析法中，数据先被储存，然后才进行分析。不过，在分析持续不断的数据流时，数据在经过的同时就必须实时进行分析。这样才能在数据实时生成时识别和查看人们感兴趣的特征。组织因此能够立即获得洞见并立即采取措施。 在数据被存储到云端服务器或任何高性能存储设备上之前，事件流就能自动进行处理。然后，你使用分析法来解读数据，与此同时，你的设备还在继续发送和接收数据。而这种在数据离开设备之后尽快使用分析法分析数据流的做法为许多行业开辟了新的知识领域。现在让我们来看一些示例。 医疗行业的物联网：在医疗行业，分析物联网数据能增加治疗癌症的机器的运行时间，从而让患者能在预定的时间获得治疗。如果错过了治疗时间，患者的治疗效果将降低多达40%，因此减少维修的干扰至关重要。由于对数以百计的传感器进行监控，提前发现问题，并主动进行纠正，维修人员能带着必要的信息和零件在同一时间进行维护。瑞典医疗技术集团医科达（Elekta）为组织提供设备和手术管理方案，以帮助治疗癌症和脑部疾病。据他们所说，由于进行了这类监控，维修人员进行现场维护的时间减少了3成。 制造业的物联网：汽车工业正在加紧开发探测系统，从而在即将发生碰撞时决定何时回避。研究人员以雷达和其它类型的遥控技术为基础，对驾驶时的状况进行监控，以评估（并最终避开）碰撞。这些碰撞闪避系统评估的是碰撞事件的可能性，如果驾驶者没有进行响应，就会自动下令对车辆进行机械方面的调整——包括减速和改变外部的车灯信号。 零售业的物联网：在零售业中，客户同样是物联网的核心。有些公司正在就此展开研究，设法采集和处理数以千计的购物者往来各种商店之间的数据。传感器读数和视频提供的这种“店内地理”数据能描绘出购物者在每个橱窗前逗留的时间，记录他们最终的采购结果。 如果想要优化店铺布局，这些数据点也能与智能设备的Wi-Fi网络进行关联。除了针对适合的购物者提供店内促销之外，零售商也能询问客户意见——使用物联网数据进行互动，定制购物体验和增强忠诚度。 本文转自d1net（转载）
2017-07-31

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册