对象存储适合人工智能和机器学习的三个原因-低调大师

对象存储适合人工智能和机器学习的三个原因

2020-06-01 612

云栖号资讯：【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！

如今，各种类型的企业都致力于采用人工智能和机器学习项目，但要发挥其真正的潜力，则需要克服重大的技术障碍。虽然计算基础设施通常是重点，但存储设施也同样重要。以下是对象存储(而不是文件或块存储)适用在加强人工智能和机器学习工作负载的三个主要原因：

1.可扩展性

当有大量不同的数据源可供学习时，采用人工智能和机器学习技术最有效。数据科学家利用这些丰富的数据来训练领域模型。在“大数据的五个V”(数量、类型、速度、准确性和价值)中，前两个(数量和类型)最为重要。简而言之，人工智能和机器学习依赖于大量不同的数据(图像、文本、结构化和半结构化数据)来构建有用的模型，提供准确的结果，并最终提供业务价值。

对象存储是很具扩展性的存储架构，特别适合支持人工智能和机器学习所需的大量数据。对象存储旨在通过水平扩展方法实现无限增长，从而使企业可以通过在需要的位置和时间添加节点来增加部署。由于对象存储使用单个全局名称空间，因此也可以一次在多个地理位置上进行这种扩展。另一方面，文件和块系统通常采用扩展方法。这意味着这些平台通过向单个节点添加更多计算资源来实现垂直扩展，这最终会受到限制。他们无法通过部署其他节点来增加计算资源，从而无法有效地水平扩展。

2. API

健壮灵活的数据API对于人工智能和机器学习非常重要，如上所述，它们使用了多种数据类型。存储平台需要支持API来容纳各种数据。此外，人工智能和机器学习的创新越来越多地在公共云上进行，但是仍然有相当一部分人工智能和机器学习在内部部署数据中心或私有云中发生，这取决于用例的具体情况(例如，科学研究和医疗保健等领域通常最适合私有云)。这意味着组织需要一个存储API，以支持公共云和本地/私有云中的工作负载。

文件和块存储平台所支持的API受限制，部分原因是它们是较旧的架构。相比之下，对象存储使用云平台中固有的高级API，该API设计为以应用程序为中心，与文件和块存储相比，它支持范围更广的API，其中包括版本控制、生命周期管理、加密、对象锁定和元数据。此外，支持人工智能和机器学习用例的新对象存储API(例如对流数据的支持和对海量数据集的查询的支持)也是可能的。

通过围绕Amazon S3的对象存储API的标准化，可以更轻松地在内部部署和公共云中集成软件。企业可以轻松地将人工智能和机器学习部署从内部部署/私有云环境扩展到公共云，或者将云原生的人工智能和机器学习工作负载迁移到内部部署环境，而不会损失功能。这种双模式方法使组织可以合作且可互换地利用内部部署/私有云和公共云资源。

由于S3 API已成为对象存储的事实上的标准，因此许多软件工具和库都可以利用该API。这允许共享代码、软件和工具，以促进人工智能和机器学习社区中更快的开发。示例包括流行的机器学习平台，例如具有内置S3 API的TensorFlow和Apache Spark。

3.元数据

与API一样，使用人工智能和机器学习的组织必须利用无限的可自定义的元数据，这一点至关重要。元数据只是关于数据的数据，在最基本的层面上，是在何时何地创建的数据，以及是谁创建的数据。但是元数据可以描述更多内容：用户可以创建任意的元数据标记来描述他们想要的任何属性。

数据科学家需要丰富的元数据来查找特定数据以构建和使用其人工智能和机器学习模型。随着更多信息添加到数据中，元数据注释可逐步积累知识。

文件和块存储仅支持有限的元数据，例如上述基本属性。这在很大程度上可以归结为可扩展性，因为文件和块系统未配备快速无缝的增长功能，如果存储系统支持依赖大量数据集的人工智能和机器学习应用程序的丰富元数据，则自然会发生这种情况。但是，对象存储支持无限的、完全可自定义的元数据，从而使查找用于人工智能和机器学习算法的数据更加容易，并从中获得更好的见解。

以一家医院在X光图像上使用图像识别应用程序为例：使用元数据，可以使用TensorFlow模型分析添加到对象存储系统中的每个图像，然后为每个图像分配更加精细的元数据标签(例如，损伤类型、基于骨骼大小或生长的患者年龄或性别等)。TensorFlow模型可以在元数据上进行训练，并对其进行分析，得出新的患者见解(例如与五年前相比，如今20岁到30岁的妇女患上的骨科疾病更多)。

几乎每一家财富500强公司都在考虑采用人工智能和机器学习，可以想象这些技术将在可预见的将来成为最重要的企业IT计划。然而，要使人工智能和机器学习计划获得回报，企业必须利用正确的存储基础设施。对象存储由于其可扩展性、对各种API(特别是S3)的支持以及丰富的元数据，是人工智能和机器学习的优秀支柱。

【云栖号在线课堂】每天都有产品技术专家分享！
课程地址：https://yqh.aliyun.com/live

立即加入社群，与专家面对面，及时了解课程最新动态！
【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间：2020-06-02
本文作者： Gary Ogasawara
本文来自：“企业网D1Net”，了解相关信息可以关注“企业网D1Net”

微信关注我们

原文链接：https://yq.aliyun.com/articles/763365

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

红帽为何要推出基于云原生的编程框架 Quarkus

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！导读：随着各种开放云平台的出现，传统的基于 Java 和 J2EE 的编程模型和框架在云环境下无法适应，高内存需求和启动速度缓慢等限制了它们在云平台的扩展能力，面向云原生的编程框架需求变得越来越多。2019 年红帽发布了基于云原生的 Java 框架 Quarkus，本文作者冯征从 Quarkus 项目背景、设计特色、应用场景、开发难点等方面做了全方位剖析，希望给关注 Quarkus 框架的开发者带来一些帮助和思考。他还将在 QCon 全球开发大会（北京站）2020 分享 Quarkus 的更多技术动态，敬请关注！ Quarkus 项目背景 2018 年，在一次内部会议中，有人问到“有什么会成为红帽中间件最大的威胁？”，红帽中间件副总裁 Mark Little 的回答让我印象很深。他最担心的事情是，如果一种新的编程语言（比如 Go）能够给用户提供更快地运行速度，并且提供更丰富的类库来支持从 Java 应用的迁移，那么在云环境不断完善并进入用户的生产系统后，这种应用替换和迁移的代价在不断降低...

2020-06-02

698

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！作为一门面向对象的编程语言，Java凭借其简单易用、功能强大的特点受到了广大编程爱好者的青睐，伴随着开源社区的推波助澜，Java语言更是席卷全球，势不可挡，在世界各地都有Java技术的从业者，它也常年高居编程语言排行榜的首位，足以表明Java的强悍与王者之风。然而，即便是如此强大的编程语言，也有很多“坑爹”的功能，稍不注意，我们就会掉入坑里，轻则遭到同事的嘲笑和鄙视，重则造成悲惨后果而不得不跑路。当然，坑爹这个词加上了双引号，因为大部分时候，都是由于我们不够熟练、违反我们的常识才造成了令人不愉快的后果。今天我们就来梳理一下Java中最“坑爹”、最违反常识的功能点，以排行榜的方式发布，以飨读者。说明一下，本文中的代码基于JDK8来编译实现。 1、switch必须加上break才结束对于多重分支选择，一系列的if-else-if语句会让代码的可读性变差，建议使用switch语句来代替，然而switch case中的分支判断，必须加上break语句才会中止其它case的执行，比如：然而，...

2020-06-02

592

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。