2024年DataOps趋势预测：AI不会取代数据工程师

APM digest收集了多位行业专家对DataOps在2024的发展形势及对IT和业务的影响的预测，这些技术最高管理者，包括Confluent技术战略负责人Andrew Sellers的深刻洞见可能与你的感觉一致吗？快来探讨一下。

数据可观察性成为强制性要求

2024年，随着组织迫切希望在更智能的自动化和更快的智能决策方面取得进展，数据可观察性将成为强制性要求。由于数据量持续每两年翻一番，组织迫切希望更快、更大规模地获取和分析数据。然而，低质量数据所耗费的成本和风险比以往任何时候都更大。根据最近的一项调查，57%的DevOps从业者表示，缺乏数据可观察性使得他们难以以符合规定的方式推动自动化。因此，对提供数据可观察性的解决方案的需求将增加，这样才能让组织能够快速、安全地获取高质量、可靠的数据，以备分析需求。数据可观察性的增强将使用户能够理解数据的可用性，以及数据的结构、分布、关系和来源的关系。这对于生成用户可以信任的见解至关重要，因为它确保了数据的时效性，异常识别，并消除可能导致错误的重复数据。

——Bernd Greifeneder，Dynatrace首席技术官兼创始人

AI推动数据可观察性发展

2024年，大型企业将迅速对人工智能和LLM技术投资加注。这将增加对数据可观察性的需求，以验证为AI计划提供的数据的准确性和完整性。因此，大家希望人工智能驱动数据可观察性的供应商能够在支持主流云原生数据环境之外，拓展到更大规模、更传统的企业数据堆栈，并提供LLM数据管道监控和验证的本地解决方案。

—— Kyle Kirwan，Bigeye联合创始人兼首席执行官

AI推动DataOps

2024年，AI/ML的快速进步对DataOps的影响将展露出来，通过使数据分析更加易于访问、准确和明确，从而赋予开发人员和DevOps团队更大的权力。人工智能/机器学习和新的数据科学技术将启用新的运营模式、数据分析工具和技术，从而实现数据驱动决策。具体的好处可以从客户推荐引擎到洞察优化的业务运营的各个方面体现出来，包括开发实践和DevOps流程简化。通过这种方式，DataOps将为企业提供决定性的优势，超越缺乏数据决策和明确性的竞争对手。

——Anil Inamdar，Instaclustr（NetApp Spot）副总裁兼数据负责人

AI推动数据基础设施现代化

AI的持续快速采用将推动组织在2024年进行数据基础设施现代化。企业审查数据会促使它们更好地掌握数据，AI等技术可以得到合理的应用。组织将加大力度整合数据管理和数据完整性，以确保第三方应用程序能够无缝集成。数据从业者将寻求持续保持数据清洁的解决方案，以便快速采取行动处理工作流程。更好的数据意味着用更少的数据训练更好的模型，以及更好地利用那些在AI应用中包含检索的数据的能力。

——Matt Wallace，Faction技术顾问

人工智能不会取代数据工程师

在人工智能领域，数据工程将会得到质的发展并且受到高度重视。有很多人在议论，人工智能革命将取代数据工程师的角色。事实并非如此，事实上，他们的数据专业知识将比以往任何时候都更为关键，只不过是以新的不同方式。为了跟上不断变化的形势，数据工程师将需要了解生成性人工智能如何增值。由数据工程师构建和管理的数据管道可能是组织解锁价值的首要位置。数据工程将是那批了解如何使用模型，并将其连接到数据管道以自动获得价值的人。同时，他们还将被寄以监督和了解AI工作的期望。

——Jeff Hollan，Snowflake产品管理总监

打破数据孤岛

传统的IT、法律和业务部门之间的障碍将在2024年被打破，以协作化的方式为替代。这种跨职能的协同将确保数据，包括非结构化数据，不仅能被获取，而且可以得到战略性的利用，推动业务价值。

——Rohit Choudhary，Acceldata首席执行官

数据作为商业资产

在许多方面，数据是一种新型石油。它是一种有限的资源，需要战略性地进行开采，其价值高度依赖于将其用于特定应用的精炼和处理能力。基于这个原因，我们认为2024年对于数据从屏幕上的1和0变成真正的实际资产是关键的一年，让企业内部可以对数据进行管理、跟踪和优化。

——Jackie McGuire，Cribl高级安全策略师

数据管理将在2024年将不仅是数据存储。组织会意识到将数据，包括非结构化数据，梳理进其业务战略中的战略价值。这一转变将解锁巨大的潜力，并重新定义业务决策。

——Rohit Choudhary，Acceldata首席执行官

在2024年，技术格局将经历一场变革性的转变，因为数据从一个有价值的资产转变为蓬勃发展的企业的命脉。忽视数据质量、完整性和血统的组织将面临不仅要做出知情决策，而且要实现生成性人工智能、LLM和ML应用和用例的全部潜力的挑战。今年，我预测那些忽视建设健全的数据基础和战略的组织将发现自己在迅速发展的技术行业中越来越难以维持下去。那些无法适应和优先考虑数据基础的组织将落后于竞争对手，并可能在竞争激烈的环境中面临生存风险。

——Armon Petrossian，Coalesce首席执行官兼联合创始人

数据作为创新资产

2024，数据迅速扩张依然是大的趋势。然而，有效地获取、处理和利用这些数据将成为组织内部创新受限或加速的关键因素。挑战将在于开发方法，如何快速、安全地消化不断涌入的数据，将其转化为可操作的见解。能够有效管理这种数据洪流，并将其转化为创新性的战略资产的公司，在这个日益受数据驱动的商业环境中将获得竞争优势。

——David Boskovic，Flatfile创始人兼首席执行官

数据作为产品

直到最近，只有大公司拥有可以创建跨团队和应用程序的，可以轻松重新利用数据资产所需的专业知识和资源。由于在构建这些资产所需的治理产品方面的进步，2024年将有更多公司能够创建可重复使用的数据产品，极大地加速了效率和数据创新。多个团队可以从访问相同数据以构建服务或应用程序中受益。然而，此数据必须以对于未参与其生产的用户来说安全、具有上下文，并以易于理解的方式呈现。

由于数据越来越远离其初始来源，我们必须进行更多成本上涨的数据检查。从源头开始进行数据治理不仅成本较低，而且可以更好地了解数据来源以及其结构化方式。嵌入到云数据仓库、数据库和其他数据基础设施服务等产品中的新数据治理功能可以满足这些需求。开发人员不再需要手动构建基础设施来创建和共享可重复使用的数据产品。因此，在2024年，可重复使用的数据产品将不再局限于拥有大型、复杂数据工程团队的公司。随着更多公司构建可重复使用的数据产品，开发人员可以让数据增值，并花费更多时间构建创新的数据应用程序和服务。

——Andrew Sellers，Confluent技术战略负责人 本文由 白鲸开源科技 提供发布支持！