处理XML数据应用实践
摘要:GaussDB(DWS)支持XML数据类型及丰富的XML解析函数,可实现关系数据和XML数据的映射管理功能。
XML概述
XML是可扩展的标识语言(eXtensible Markup Language)的缩写,可以描述非常复杂的数据结构,广泛应用于传输和存储数据。XML是一种类似于HTML的标记语言,但XML没有使用预定义的标记,可以根据应用需求定义标记。XML的基本格式是标准化的,可以跨平台、操作系统和应用程序实现异构系统之间的数据共享。
XML数据类型
GaussDB(DWS)支持将XML文档存储在数据库的XML数据类型列中。通过XML数据类型来保存数据,相比于文本方式的优势在于具有数据结构检查功能,能够保证结构的正确,并且支持XML数据解析和处理函数。
判断一个 XML 文档正确的标准是:
- 文档必须是一个格式良好的文档。
- 文档遵循 XML 所有的语法规则并且有效。
- 文档遵循特定语义的规则,这些规则通常规定在 XML 或 DTD 规范中
XML可以存储由XML标准定义的格式正确的文档,以及由XML标准中定义的内容片断,内容片断可以有多个顶级元素或字符节点。
下面是一个格式良好的XML文档示例:
<?xml version="1.0" encoding="UTF-8"?> <message> Hello GaussDB(DWS) </message>
可以使用INSERT SQL语句将格式良好的文档插入到XML列中,如果能够成功分析文档,那么就说明文档的格式正确。在执行插入或更新操作前,会根据配置参数来验证XML文档是否格式正确。
在应用程序中的XML数据一般采用其序列化字符串格式,将数据插入到 XML 列中时,必须将它转换为 XML 分层格式。因此在执行插入操作时可显式调用 XMLPARSE 函数,以将数据从其序列化字符串格式转换为 XML 分层格式。
test=# SELECT XMLPARSE(document '<root>GAUSSDB(DWS)</root>'); xmlparse --------------------------- <root>GAUSSDB(DWS)</root> (1 row)
访问XML值
当访问和处理XML数据时,由于XML数据在数据库内部的表示不是字符串,XML数据类型没有提供比较操作符,因此不能直接与字符串进行比较。这样的结果是无法通过比较XML数值和搜索值来检索到数据行,因此对于XML数据应该伴随一个ID值用于检索数据。
通过使用 XMLSERIALIZE 函数,可以将 XML 值变换成表示 XML 文档的已序列化字符串值。
test=# SELECT XMLSERIALIZE(document '<root>GAUSSDB(DWS)</root>' AS TEXT); xmlserialize --------------------------- <root>GAUSSDB(DWS)</root> (1 row)
XML解析函数
目前GaussDB(DWS)已经支持了30多个XML解析函数,包括解析XML数据、生成XML内容、XML谓词、XML参数设置、将数据映射到XML等功能。
处理XML数据的函数
- xpath 对xml值计算xpath表达式的结果
- xmltable 通过XPath表达式的方式对XML数据进行解析
生成XML内容的函数
- xmlparse 字符数据转换为xml类型的值
- xmlserialize xml类型转换为字符串
- xmlcomment 创建一个包含XML注释的特定文本内容的值
- xmlconcat 连接独立的XML值列表来创建一个包含XML内容片段的单值
- xmlelement 生成一个带有给定名称,属性和内容的XML元素。
- xmlforest 生成一个使用指定的名称和内容的XML森林(序列)元素
- xmlpi 创建一条XML处理指令
- xmlroot 更改XML值的根节点属性
- xmlagg 聚合函数,连接聚合函数调用的输入值
XML谓词函数
- IS DOCUMENT 判断XML值是否为文档
- IS NOT DOCUMENT 判断XML值是否为文档
- xmlexists 判断XPath表达式是否返回任何节点
- xpath_exists 判断XPath表达式是否返回任何节点
- xml_is_well_formed 检查字符串是不是格式良好的XML
- xml_is_well_formed_document 检查字符串是不是格式良好的XML文档
- xml_is_well_formed_content 检查字符串是不是格式良好的XML内容
XML参数设置
- SET XML OPTION 设置XML格式
- SET XMLBINARY TO 设置二进制值在XML中的编码格式
将表、查询、游标、数据库映射到XML的函数
- table_to_xml、query_to_xml、cursor_to_xml、database_to_xml等。
具体每个函数的使用方法可以参考GaussDB(DWS)用户手册,下面主要介绍应用中常见的解析XML数据的XMLTABLE函数。
XMLTABLE函数概述
XMLTABLE函数通过XPath表达式的方式对XML数据进行解析,按照定义的列生成一个表将数据返回,返回的表可以包含任何 SQL 数据类型(包括 XML类型)。
XMLTABLE函数支持将表中的XML数据或一个SELECT查询的XML数据作为变量传递到指定的XPath表达式上,通过XPath表达式解析XML数据后的结果用于产生表中的列值,生成的表的结构由 XMLTABLE 的 COLUMNS 子句定义,可以指定列名、数据类型和生成列值的方式来定义列的特征。
下面演示一下XMLTABLE函数的使用方法,首先创建CUSTOMER表并插入包含客户信息的XML数据。
CREATE TABLE CUSTOMER AS SELECT 1 AS ID, XML $$ <ROWS> <ROW ID="1"> <CUSTOMER_NAME>Tony</CUSTOMER_NAME> <PHONENUM>123-456-666</PHONENUM> </ROW> <ROW ID="2"> <CUSTOMER_NAME>Serena</CUSTOMER_NAME> <PHONENUM>123-456-888</PHONENUM> </ROW> <ROW ID="3"> <CUSTOMER_NAME>Tina</CUSTOMER_NAME> <PHONENUM>123-456-999</PHONENUM> </ROW> </ROWS> $$ AS INFO;
通过以下 SELECT 语句在 XMLTABLE 函数中解析 CUSTOMER 表的 INFO 列。
SELECT XMLTABLE.* FROM CUSTOMER, XMLTABLE('//ROWS/ROW' PASSING INFO COLUMNS ID INT PATH '@ID', NAME VARCHAR(64) PATH 'CUSTOMER_NAME', PHONENUM TEXT PATH 'PHONENUM'); id | name | phonenum ----+--------+------------- 1 | Tony | 123-456-666 2 | Serena | 123-456-888 3 | Tina | 123-456-999 (3 rows)
在GaussDB(DWS)上,XMLTABLE函数支持下推到数据节点DN执行的STREAM查询计划,XML数据在数据节点上进行解析生成XMLTABLE结果表,通过GATHER STREAM将结果汇总到协调节点CN上,能够下推到DN的STREAM计划具有较好的查询性能。
XMLTABLE应用案例
在业务场景中,经常会遇到需要解析XML文档的场景,使用XMLTABLE函数可以快捷方便的完成对XML数据的解析,将所需的数据以表的形式返回,便于对数据进一步的查询和分析。
下面演示一个对消息数据的解析流程:
1. 创建一张用于存储消息数据的表,插入数据。
CREATE TABLE MSGS AS SELECT 1 AS ID, 'A,BB,CCC,DDDD,EEEEE' AS MSG;
2. 将消息文本数据通过XMLPARSE函数转化为XML数据。
test=# SELECT XMLPARSE(content '<r><c>' || REPLACE(MSG, ',', '</c><c>') ||'</c></r>') AS XML_MSG FROM MSGS; xml_msg ----------------------------------------------------------- <r><c>A</c><c>BB</c><c>CCC</c><c>DDDD</c><c>EEEEE</c></r> (1 row)
3. 使用XMLTABLE函数对XML数据进行解析,逐条返回消息内容。
test=# SELECT MSG_CONTENT FROM test-# (SELECT XMLPARSE(content '<r><c>' || REPLACE(MSG, ',', '</c><c>') ||'</c></r>') AS XML_MSG FROM MSGS), test-# XMLTABLE('/r/c/text()' PASSING XML_MSG COLUMNS MSG_CONTENT VARCHAR(4000) PATH '.'); msg_content ------------- A BB CCC DDDD EEEEE (5 rows)
从上图中可以看到,XMLTABLE解析后的数据以表的形式返回,在这个XMLTABLE表上可以进一步的对数据排序、筛选等操作,同时GaussDB(DWS)也支持在函数或存储过程中进行XML数据的处理,使应用程序的开发非常便捷。
总结
GaussDB(DWS)支持了XML数据类型及丰富的XML解析函数,同时基于Shared Nothing的分布式架构具有良好的并行处理和扩展能力,对XML数据的解析任务可下推到数据节点上进行并行处理,完全能够满足应用中出现的XML数据解析需求。
本文分享自华为云社区《GaussDB(DWS) XML数据处理实践》,原文作者:黎明的风。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
用OkHttp实现WebSocket长连接
点击上方 蓝字 关注我,❤ 今天给大家带来一篇老文章,介绍WebSocket,大家可以了解了解。 前言 最近老板又来新需求了,要做一个物联网相关的app,其中有个需求是客户端需要收发服务器不定期发出的消息。内心OS:🤔 这咋整呢?通过接口轮询?定时访问接口,有数据就更新?🤔 不行不行,这样浪费资源了,还耗电,会导致很多请求都是无效的网络操作。🤔 那就长连接呗?WebSocket协议好像不错,通过握手建立长连接后,可以随时收发服务器的消息。那就它了!🤔 怎么集成呢?正好前段时间复习OkHttp源码的时候发现了它是支持Websocket协议的,那就用它试试吧! 开淦! WebSocket介绍 先简单介绍下WebSocket。我们都知道Http是处于应用层的一个通信协议,但是只支持单向主动通信,做不到服务器主动向客户端推送消息。而且Http是无状态的,即每次通信都没有关联性,导致跟服务器关系不紧密。 为了解决和服务器长时间通信的痛点呢,HTML5规范引出了WebSocket协议(知道这名字咋来的吧,人家HTML5规范引出的,随爸姓),是一种建立在TCP协议基础上的全双工通信的协议。他...
- 下一篇
云原生2.0时代:企业更应了解一下容器安全
摘要:云原生2.0时代,任何企业都可以成为“新云原生企业”,作为云原生的代表技术之一的容器,每个企业都应该对容器安全有所了解。 随着云原生技术的成熟和市场需求的升级,云计算的发展已步入新的阶段,云原生2.0时代已经到来。从技术角度看,以容器、微服务以及动态编排为代表的云原生技术蓬勃发展,成为赋能业务创新的重要推动力,并已经应用到企业核心业务。从市场角度看,云原生技术已在金融、制造、互联网等多个行业得到广泛验证,支持的业务场景也愈加丰富,行业生态日渐繁荣。云原生2.0是企业智能升级的新阶段,企业云化从“ON Cloud”走向“IN Cloud”,新生能力与既有能力有机协同、立而不破,实现资源高效、应用敏捷、业务智能、安全可信,成为“新云原生企业”。 云原生2.0时代,任何企业都可以成为“新云原生企业”,作为云原生的代表技术之一的容器,每个企业都应该对容器安全有所了解。 传统的虚拟机能够基于虚拟化技术更加有效的利用硬件计算资源,可以实现云租户的隔离与资源共享。相比虚拟机来说,容器更轻、更快,但是作为一种新技术,容器的安全防护也与虚拟机所有不同。 容器 VS 虚拟机 容器与虚拟机具有相似的资...
相关文章
文章评论
共有0条评论来说两句吧...