首页 文章 精选 留言 我的

精选列表

搜索[智能体AI],共10000篇文章
优秀的个人博客,低调大师

《数据虚拟化:商务智能系统的数据架构与管理》一 1.4 什么是数据虚拟化

1.4 什么是数据虚拟化 数据虚拟化是虚拟化的一种形式。正如这一术语表明的,它封装的资源是数据。简而言之,当应用数据虚拟化时,它提供了一个中间层,这个中间层对应用隐藏了大多数关于数据是怎样存储、存在哪里这些方面的技术部分(如图1-3所示)。因为这一层,应用不需要知道所有数据在物理上的存储位置,数据库服务器的运行位置,需要的API是什么,使用哪种数据库语言,等等。对于每个使用数据虚拟化的应用来说,它感觉像是在访问一个大数据库。 如果我们使用前几节中对虚拟化的描述来描述数据虚拟化,我们认识到:数据虚拟化意味着应用程序可以使用数据而不用考虑它存储在什么地方,技术接口是什么,是如何实现的,使用的平台是什么,以及有多少是可用的。数据虚拟化方法封装数据资源使得所有的技术细节都隐藏起来,并且应用程序可以使用一个更简单的接口进行工作。在图1-3和整本

优秀的个人博客,低调大师

《数据虚拟化:商务智能系统的数据架构与管理》一 1.6 数据虚拟化的定义

1.6 数据虚拟化的定义 数据虚拟化已经被几个作者定义过了。本书中我们用下面的定义:数据虚拟化是一种给数据使用者提供一个统一的、抽象的和封装的视图,来查询和操作存储在异构数据存储集合中数据的技术。这个定义依赖于很多前面部分已经解释过的概念。这里简要地重复一下。数据虚拟化提供了一个统一的数据视图,这就意味着数据使用者不会看到或者不必知道他们所访问的数据可能来自多个数据存储。数据虚拟化隐藏了数据被集成为统一视图这一事实。封装意思是数据虚拟化技术隐藏了访问数据的技术细节。对于消费者来说,数据的位置、存储结构、使用的API、使用的访问语言、应用的存储技术和所有其他的技术细节都应该是透明的。数据虚拟化向数据使用者提供了一个抽象的数据视图。他们只会看到有关的数据,并且以满足他们需求的形式看到。因此数据可能以细节层次呈现,也可能以聚合层次呈现。来

优秀的个人博客,低调大师

《数据虚拟化:商务智能系统的数据架构与管理》一 1.12 数据虚拟化服务模型

1.12 数据虚拟化服务模型 本质上,每个数据虚拟化服务器都有其自己的技术架构,但是在概念层面上,它们都至少由两个主要模型组成:设计模型和运行模型。另外还有一个存储元数据规范的字典。这三部分如图1-12所示。 设计模型由分析员、设计者和可能用到虚拟化规范的用户使用。这里涉及例如概念定义;数据模型;转换、清洗和集成规范等规范。所有这些规范都存储在字典里。运行模型是数据使用者访问虚拟化层时使用的模型。它是处理所有输入请求的模型。它决定了最好的查询运行机制,知道怎样访问不同的数据存储技术,知道怎样集成数据,等等。它由调度程序、存储引擎、缓存管理和查询优化器等组成。

优秀的个人博客,低调大师

《数据虚拟化:商务智能系统的数据架构与管理》一 1.13 数据虚拟化的历史

1.13 数据虚拟化的历史 术语数据虚拟化的历史相对较短。不清楚这一术语确切的创造时间。似乎是Eric Broughton在2005年发表的一篇论文中第一次使用它(见文献[12])。然而,它的概念、一些产品和研究比这早很多。因为数据虚拟化产品在功能性上很丰富,所以有很多技术都促进了它们的发展。因此,为了展现一幅完整的历史画面,我们需要介绍分布式数据库、数据联合、XSLT和XQuery以及插件的历史。分布式数据库:技术上来讲,数据虚拟化服务的关键特点之一是数据联合,数据联合可以有效地连接来自异构数据存储集的数据。数据联合技术第一次实现是在分布式数据库服务器中。在分布式数据库服务器中,多个独立的数据库服务器可以以一个单独的逻辑数据库工作。这就意味着数据使用者可以输入一个由不同的数据库服务器管理的多个表的连接查询。分布式数据库服务器的任务

优秀的个人博客,低调大师

《中国人工智能学会通讯》——2.27 利用深度学习改进统计机器翻译

2.27 利用深度学习改进统计机器翻译 利用深度学习改进统计机器翻译的核心思想是以统计机器翻译为主体,使用深度学习改进其中的关键模块,如语言模型[1] 、翻译模型 [2] 、调序模型 [3] 、词语对齐[4]等。 深度学习能够帮助机器翻译缓解数据稀疏问题。以语言模型为例。语言模型能够量化译文的流利度,对译文的质量产生直接的重要影响,是机器翻译中的核心模块。传统的语言模型采用 n-gram方法,通过极大似然估计训练模型参数。由于这种方法采用离散表示(即每个词都是独立的符号),极大似然估计面临着严重的数据稀疏问题:大多数n-gram 在语料库上只出现一次,无法准确估计模型参数。因此,传统方法不得不使用平滑和回退等策略来缓解数据稀疏问题。但即使采用平滑和回退策略,统计机器翻译系统还是因为数据过于稀疏而无法捕获更多的历史信息,通常仅能使用 4-gram或者 5-gram 语言模型。 深度学习著名学者、加拿大蒙特利尔大学Yoshua Bengio 教授在 2003 年率先提出基于神经网络的语言模型[5] ,通过分布式表示(即每个词都是连续、稠密的实数向量)有效缓解了数据稀疏问题。美国 BBN 公司的 Jacob Devlin 等人于 2014年进一步提出神经网络联合模型(Neural NetworkJoint Models) [1] 。传统的语言模型往往只考虑目标语言端的前 n-1 个词。以图 1 为例,假设当前词是“the”,一个 4-gram 语言模型只考虑之前的三个词:“get”、“will”和“i”。Jacob Devlin 等人认为,不仅仅是目标语言端的历史信息对于决定当前词十分重要,源语言端的相关部分也起着关键作用。因此,其神经网络联合模型额外考虑五个源语言词,即“就”、“取”、“钱”、“给”和“了”。由于使用分布式表示能够缓解数据稀疏问题,神经网络联合模型能够使用丰富的上下文信息(图 1 共使用了 8 个词作为历史信息),从而相对于传统的统计机器翻译方法获得了显著的提升(BLEU 值提高约 6 个百分点),因此获得了自然语言处理领域重要国际会议 ACL 2014 的最佳论文奖。 对机器翻译而言,使用神经网络的另一个优点是能够解决特征难以设计的问题。以调序模型为例。基于反向转录文法的调序模型[6]是基于短语的统计机器翻译的重要调序方法之一,其基本思想是将调序视作二元分类问题:将两个相邻源语言词串的译文(1)顺序拼接或(2)逆序拼接。传统方法通常使用最大熵分类器,但是如何设计能够捕获调序规律的特征成为难点。由于词串的长度往往非常长,如何从众多的词语集合中选出能够对调序决策起到关键作用的词语是非常困难的。因此,基于反向转录文法的调序模型不得不仅基于词串的边界词设计特征[6] ,无法充分利用整个词串的信息。利用神经网络能够缓解特征设计的问题,首先利用递归自动编码器(Recursive Autoencoders)生成词串的分布式表示;然后基于四个词串的分布式表示建立神经网络分类器[3] 。因此,基于神经网络的调序模型不需要人工设计特征就能够利用整个词串的信息,显著提高了调序分类准确率和翻译质量。实际上,深度学习不仅能够为机器翻译生成新的特征[1-2] ,还能够将现有的特征集合转化生成新的特征集合[7] ,显著提升了翻译模型的表达能力。 然而,尽管利用深度学习改进统计机器翻译取得了显著的效果,但仍然面临以下难题。 ● 线性不可分:整体框架仍是线性模型,高维数据线性不可分的情况依然存在。虽然可以在保持特征不变的情况下将线性模型替换为非线性模型[8] ,但目前尚未获得大幅度的提升。 ● 非局部特征:通过深度学习引入的新特征往往是非局部的,导致无法设计高效的动态规划算法,从而不得不采用在后处理阶段进行超图重排序等近似技术[9] 。 能不能直接利用神经网络进行机器翻译呢?

优秀的个人博客,低调大师

《中国人工智能学会通讯》——6.4 基于深度学习的知识图谱构建

6.4 基于深度学习的知识图谱构建 随着深度学习在自然语言处理领域应用的不断深入,人们也开始尝试将深度神经网络用于知识图谱的自动构建。在此,以实体和关系的表示学习技术为基础,讨论深度学习在命名实体识别、关系抽取、关系补全等任务上的应用。 命名实体识别 命名实体识别是从文本中提取出和人名、地名等特定的短语或名称的任务。早期的命名实体识别主要基于规则和词典来进行,对规律性较强的文本环境较为适合,但难以摆脱对领域专家的的依赖,费时费力且难以移植[28] 。随着语料数据的增长,研究者逐步将机器学习和统计分析技术应用于命名实体识别,其方法可以分为有监督、半监督和无监督的方法。 有监督方法基于序列标注思想,结合大量标注语料,定义一系列实体来训练判别模型。传统模型包括隐马尔科夫模型(HMM) [29] 、最大熵马尔科夫模型(MEMM) [30] 、条件随机场(CRF) [31] 等。在深度学习领域,针对序列标注的思路,研究者将卷积神经网络[18]和循环神经网络[21]用于该任务,结合词语的表示学习,取得了优于传统方法的结果。 半 监 督( 或 弱 监 督) 方 法 主 要 采 用 boot-strapping 技术,只利用很少的标注数据作为种子开始学习,结合大量无标注数据,通过模板、句法分析树等方式迭代地从上下文中发现实体[32] 。 无监督方法则在无标注数据集的情况下,采用聚类等方法,利用类似的上下文推测出类似的概念和实例;或者基于外部知识(如 WordNet 等),完成从一个领域到另一领域的迁移学习。随着文本数据资源的不断丰富,研究者结合词的向量表示和已有的词典等信息,利用词向量之间的相对关系 ( 如v (king) -v(queen) = v(man) -v(woman)) 通过训练词向量和评估词语之间的投射关系矩阵,发现新的上下位实体[33-36] 。 关系抽取和补全 关系抽取是指从无结构的自然语言文本中找出实体之间的语义关系。早期主要采用基于规则的方法,提前定义关系所对应的结构规则,进行特定领域的关系抽取。而后,主要采用基于特征和核函数的方法,前者主要通过提取文本的语法特征[37]来构建关系的分类器;后者则利用短语句法、依存语法、实体之间路径关系等信息设计相应的核函数,并通过核函数计算两个实例的关系来完成关系抽取[38] 。近期,研究者将循环神经网络等深度学习技术应用于关系抽取中。例如,Xu et al [39] 提出一种基于 LSTM 循环神经网络的方法,对自然语言语句的依存树中不同实体间的最短依赖路径进行分析,以确定实体间关系的类别,该方法证实了深度神经网络在关系抽取中的有效性。 关系补全是基于知识库中已有的知识,进行推理或计算,对知识库中缺少的关系进行填补的任务。根据分析目标的不同可以分为两个方面,一是已知某关系两端的实体,求取两实体之间的关系;二是已知某个实体和与之关联的关系,求取该关系另一端的实体。前者可称为链接预测,后者可称为实体预测。当前,常见的关系补全方法包括基于张量重构的方法和基于翻译模型的方法等。基于张量重构的方法,以 RESCAL 系统为主要代表[40-42] ,将知识库的整个实体关系网络看作三维张量,其中每个二维切片是对一种关系的描述,该方法将整个知识库的信息进行编码整合,推理过程计算量小,但当知识库规模较大时,张量重构的代价较大。基于翻译模型的方法则将知识库中的关系看作实体间的平移向量,即将关系三元组 < 实体 S,关系 P,实体O> 中的尾部实体 O 看作头部实体 S 经过关系 P 的翻译结果。Trans* 系列模型是这类方法的代表。其中,Bordes et al [43] 提出的 TransE 模型通过结合实体和关系的表示学习,对知识库中的 1-1 关系进行补全。在此基础上,为了近一步处理1-N、N-1、N-N等复杂关系,出现了 TransII、TransR 等模型[44-45] ,为了将孤立三元组关系的语义融合为关系路径的语义,出现了 PTransE 模型[46] ,为了近一步融合知识库三元组关系和外部文本知识,出现了 DKRL 模型[47]等。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册