首页 文章 精选 留言 我的

精选列表

搜索[AI],共10000篇文章
优秀的个人博客,低调大师

前沿科技探究之AI在索引推荐的应用

本节介绍索引推荐的功能,共包含三个子功能:单query索引推荐、虚拟索引和workload级别索引推荐。 单query索引推荐 单query索引推荐功能支持用户在数据库中直接进行操作,本功能基于查询语句的语义信息和数据库的统计信息,对用户输入的单条查询语句生成推荐的索引。本功能涉及的函数接口如下。 表 1 单query索引推荐功能的接口 函数名 参数 功能 gs_index_advise SQL语句字符串 针对单条查询语句生成推荐索引。 说明: 本功能仅支持单条SELECT类型的语句,不支持其他类型的SQL语句。 本功能暂不支持分区表、列存表、段页式表、普通视图、物化视图、全局临时表以及密态数据库。 使用方法 使用上述函数,获取针对该query生成的推荐索引,推荐结果由索引的表名和列名组成。 例如: openGauss=> select "table", "column" from gs_index_advise('SELECT c_discount from bmsql_customer where c_w_id = 10'); table | column ----------------+---------- bmsql_customer | (c_w_id) (1 row) 上述结果表明:应当在 bmsql_customer 的 c_w_id 列上创建索引,例如可以通过下述SQL语句创建索引: CREATE INDEX idx on bmsql_customer(c_w_id); 某些SQL语句,也可能被推荐创建联合索引,例如: openGauss=# select "table", "column" from gs_index_advise('select name, age, sex from t1 where age >= 18 and age < 35 and sex = ''f'';'); table | column -------+------------ t1 | (age, sex) (1 row) 则上述语句表明应该在表 t1 上创建一个联合索引 (age, sex), 则可以通过下述命令创建: CREATE INDEX idx1 on t1(age, sex); 说明: 系统函数gs_index_advise()的参数是文本型,如果参数中存在如单引号(’)等特殊字符,可以使用单引号(’)进行转义,可参考上述示例。 虚拟索引 虚拟索引功能支持用户在数据库中直接进行操作,本功能将模拟真实索引的建立,避免真实索引创建所需的时间和空间开销,用户基于虚拟索引,可通过优化器评估该索引对指定查询语句的代价影响。 本功能涉及的系统函数接口如下表所示: 表 1 虚拟索引功能的接口 函数名 参数 功能 hypopg_create_index 创建索引语句的字符串 创建虚拟索引。 hypopg_display_index 无 显示所有创建的虚拟索引信息。 hypopg_drop_index 索引的oid 删除指定的虚拟索引。 hypopg_reset_index 无 清除所有虚拟索引。 hypopg_estimate_size 索引的oid 估计指定索引创建所需的空间大小。 本功能涉及的GUC参数如下: 表 2 虚拟索引功能的GUC参数 参数名 功能 默认值 enable_hypo_index 是否开启虚拟索引功能 off 使用步骤 使用函数hypopg_create_index创建虚拟索引。例如: openGauss=> select * from hypopg_create_index('create index on bmsql_customer(c_w_id)'); indexrelid | indexname ------------+------------------------------------- 329726 | <329726>btree_bmsql_customer_c_w_id (1 row)` 开启GUC参数enable_hypo_index,该参数控制数据库的优化器进行EXPLAIN时是否考虑创建的虚拟索引。通过对特定的查询语句执行explain,用户可根据优化器给出的执行计划评估该索引是否能够提升该查询语句的执行效率。例如: `openGauss=> set enable_hypo_index = on; SET` 开启GUC参数前,执行EXPLAIN + 查询语句: openGauss=> explain SELECT c_discount from bmsql_customer where c_w_id = 10; QUERY PLAN ---------------------------------------------------------------------- Seq Scan on bmsql_customer (cost=0.00..52963.06 rows=31224 width=4) Filter: (c_w_id = 10) (2 rows) 开启GUC参数后,执行EXPLAIN + 查询语句: openGauss=> explain SELECT c_discount from bmsql_customer where c_w_id = 10; QUERY PLAN ------------------------------------------------------------------------------------------------------------------ [Bypass] Index Scan using <329726>btree_bmsql_customer_c_w_id on bmsql_customer (cost=0.00..39678.69 rows=31224 width=4) Index Cond: (c_w_id = 10) (3 rows) 通过对比两个执行计划可以观察到,该索引预计会降低指定查询语句的执行代价,用户可考虑创建对应的真实索引。 3. (可选)使用函数hypopg_display_index展示所有创建过的虚拟索引。例如: openGauss=> select * from hypopg_display_index(); indexname | indexrelid | table | column --------------------------------------------+------------+----------------+------------------ <329726>btree_bmsql_customer_c_w_id | 329726 | bmsql_customer | (c_w_id) <329729>btree_bmsql_customer_c_d_id_c_w_id | 329729 | bmsql_customer | (c_d_id, c_w_id) (2 rows) (可选)使用函数hypopg_estimate_size估计虚拟索引创建所需的空间大小(单位:字节)。例如: openGauss=> select * from hypopg_estimate_size(329730); hypopg_estimate_size ---------------------- 15687680 (1 row) 删除虚拟索引。 使用函数hypopg_drop_index删除指定oid的虚拟索引。例如: openGauss=> select * from hypopg_drop_index(329726); hypopg_drop_index ------------------- t (1 row) 使用函数hypopg_reset_index一次性清除所有创建的虚拟索引。例如: openGauss=> select * from hypopg_reset_index(); hypopg_reset_index -------------------- (1 row) 说明: 执行EXPLAIN ANALYZE不会涉及虚拟索引功能。 创建的虚拟索引是数据库实例级别的,各个会话(session)之间可共享设置,关闭会话后虚拟索引仍可存在,但是重启数据库后将被清空。 本功能暂不支持视图、物化视图、列存表。 workload级别索引推荐 对于workload级别的索引推荐,用户可通过运行数据库外的脚本使用此功能,本功能将包含有多条DML语句的workload作为输入,最终生成一批可对整体workload的执行表现进行优化的索引。同时,本功能提供从日志中抽取业务数据SQL流水的功能。 前提条件 数据库状态正常、客户端能够正常连接。 当前执行用户下安装有gsql工具,该工具路径已被加入到PATH环境变量中。 具备Python3.6+的环境。 若使用本功能提供的业务数据抽取功能,需提前将要收集的节点的GUC参数按如下设置: log_min_duration_statement = 0 log_statement= ‘all’ 说明: 业务数据抽取完毕建议将上述GUC参数复原,否则容易导致日志文件膨胀。 业务数据抽取脚本使用步骤 按前提条件中要求设置相关GUC参数。 运行python脚本extract_log.py,命令如下: python extract_log.py [l LOG_DIRECTORY] [f OUTPUT_FILE] [-d DATABASE] [-U USERNAME][--start_time] [--sql_amount] [--statement] [--json] 其中的输入参数依次为: LOG_DIRECTORY:pg_log的存放目录。 OUTPUT_PATH:输出SQL流水文件文件的保存路径,即抽取出的业务数据存放的文件路径。 DATABASE:(可选)数据库名称,不指定默认所有数据库。 USERNAME:(可选)用户名称,不指定默认所有用户。 start_time:(可选)日志收集的开始时间, 不指定默认所有文件。 sql_amount:(可选)收集SQL数量的最大值, 不指定默认收集所有SQL。 statement:(可选)表示收集pg_log日志中statement标识开头的SQL,不指定默认不收集。 json:指定收集日志的文件存储格式为SQL归一化后的json,不指定默认格式每条SQL占一行。 使用示例: python extract_log.py $GAUSSLOG/pg_log/dn_6001 sql_log.txt -d postgres -U omm --start_time '2021-07-06 00:00:00' --statement 将1中设置的GUC参数还原为设置前的值。 索引推荐脚本使用步骤 准备好包含有多条DML语句的文件作为输入的workload,文件中每条语句占据一行。用户可从数据库的离线日志中获得历史的业务语句。 运行python脚本index_advisor_workload.py,命令如下: python index_advisor_workload.py [p PORT] [d DATABASE] [f FILE] [--h HOST] [-U USERNAME] [-W PASSWORD][--schema SCHEMA] [--max_index_num MAX_INDEX_NUM][--max_index_storage MAX_INDEX_STORAGE] [--multi_iter_mode] [--multi_node] [--json] [--driver] [--show_detail] 其中的输入参数依次为: PORT:连接数据库的端口号。 DATABASE:连接数据库的名字。 FILE:包含workload语句的文件路径。 HOST:(可选)连接数据库的主机号。 USERNAME:(可选)连接数据库的用户名。 PASSWORD:(可选)连接数据库用户的密码。 SCHEMA:模式名称。 MAX_INDEX_NUM:(可选)最大的索引推荐数目。 MAX_INDEX_STORAGE:(可选)最大的索引集合空间大小。 multi_node:(可选)指定当前是否为分布式数据库实例。 multi_iter_mode:(可选)算法模式,可通过是否设置该参数来切换算法。 json:(可选)指定workload语句的文件路径格式为SQL归一化后的json,默认格式每条SQL占一行。 driver:(可选)指定是否使用python驱动器连接数据库,默认gsql连接。 show_detail:(可选)是否显示当前推荐索引集合的详细优化信息。 例如: python index_advisor_workload.py 6001 postgres tpcc_log.txt --schema public --max_index_num 10 --multi_iter_mode 推荐结果为一批索引,以多个创建索引语句的格式显示在屏幕上,结果示例。 create index ind0 on public.bmsql_stock(s_i_id,s_w_id); create index ind1 on public.bmsql_customer(c_w_id,c_id,c_d_id); create index ind2 on public.bmsql_order_line(ol_w_id,ol_o_id,ol_d_id); create index ind3 on public.bmsql_item(i_id); create index ind4 on public.bmsql_oorder(o_w_id,o_id,o_d_id); create index ind5 on public.bmsql_new_order(no_w_id,no_d_id,no_o_id); create index ind6 on public.bmsql_customer(c_w_id,c_d_id,c_last,c_first); create index ind7 on public.bmsql_new_order(no_w_id); create index ind8 on public.bmsql_oorder(o_w_id,o_c_id,o_d_id); create index ind9 on public.bmsql_district(d_w_id); 说明: multi_node参数需严格按照当前数据库架构进行指定,否则推荐结果不全,甚至导致无推荐结果。

优秀的个人博客,低调大师

微众银行 AI 开源项目 - 9 月进展合集

FATE 联邦学习系统 1. FATE V1.7整体开发进度:开发完成,第三轮测试中 2.9月23日,FATE-Serving发布v2.1.0版本,实现三方以上节点联邦在线预测,在线集群内多节点间模型同步,在线集群健康状态一键检测等功能,进一步拓展联邦在线架构的适用场景,增强高可用。 3. 9月22日,FATE-Cloud发布v1.4.0版本,实现站点注册流程优化,Exchange站点路由自动更新等功能,进一步优化站点管理用户体验。 EggRoll 分布式计算、存储、通信引擎 Eggroll 2.4.0:开发进度100%。主要功能:数据复制、负载均衡优化、启动优化、自定义pythonpath等。 FATE 联邦学习系统 1. FATE V1.7整体开发进度:开发完成,第三轮测试中 2.9月23日,FATE-Serving发布v2.1.0版本,实现三方以上节点联邦在线预测,在线集群内多节点间模型同步,在线集群健康状态一键检测等功能,进一步拓展联邦在线架构的适用场景,增强高可用。 3. 9月22日,FATE-Cloud发布v1.4.0版本,实现站点注册流程优化,Exchange站点路由自动更新等功能,进一步优化站点管理用户体验。 REPO: https://github.com/FederatedAI/FATE https://gitee.com/WeBank/FATE EggRoll 分布式计算、存储、通信引擎 Eggroll 2.4.0:开发进度100%。主要功能:数据复制、负载均衡优化、启动优化、自定义pythonpath等。 REPO: https://github.com/WeBankFinTech/eggroll https://gitee.com/WeBank/eggroll

优秀的个人博客,低调大师

微众银行 AI 开源项目 - 8月进展合集

FATE 联邦学习系统 1:FATE V1.7 完成开发,进入测试阶段 主要功能包括:Flow仓库拆分,支持不同版本组件调度,模型中心功能升级,两方LR,交集性能加速等。 2. FATE v1.6.1圆桌论坛成功举办。 REPO: https://github.com/FederatedAI/FATE https://gitee.com/WeBank/FATE EggRoll 分布式计算、存储、通信引擎 Eggroll 2.4.0:开发进度 60% 主要功能:数据复制、负载均衡优化、启动优化等。 REPO: https://github.com/WeBankFinTech/eggroll https://gitee.com/WeBank/eggroll

优秀的个人博客,低调大师

用 AI 识别基因,从向量化 DNA 序列开始

​DNA 序列在分子生物学和医药研究中有着广泛的应用,比如基因溯源、物种鉴定、疾病诊断等。如果结合正在兴起的基因大数据,采取大量的样本,那么通常实验结果更具说服力,也能够更有效地投入现实应用。 同时如同其他行业一样,人工智能的介入正在受到广泛的关注,承载着业界对更智能高效的研究方法的期待。然而传统的核酸序列比对方法有着诸多限制,并不适用于大规模的数据 [1] ,这使现实应用不得不在成本和准确率中做出取舍。为缓解核酸序列数据特性的掣肘,向量化是面对大量 DNA 序列时的一个更优选择。 Milvus 作为一款开源的、对海量数据友好的向量数据库,能够高效地存储和检索核酸序列的嵌入。在提高效率的同时,Milvus 也能够帮助降低项目研究或系统搭建的成本。由 Milvus 搭建的 DNA 序列分类系统,不仅毫秒之间能够识别基因的类别,还比机器学习领域里常见的分类器们更加精准。 数据处理 基因是带有遗传信息的 DNA 序列片段,由数个碱基【A, C, G, T】排列组合而成。每个生物都有不同的基因组,比如人类基因组中含有3万个左右基因,约30亿个 DNA 碱基对,每个碱基对有2个对应的碱基。 针对不同的需求和目的,DNA 序列可以被各种分类,支持着多样的学术研究和现实应用。原始的 DNA 序列数据通常长短不一,常存在长序列。为了减少处理数据的成本,业内通常使用 k-mer [2] 预处理序列,同时能够使 DNA 序列更接近普通文本的词句结构。而向量化数据则能够进一步提高计算速度,并适用于大数据分析与机器学习。 k-mer 一种常见的 DNA 序列预处理方式是 k-mer,从原始序列第一个碱基开始,以一个碱基为单位每次向后一位,每次取一个长度为k的短序列。经过 k-mer 之后,一条长度为 s 的长序列就被转换成了(s-k+1)个短序列。通过调节k的值,可以提高模型的准确性。转换后的短序列可以更好地进行数据读取、特征提取、向量化。 向量化 向量化 DNA 序列的过程其实是将其当作普通文本,一条被 kmer 拆分后的序列就像是一个句子,拆成的单个短序列是一个单词,碱基则对应字符。因此常见的 NLP 模型都可以被用来处理 DNA 序列数据,进行模型训练、特征提取、序列编码。 每个模型都有自己的特点和限制,实际操作中可以根据数据的特点进行选择和比较。以词袋模型为例,CountVectorizer 是一种比较轻便的特征提取方法,对序列长度没有限制,但相似度区分不明显。 Milvus示例 Milvus 使用简化的非结构化数据管理,能够将目标对象在万亿条向量数据中根据近似最近邻搜索(ANN)算法进行比对,以平均延迟以毫秒计的速度召回相似结果。它对海量非结构化数据的友好与高效的相似搜索,毫无疑问能够轻松地管理大量 DNA 序列数据,从而促进生物或基因学的研究与应用。 一个简单的演示案例展现了如何使用Milvus搭建 DNA 序列的分类系统,实验数据[3]包含了三个物种的7种基因序列。在插入 Milvus 之前,该示例首先将所有的 DNA 序序列进行了 k-mer 处理,然后训练了词袋模型用以特征提取与向量化。该结合 Milvus 与 Mysql 的分类模型结构如下图所示,包括了插入和搜索两个流程。 (https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification) 得到每条 DNA 序列对应的向量之后,将其插入 Milvus 中事先建好的 Milvus 集合中(可指定分集),以供比对与搜索。向量之间的距离反映了序列之间的相似度,从而实现基因序列的分类和种类之间的相似度比较。 基因序列分类 输入未知类别的 DNA 序列,在 Milvus 数据库中搜索与其相似的序列便可以对搜索对象进行基因分类,以此了解其可能的功能。比如一段序列被分类为GPCRs(G蛋白偶联受体),则表示该序列或许关系着样本采取对象的各种生理功能[4]。示例中的模型对未插入集合的人类基因序列进行搜索,成功根据搜索结果返回了正确的基因类别,证明了 Milvus 的向量相似性搜索能够分类基因序列。 物种相似程度 通过比较不同物种之间基因序列的平均相似度,也可以看出哪些物种之间基因更为相似。示例中计算了黑猩猩与人类、狗与人类的基因序列的平均内积距离(Average Inner Product Distance: 0.97 > 0.70),验证了黑猩猩比狗在基因上更接近人类。由此可见,Milvus 能够通过计算基因序列之间的向量距离来支持科学研究。 实验表现 对示例采用的人类基因序列样本数据(共 3629 条)进行 k-mer 处理后,随机取20% 作为测试数据。使用剩下的 80% 作为训练数据,进行特征提取,训练不同的分类模型或搭建 Milvus + Mysql 搜索系统。实验采用了五种分类器分别对测试序列进行了分类,通过计算并比较准确率(正确分类的基因序列个数 / 测试序列的总个数),Milvus + Mysql 搭建的分类模型的准确率(90.77%)超过了所有的常用分类器。 应用拓展 随着基因大数据的发展和完善,向量化后的 DNA 序列数据能够更好地参与科学研究与实践应用。如果能够结合生物学的专业知识,便可以更合理地向量化 DNA 序列、计算距离、解读结果。 融入生物学并采用大量的样本能够很大程度地改进基因序列的向量数据库,Milvus 便能够更好地发挥所长。根据现实需求,Milvus 相似性搜索和距离计算有很大的潜力被投入各种应用。 未知序列研究:研究表明向量化序列能够压缩数据,根据已知基因序列研究未知序列的结构、功能、进化关系。[5] 当拥有足够的序列数据进行研究时,实验结果会更加可靠有效,但数据的存储和处理会成为一个问题。将其向量化后使用 Milvus 能够在节约数据处理成本的同时,保持甚至提高模型准确率。 适配硬件:受到传统的生物分子序列比对算法限制,基因序列相似性搜索无法受益于硬件(CPU/GPU)的发展[6][7]。Milvus 的加入可以从距离算法上解决这一问题,更好地根据数据规模适配硬件,从而显著提高搜索效率。 鉴定或溯源病毒:现实中鉴定新冠病毒的起源时,科学家通过比较毒株核苷酸序列推测出新冠病毒或起源于蝙蝠,同时发现其比起 MERS 更接近 SARS 病毒。[8] 该实验采用了 5 例病患的数据,如果在此基础上使用更大的样本进行验证或者研究,结论能够更具说服力,或发现更多的模式。 疾病诊断:临床上一般是对比检查对象与健康人的基因序列,找出可引起疾病的变异基因。[9] 在疾病对应的基因位置得到序列,根据健康与否、严重程度或疾病类型将大量的样本数据分类。将这些数据通过合适的算法提取特征并向量化后插入 Milvus,计算向量距离并转换成患病概率,就可以实现基于基因序列的人工智能疾病诊断系统。除了能够协助疾病诊断外,该应用也能够帮助推进靶向治疗的发展[10]。 参考资料 https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5 https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where https://www.kaggle.com/nageshsingh/dna-sequence-dataset https://baike.baidu.com/item/G%E8%9B%8B%E7%99%BD%E5%81%B6%E8%81%94%E5%8F%97%E4%BD%93/9495289#4 https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/ https://mjeer.journals.ekb.eg/article_146090.html http://rs.yiigle.com/yufabiao/1180150.htm http://www.xinhuanet.com/science/2018-04/16/c_137114251.htm https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full ✏️作者:顾梦佳,Zilliz 数据工程师,麦吉尔大学信息学硕士。在 Zilliz 的主要工作是参与开源项目 Milvus 的社区运营与维护,为用户提供升级推荐系统、搭建基因序列分类模型等不同场景下的解决方案。野草般顽强,解决问题时百折不挠、遇强愈强。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码