首页 文章 精选 留言 我的

精选列表

搜索[AI],共10000篇文章
优秀的个人博客,低调大师

前沿科技探究之AI功能:慢SQL发现

SQLdiag:慢SQL发现 SQLdiag是openGauss中SQL语句执行时长预测工具。现有的预测技术主要基于执行计划的预测方法,但这些预测方案仅适用于OLAP场景且可以获取执行计划的任务,对于OLTP或者HTAP这样的快速、简单查询是没有太多使用价值的。与上述方案不同,SQLdiag着眼于数据库的历史SQL语句,通过对历史SQL语句的执行表现进行总结归纳,将之再用于推断新的未知业务上。由于短时间内数据库SQL语句执行时长不会有太大的差距,SQLdiag可以从历史数据中检测出与已执行SQL语句相似的语句结果集,并基于SQL向量化技术和模板化方法预测SQL语句执行时长。本工具有如下优点: 不需要SQL语句的执行计划,对数据库性能不会有任何的影响。 使用场景广泛,目前业内的很多算法局限性比较高,比如只适用于OLTP或者OLAP,而SQLdiag使用场景广泛。 该框架容易理解,只需要简单的操作,就可以训练出自己的预测模型。 本工具的典型应用场景是对一批即将上线的SQL语句进行透视,提前识别风险。 概述 SQLdiag是一个SQL语句执行时间预测工具,通过模板化方法或者深度学习方法,实现在不获取SQL语句执行计划的前提下,依据语句逻辑相似度与历史执行记录,预测SQL语句的执行时间并以此发现异常SQL。 使用指导 前提条件 需要保证用户提供训练数据。 如果用户通过提供的工具收集训练数据,则需要启用WDR功能,涉及到的参数为track_stmt_stat_level和log_min_duration_statement,具体情况见下面小结。 为保证预测准确率,用户提供的历史语句日志应尽可能全面并具有代表性。 按照要求配置python 3.6+环境及其依赖。 环境配置 本功能运行环境要求Python 3.6版本及以上,需要的第三方依赖包记录在requirements.txt文件中,可以通过pip install命令安装依赖,如: pip install requirements.txt SQL流水采集方法 本工具需要用户提前准备数据,训练数据格式如下,每个样本通过换行符分隔: SQL,EXECUTION_TIME 预测数据格式如下: SQL 其中SQL表示SQL语句的文本,EXECUTION_TIME表示SQL语句的执行时间,样例数据见sample_data中的train.csv和predict.csv。 用户可以按照要求格式自己收集训练数据,工具也提供了脚本自动采集(load_sql_from_rd),该脚本基于WDR报告获取SQL信息,涉及到的参数有log_min_duration_statement和track_stmt_stat_level: 其中log_min_duration_statement表示慢SQL阈值,如果为0则全量收集,时间单位为毫秒; track_stmt_stat_level表示信息捕获的级别,建议设置为track_stmt_stat_level=‘L0,L0’ 参数开启后,可能占用一定的系统资源,但一般不大。持续的高并发场景可能产生5%以内的损耗,数据库并发较低的场景,性能损耗可忽略。 使用脚本获取训练集方式: load_sql_from_wdr.py [-h] --port PORT --start_time START_TIME --finish_time FINISH_TIME [--save_path SAVE_PATH] 例如: python load_sql_from_wdr.py --start_time "2021-04-25 00:00:00" --finish_time "2021-04-26 14:00:00" --port 5432 --save_path ./data.csv 操作步骤 提供历史日志以供模型训练 进行训练与预测操作: 基于模板法的训练与预测: python main.py [train, predict] -f FILE --model template --model-path template_model_path 基于DNN的训练与预测: python main.py [train, predict] -f FILE --model dnn --model-path dnn_model_path 使用方法示例 在本工具的根目录中,执行下列语句可以实现对应功能。 使用提供的测试数据进行模板化训练: python main.py train -f ./sample_data/train.csv --model template --model-path ./template 使用提供的测试数据进行模板化预测: python main.py predict -f ./sample_data/predict.csv --model template --model-path ./template --predicted-file ./result/t_result 使用提供的测试数据进行模板化模型更新: python main.py finetune -f ./sample_data/train.csv --model template --model-path ./template 使用提供的测试数据进行DNN训练: python main.py train -f ./sample_data/train.csv --model dnn --model-path ./dnn_model 使用提供的测试数据进行DNN预测: python main.py predict -f ./sample_data/predict.csv --model dnn --model-path ./dnn_model --predicted-file 使用提供的测试数据进行DNN模型更新: python main.py finetune -f ./sample_data/train.csv --model dnn --model-path ./dnn_model 获取帮助 使用SQLdiag工具前,您可以通过以下指令获取帮助。 python main.py --help 显示如下帮助信息: usage: main.py [-h] [-f CSV_FILE] [--predicted-file PREDICTED_FILE] [--model {template,dnn}] --model-path MODEL_PATH [--config-file CONFIG_FILE] {train,predict,finetune} SQLdiag integrated by openGauss. positional arguments: {train,predict,finetune} The training mode is to perform feature extraction and model training based on historical SQL statements. The prediction mode is to predict the execution time of a new SQL statement through the trained model. optional arguments: -h, --help show this help message and exit -f CSV_FILE, --csv-file CSV_FILE The data set for training or prediction. The file format is CSV. If it is two columns, the format is (SQL statement, duration time). If it is three columns, the format is (timestamp of SQL statement execution time, SQL statement, duration time). --predicted-file PREDICTED_FILE The file path to save the predicted result. --model {template,dnn} Choose the model model to use. --model-path MODEL_PATH The storage path of the model file, used to read or save the model file. --config-file CONFIG_FILE 命令参考 表 1 命令行参数说明 参数 参数说明 取值范围 -f 训练或预测文件位置 –predicted-file 预测结果存储位置 –model 模型选择 template,dnn –model-path 训练模型存储位置 常见问题处理 数据库实例连接失败:请检查数据库实例的情况,是否数据库实例出现了问题或安全权限配置(pg_hba.conf文件中的配置项)不正确。 重启失败:请检查数据库实例健康情况,确保数据库实例工作正常。 依赖安装失败:建议先升级pip包管理工具,通过命令python -m pip install –upgrade pip实现。 跑TPC-C作业时发现性能越来越慢:TPC-C等高并发场景下的压力测试,往往伴随着大量的数据修改。由于每一次测试并非是幂等的(TPC-C数据库数据量的增加、没有进行vacuum full清理掉失效元组、数据库没有触发checkpoint、没有进行drop cache等),因此一般建议TPC-C等伴随着较多数据写入的benchmark应该每隔一段时间(视具体并发量、执行时长的不同而异)重新导入一次数据,比较简单的方法是备份$PGDATA目录。 TPC-C 跑作业时,TPC-C驱动脚本报异常 “TypeError: float() argument must be a string or a number, not ‘NoneType’”(不能将None转换为float类型):这是因为没有获取到TPC-C的压测返回结果,造成该问题的原因比较多,请首先手动检测是否能够跑通TPC-C并能够获取返回结果。若无上述问题,则建议将 TPC-C 驱动脚本中的命令列表中的 “sleep” 命令延迟时间设得更大一些。

优秀的个人博客,低调大师

【AI】当人工智能与教育擦出火花...

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 当人们谈论人工智能以怎样的新形态出现在面前时,教育界却正在发生一轮新的变革。在新一轮变革推动下,人工智能、大数据、互联网等前沿科技正加速应用于教育领域。在信息时代,人工智能将为教育行业带来哪些机遇和挑战?这是人们普遍关心的问题。 前不久, 我国教育家顾明远先生表示,“人工智能+教育”正在引起关于教育的一场革命。他认为,要充分认识“人工智能+教育”的育人功能,是当前教育工作者遇到的重要挑战。联合国教科文组织于2019年8月发布了《北京共识——人工智能与教育》;据悉,这是联合国教科文组织首个为利用人工智能技术实现2030年教育议程提供指导和建议的重要文件。该文件提出,各国要引领实施适当的政策应对策略,通过人工智能与教育的系统融合,全面创新教育、教学和学习方式,并利用人工智能加快建设开放灵活的教育体系,确保全民享有公平、适合每个人且优质的终身学习机会,从而推动可持续发展目标和人类命运共同体的实现。 “人工智能+教育”主要是要改变传统的教学方式,要从教师的教转变到学生的学。教师要充分发挥学生的主体性,改变单向传授知识的方式。学生通过自我学习发现问题、提出问题,自己去探索,或者与同伴合作,互相探讨。教师可以利用人工智能、大数据、互联网等技术优势,帮助学生的个性化学习设计科学的、合适的学习方案。人工智能、大数据、互联网等,还可以作为教师的有力助手。总体来说,人工智能还是能给教育带来诸多机遇,能够提供个性化的学习,促进学习者各方面素养和能力的提升,加快全球课堂的普及,并减少教师的重复性工作等。人工智能可以帮助老师随时了解学生的学习情况,帮助他们解决困难,帮助教师批改作业,替代教师一些机械式的劳动,减轻教师的负担,使教师有更多的时间和学生接触沟通。 人工智能的本质是效率工具,取代低端的劳动,迫使人类智慧向高端劳动迁移。而教育的本质是用一个灵魂去点燃多个灵魂,是人类文明的传承和发展的重要环节。当知识可以越来越容易地被外部存储和调取,当很多低端的脑力劳动可以被人工智能取代,人类的智能必然需要被解放出来,去处理更多复杂智能才能处理的事。从这个角度去看,人工智能越发展,应试教育就会变得越不重要,素质教育就会变得越重要。当然在提供素质教育的过程中,我们依然可以利用人工智能来降低练习和反馈部分的成本并提升效率。智能技术变革教育具有个性化、情境化、数据驱动、新教育生态等基本特征,它可以根据每位学生的基础个性化推荐,真正精准找到学生弱项,提升学习的效率。 人工智能催生教育的多个变革,包括教育思维模式从一维到多维,知识体系从单一到跨界,教师能力从一元到多元,教育技术从单一到复合,教材呈现从纸质到数字等。在个性化教学方面,人工智能可以通过大数据技术,来收集和分析学生日常学习和完成作业过程中产生的数据,精确地告诉老师每个学生的知识点掌握情况,老师便可以针对每一位学生的学习情况来有针对性地布置作业,达到因材施教的效果。而在教学方式方面,人工智能可以为老师提供更为丰富的教学手段,全时互动、以学定教,老师上课时也不再是只有一本教科书,而是可以任意调取后台海量的优质学习资源。 当前,图像识别、语音识别、人机交互等人工智能应用技术在教育领域都有了应用。比如,通过图像识别技术,人工智能可以将教师从繁重的批改作业和阅卷工作中解放出来;语音识别和语义分析技术,可以辅助教师进行语言口试测评,也可以纠正、改进学生的语言发音;而人机交互技术,可以协助教师为学生在线答疑解惑。教师可以利用人工智能、大数据等技术优势,帮助学生的个性化学习设计科学的、合适的学习方案。除此之外,个性化学习、智能学习反馈、机器人远程支教等人工智能的教育应用也被看好。现在市场上人工智能在教育领域已经有一些比较成熟的应用;随着人工智能技术的发展,越来越多的人工智能工具被应用于教育领域,成为教师教学和学生学习的得力助手。 作为前沿科技,人工智能在给教育带来诸多有利因素的同时,也会存在相应的挑战。在人工智能渗透进入传统教育领域带来优势的同时,也会引发一些问题。例如人工智能的出现可能会导致学生被动接受已经安排好的知识,而丢失主动分析、思考的能力;也有人担心人工智能为教师做了太多,教师的教学水平可能会下降。因此,要充分认识人工智能的优势和它可能存在的问题,做到趋利避害,真正使人工智能发挥育人的作用。正如我国教育家周仪荣先生曾经所言:科技是一把双刃剑,在它给人们带来美好的同时也带来一系列的麻烦;因此要合理利用科技,发挥它有利的一面,限制它不利的一面。只有这样,才能发挥人工智能技术在教育领域的有利作用。 总而言之,人工智能与教育的系统融合将会更好地加速教育行业改革,促进教育行业发展。人工智能未来将极大地影响教育行业; “人工智能+教育”或许不会像电商零售那样容易,需要经历一个漫长的过程;但信息时代早已到来,而教育的未来已然可期。面对当前挑战与机遇并存、困难与希望同在的形势,只要坚定信心、不断创新,中国教育行业就一定能够持续健康稳定发展。 【云栖号在线课堂】每天都有产品技术专家分享!课程地址:https://yqh.aliyun.com/zhibo 立即加入社群,与专家面对面,及时了解课程最新动态!【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间:2020-03-22本文作者: 吴志勇 本文来自:“信风智库 微信公众号”,了解相关信息可以关注“信风智库 ”

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册
修改密码
忘记密码