搜索[时间选择器]结果-低调大师优秀个人博客

精选列表

搜索[时间选择器]，共10000篇文章

合成数据: 利用开源技术节约资金、时间和减少碳排放

创建定制模型的关键瓶颈在于招募和协调人工工作者以创造定制训练数据的资金、时间和专业知识需求。

2024-03-05

NTP（网络时间协议）设计者 David L. Mills 去世

viahttps://elists.isoc.org/pipermail/internet-history/2024-January/009265.html 网络时间协议（Network Time Protocol

2024-01-19

八怪：再谈 MySQL 8 这两个精准的时间戳

相关解释 **immediate_commit_timestamp：**代表是当前数据库提交的时间，从库/主库都分别代表其提交的时间。

2023-12-27

每日一博 | 时间复杂度为 O (nlogn) 的排序算法

temp[leftBegin++]; } else { nums[i] = temp[rightBegin++]; } } } 归并排序最吸引人的性质是它能保证将长度为 n 的数组排序所需的时间和

2023-11-28

Linux 6.2 合并窗口时间撞上圣诞节，Linus 强势催更

但现在，他希望所有要提交的补丁在圣诞节之前就完成，如果他收到的 PR 比这个时间晚。他将推迟到下一个周期在合并。

2022-11-29

Apache Kyuubi 在爱奇艺的时间：加速 Hive SQL 迁移 Spark

Hive 作为爱奇艺数仓的基础，Hive SQL 是爱奇艺大数据平台目前主要的数处理工具，各个业务积累大量的 Hive ETL 任务。Spark 相对于 MapReduce 有着更为灵活的的计算模型，这使得 Spark 相对于 Hive (on MapReduce) 有更好的性能。经过测试对比，我们发现迁移 Hive SQL 到 Spark 将会带来很大的性能提升和资源节省。 Apache Kyuubi (Incubating) 项目提供一个分布式多租户的 Spark Thrift Server，相对于 Spark 原生的 Spark Thrift Server 有更好的架构优势和更多优秀的特性，具体对比可参考：Kyuubi v.s. Spark Thrift JDBC/ODBC Server (STS)。 HiveSQL 迁移Spark 1.1双跑对比大数据平台中已有大量稳定运行的 Hive SQL 任务，为了在迁移的过程中提高用户迁移意愿，降低与用户的沟通成本，我们需要保证迁移后 Spark SQL 的稳定性以及数据准确性，并尽量减少用户操作。我们在大数据平台中新增了 Hive SQL 迁移服务，提供一键批量双跑测试和一键迁移功能。在迁移前，我们会对业务的 Hive SQL 任务进行批量双跑测试。改写业务 SQL 将输出替换成临时库表，并分别通过 Hive SQL 和 Spark SQL 执行。执行完成后，对 Hive SQL 和 Spark SQL 的执行结果进行校验，确保迁移后数据一致。对每行数据进行concat后计算crc32并求和得到 checksum 值，通过对比两个结果表的 checksum 值和 count 数，来确定数据是否一致。 select sum(cast(CRC32(concat(*)) as decimal(19,0))) as checksum, count(*) as count from mock_db.mock_table 通过双跑测试，我们能够提前发现 Hive SQL 与 Spark SQL 的一些兼容性问题，以及配置不合理导致任务失败的问题。及时优化平台配置，指导用户优化 SQL 并为任务提供合适的配置。 1.2 兼容性适配 Hive SQL 迁移到 Spark 的过程中，我们遇到了一些语法兼容性的问题，例如： Spark 删除不存在分区报错，而 Hive 中允许删除不存在分区 Spark 执行set mapreduce.job.reduces=-1报错数字类型与字符串比较，结果与 Hive 不一致 ..... 为了加快迁移的进度，减少用户参与，我们需要兼容部分 Hive 语法。在 Kyuubi 中提供 kyuubi-extension-spark 模块，维护 Spark SQL的 Extensions，用于优化Spark SQL的执行计划，社区已经提供了很多优化，详细文档：Auxiliary SQL extension for Spark SQL 。我们基于此模块，为不兼容的语法修改其执行计划，使得与 Hive 保持一致的语义。例如，在 Hive 中由于默认的hive.exec.drop.ignorenonexistent=true配置，在删除不存在的表或分区时不会报错，但是迁移到 Spark 运行后，出现大量删除不存在分区的错误。我们在Kyuubi中实现了 DropIgnoreNonexistent 优化，改写AlterTableDropPartitionCommand/DropTableCommand等命令的执行计划，将ifExists属性设置为true，从而在删除不存在分区时不报错。 Kyuubi提供了只解释SQL执行计划的运行模式，通过 kyuubi.operation.plan.only.mode 配置，可以以 PARSE/ANALYZE/OPTIMIZE/PHYSICAL/EXECUTION的一些模式解释 SQL 的执行计划而不执行它，这样我们可以快速扫描出有语法兼容问题的一些 SQL。 1.3 小文件优化 Hive SQL 迁移 Spark 运行不可避免地会出现小文件的问题。我们使用 Kyuubi 的 Spark Extensions 结合 Spark AQE 可以有效地控制小文件问题。 Kyuubi Spark Extensions 中提供了RepartitionBeforeWrite的优化，在写入前插入repartition操作，再结合 AQE 合并小分区，从而实现控制小文件。对于写入动态分区的情况，Kyuubi 中 Repartition 操作指定了动态分区字段，这样可以减小动态分区导致的小文件。如果动态分区数据分布不均匀，可能导致部分分区数据倾斜，所以对于动态分区写入 Kyuubi 在 Repartition 时，同时加入了一个随机数字段来避免数据倾斜。不过这样由于扩展了分区字段的基数，也可能会导致小文件问题。在spark-defaults.conf中添加相关的配置： spark.sql.extensions org.apache.kyuubi.sql.xyuubiSparksQ1Extension # Kyuubi # spark.sql.optimizer.insertmepartitionneforewrite.enabled true # AQE spark.sql.adaptive.enabled true spark.sql.adaptive.advisoryPartitionSizexnaytes 1024m spark. sql .adaptive. coal esceParti ti on s .mi nmarti ti onmum 1 对于 Spark3.2，Kyuubi 通过在写入前插入 Rebalance 算子，更好地解决小文件的问题。 Kyuubi 服务增强 2.1 标签化配置对于不同用户和业务的 SQL，由于数据量和业务处理逻辑存在差异，可能需要对不同的任务进行单独的配置优化。我们在数据开发平台上提供了用户配置参数的能力，允许用户对 SQL 任务添加配置。对于同一用户或者业务会存在一些具有相同的特效的一些 SQL，我们提供标签化配置，定义一些标签绑定特有的配置，并在任务提交时带上相关的标签。例如，我们定义的部分标签如下： Adhoc：用于即席查询平台任务，数据量小，要求快速响应。配置 USER 共享级别的引擎，较大 Driver 内存，以及 Spark 任务抢占策略等。 Batch：用于数据开发平台任务，定时调度运行，稳定要求较高。配置 CONNECTION 级别独立引擎，使得任务完全资源隔离，并添加小文件、AQE 等优化配置。 User/Business/Custom：允许定义用户、业务或其他自定义标签，绑定特有的一些配置，如：队列、资源、兼容性适配相关配置等，降低用户使用门槛。 Kyuubi 中已经支持了对用户添加默认配置，例如在配置文件中添加 \_\_\_bob\_\_\_.spark.executor.memory=8g 配置，为 bob 用户的任务默认指定 8G 的 executor 内存，具体使用参考：User Default 。同时，在Kyuubi 的kyuubi-server-plugin中，提供了SessionConfAdvisor接口，用于为 Session 注入配置。可以将标签配置保存在数据库中，并实现SessionConfAdvisor接口，根据 Session 配置的标签从数据库中获取对应的配置。 2.2 SQL 审计 Kyuubi 服务中定义了一些事件，可用于 SQL 审计操作。 Kyuubi Server 中定义了如下事件： KyuubiServerInfoEvent：Kyuubi Server 启动、停止事件信息 KyuubiSessionEvent：Session 开启、关闭事件，以及连接相关信息 KyuubiOperationEvent：Kyuubi Operation 执行事件，包括了 SQL 执行相关信息目前 Kyuubi 仅实现了 JSON 写入本地文件的方式采集事件，相关配置：将事件写入 JSON 文件后，可以借助日志收集插件采集到 Kakfa 中并落地到 ElasticSearch 中，方便后续对 SQL 执行事件进行审计分析。我们在 Kyuubi Server 中通过实现自定义的EventHandler，处理 Kyuubi Server 的事件，直接将事件写入到 ElasticSearch 中。分析失败 SQL 执行事件的错误信息，完善 Spark SQL 运维知识库，并添加正则匹配分析规则，匹配执行事件的错误信息给出对应的解决方案，方便用户自行排障。文中文档可参考： Kyuubi v.s. Spark Thrift JDBC/ODBC Server (STS)——https://kyuubi.apache.org/docs/latest/overview/kyuubi_vs_thriftserver.html Auxiliary SQL extension for Spark SQL—— https://kyuubi.apache.org/docs/latest/sql/rules.html# DropIgnoreNonexistent——https://github.com/apache/incubator-kyuubi/blob/master/extensions/spark/kyuubi-extension-spark-3-1/src/main/scala/org/apache/kyuubi/sql/DropIgnoreNonexistent.scala User Defaults—— https://kyuubi.apache.org/docs/latest/deployment/settings.html#user-defaults

2022-07-06

谨慎在时间类型列上创建索引

一个表包含时间字段（例如订单表、日志表、用户表等等），并且在时间字段上创建一个索引是我们使用MySQL时一种很常见的做法。

2022-06-09

清华自研时间序列数据库Apache IoTDB原理解析

针对指标数据的日常分析行为通常涉及到近1小时、近1天、近7天、近30天、近1年等多种时间跨度。对范围查询的性能有一定要求。

2022-04-01

Visual Studio 2022 引入索引查找，代码搜索时间缩短至 1 秒

个项目中搜索约 50,000 个文件：与 Visual Studio 2019 相比，Visual Studio 2022 的代码搜索速度改进： 17.1Preview 3 中 95% 的搜索在 1.26 秒的时间内找到了搜索查询的所有匹配项

2022-01-31

dart系列之:时间你慢点走,我要在dart中抓住你

简介时间和日期是我们经常会在程序中使用到的对象。但是对时间和日期的处理因为有不同时区的原因，所以一直以来都不是很好用。

2021-12-02

[从源码学设计]蚂蚁金服SOFARegistry之时间轮的使用

时间轮由固定格数（wheelSize）的时间格组成，每一格都代表当前时间轮的基本时间跨度（tickMs），整个时间轮的总体时间跨度（interval）就是 wheelSize*tickMs。

2021-04-26

搭建亿级时间线数据的监控系统，我有绝招！

摘要：本文为你带来如何使用华为云数据库GaussDB(for Influx) + Grafana搭建亿级时间线数据的监控系统。

2021-04-20

SQL 查找是否“存在“，别再 count 了，很耗费时间的！

目前多数人的写法优化方案总结根据某一条件从数据库表中查询『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要SELECT count(*) 呢？无论是刚入道的程序员新星，还是精湛沙场多年的程序员老白，都是一如既往的count 目前多数人的写法多次REVIEW代码时，发现如现现象：业务代码中，需要根据一个或多个条件，查询是否存在记录，不关心有多少条记录。普遍的SQL及代码写法如下 SQL写法: SELECT count(*) FROM table WHERE a = 1 AND b = 2 Java写法: int nums = xxDao.countXxxxByXxx(params); if ( nums > 0 ) { //当存在时，执行这里的代码 } else { //当不存在时，执行这里的代码 } 是不是感觉很OK，没有什么问题优化方案推荐写法如下： SQL写法: SELECT 1 FROM table WHERE a = 1 AND b = 2 LIMIT 1 Java写法: Integer exist = xxDao.existXxxxByXxx(params); if ( exist != NULL ) { //当存在时，执行这里的代码 } else { //当不存在时，执行这里的代码 } SQL不再使用count，而是改用LIMIT 1，让数据库查询时遇到一条就返回，不要再继续查找还有多少条了业务代码中直接判断是否非空即可总结根据查询条件查出来的条数越多，性能提升的越明显，在某些情况下，还可以减少联合索引的创建。

2021-02-26

GMT UTC CST ISO 夏令时时间戳，都是些什么鬼？

日期/时间的处理是平时开发中非常常见的场景，若只是简单的格式化场景那就还好，一旦涉及到时区、跨地域跨时区时间转换场景，甚至当还有GMT时间、UTC时间等一堆概念堆上来的时候，总是心理发虚，招架不住。

2021-01-15

为什么现在开发一款软件的时间越来越长？

为什么开发一个软件要花这么长时间？我们之所以一遍又一遍地听到上述问题，背后是有原因的。

2020-12-03

JDK8中的新时间API:Duration Period和ChronoUnit介绍

简介在JDK8中，引入了三个非常有用的时间相关的API：Duration，Period和ChronoUnit。他们都是用来对时间进行统计的，本文将会详细讲解一下这三个API的使用。

2020-11-05

解惑 | 为什么我根据时间戳获得的offset为空呢？

放弃不难，但坚持很酷~ kafka_2.11-1.1.0 一、前言最近有一个需求，要查询某一时间戳对应的offset值，于是就想到了使用 .

2020-09-20

SQL 查找是否"存在"，别再 count 了，很耗费时间的！

【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间：2020-07-28本文作者：程序猿囧途本文来自：“互联网架构师”，了解相关信息可以关注“互联网架构师”

2020-07-27

这个功能把设备端SDK的裁剪工作时间降低80%

我们Link SDK的产品经理是一个典型的宅男，就像大多数搞技术的人一样，内向而腼腆。昨天，他找到我，发生了下面对话。使用SDK定制功能，还可以避免不同平台的无用文件干扰，裁剪的过程全部在云端完成，对本地系统版本无限制。上面说的功能界面如下（已上线），在阿里云物联网平台控制台-文档与工具-SDK定制即可找到。直达链接：https://iot.console.aliyun.com/lk/document/tools 未支持的编程语言、软硬件平台，如有适配需求，可以此页面的设备OS/模组维度选择“其他”选项，然后补充完整OS名称/模组型号，点击“开始生成”，Link SDK的产品研发团队即可收到您的需求。阿里云物联网平台作为物联网云服务的基础设施平台，具备海量设备接入、连接、通信的能力，各种设备可以集成阿里云的官方Link SDK，从而

2020-06-02

OSC 首期有奖征文活动时间延长，奖品加码，期待你来稿

征文活动原本为期十天，但考虑到工作日大家可能难以抽出足够时间来参与，于是我们决定再延长十日，投稿最终于 5 月 6 日截止，所有参选文章应当在 5 月 6 日 23:59 之前提交。

2020-04-27

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。