Doris Weekly & FAQ：修复 String 类型 null 值处理错误的问题-低调大师

Doris Weekly & FAQ：修复 String 类型 null 值处理错误的问题

2021-10-03 879

观众朋友们：

欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021年09月13日～ 2021年09月26日的双周总结。

Doris 社区周报每期会包含 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。

Dev 邮件组：dev@doris.apache.org
Github Issue：https://github.com/apache/incubator-doris/issues
社区论坛地址：https://github.com/apache/incubator-doris/discussions

1. 统计数据

共22位作者提交了36个 Commit 。感谢以下作者的贡献：

Zhengguo Yang, Mingyu Chen, xy720, jiafeng.zhang, Zeno Yang, EmmyMiao87, zhuixun, zhoubintao, xhmz, weizuo93, smallhibiscus, qiye, pierre xiong, dh-cloud, ccoffline, caiconghui, Ming King, Lijia Liu, GeoffreyStark, Gabriel, Cui Kaifeng, ChPi

最近2周，共修改新增代码行 3776 ，删除代码行 1250 。

2. 主要进展

2.1 Bug修复

https://github.com/apache/incubator-doris/pull/6615

修复string类型null值处理错误的问题。
https://github.com/apache/incubator-doris/pull/6605

修复replace函数部分情况下结果不正确的问题。
https://github.com/apache/incubator-doris/pull/6665

1. 修复某些情况下，导入数据可能导致BE coredump的问题。

2. 修复某些情况下 schema change 操作可能导致BE coredump的问题。

3. 修复部分情况下，tablet调度逻辑不释放working slot的问题。

4. 修复在使用资源标签功能后，数据副本无法自动补齐的问题。

5. 修复show load 语句无法筛选pending状态作业的问题。
https://github.com/apache/incubator-doris/pull/6699

1. 修复查询层内存泄露的问题。

2. 新增BE配置以限制一个rowset中包含过多的segment。
https://github.com/apache/incubator-doris/pull/6667

修复string类型处理zonemap错误的问题。
https://github.com/apache/incubator-doris/pull/6729

修复使用drop schema语句会直接删除database的问题。

2.2 功能改进

https://github.com/apache/incubator-doris/pull/6567

优化show proc "/statistic"语句的执行效率。
https://github.com/apache/incubator-doris/pull/6517

优化sync job的线程模型，支持使用有限的线程处理上百张mysql表的同步数据。
https://github.com/apache/incubator-doris/pull/6644

select into outfile功能支持使用libhdfs3导出数据。
https://github.com/apache/incubator-doris/pull/6648

修复当使用表名大小写不敏感配置时，backup操作无法正确执行的问题。

2.3 其他

https://github.com/apache/incubator-doris/pull/6634

修复1.6版本的librdkafka无法适配低版本glibc的问题。
https://github.com/apache/incubator-doris/pull/6570

新增spark-doris-connector的代码示例。
https://github.com/apache/incubator-doris/pull/6666

新增BE存储层错误码文档。

3. FAQ

Q：关于数据目录SSD和HDD的配置。

A：

Doris支持一个BE节点配置多个存储路径。通常情况下，每块盘配置一个存储路径即可。同时，Doris支持指定路径的存储介质属性，如SSD或HDD。SSD代表高速存储设备，HDD代表低速存储设备。

通过指定路径的存储介质属性，我们可以利用Doris的冷热数据分区存储功能，在分区级别将热数据存储在SSD中，而冷数据会自动转移到HDD中。

需要注意的是，Doris并不会自动感知存储路径所在磁盘的实际存储介质类型。这个类型需要用户在路径配置中显式的表示。比如路径 "/path/to/data1.SSD" 即表示这个路径是SSD存储介质。而 "data1.SSD" 就是实际的目录名称。Doris是根据目录名称后面的 ".SSD" 后缀来确定存储介质类型的，而不是实际的存储介质类型。也就是说，用户可以指定任意路径为SSD存储介质，而Doris仅识别目录后缀，不会去判断存储介质是否匹配。如果不写后缀，则默认为HDD。

换句话说，".HDD" 和 ".SSD" 只是用于标识存储目录“相对”的“低速”和“高速”之分，而并不是标识实际的存储介质类型。所以如果BE节点上的存储路径没有介质区别，则无需填写后缀。

微信关注我们

原文链接：https://www.oschina.net/news/162756

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Google 搜索停止支持 IE11

谷歌软件工程师Malte Ubl近日发布推文称，Google 搜索已经在其主要产品中停止支持Internet Explorer 11（下简称 IE11），还调侃说这一定是近期最让 Web 开发者感到快乐的公告之一。然而根据外媒 9to5google 的报道，他们向谷歌求证了此消息，不过在发文之前没有收到回应。 Malte Ubl还表示这是搜索团队经过“衡量”后而做出的决定，言下之意即他们已经比较了提供 IE11 支持所产生的成本与保留这些客户所获得的收益。从他们最近的决策来看，谷歌似乎已经决定“是时候”抛弃 IE11 了 —— 至少在 Google 搜索上是这样。当然，这里的“停止支持”并不是说谷歌禁止 IE11 连接到 Google 搜索，让用户无法使用搜索功能。真实情况是，IE11 用户现在使用 Google 搜索来查找资料时，会感受到“体验倒退”。也就是说，用户可以使用 IE11 进行基本的搜索，但不像现代浏览器上的 Google 搜索那样功能齐全。这就导致 IE11 的 Google 搜索结果页面很不吸引人，但对于那些根本无法使用 Chrome、Edge 或 Firefox ...

2021-10-03

532

一、业务背景目前移动端的使用场景中会用到大量的消息推送，push消息可以帮助运营人员更高效地实现运营目标（比如给用户推送营销活动或者提醒APP新功能）。对于推送系统来说需要具备以下两个特性：消息秒级送到用户，无延时，支持每秒百万推送，单机百万长连接。支持通知、文本、自定义消息透传等展现形式。正是由于以上原因，对于系统的开发和维护带来了挑战。下图是推送系统的简单描述（API->推送模块->手机）。二、问题背景推送系统中长连接集群在稳定性测试、压力测试阶运行一段时间后随机会出现一个进程挂掉的情况，概率较小（频率为一个月左右发生一次），这会影响部分客户端消息送到的时效。推送系统中的长连接节点（Broker系统）是基于Netty开发，此节点维护了服务端和手机终端的长连接，线上问题出现后，添加Netty内存泄露监控参数进行问题排查，观察多天但并未排查出问题。由于长连接节点是Netty开发，为便于读者理解，下面简单介绍一下Netty。三、Netty介绍 Netty是一个高性能、异步事件驱动的NIO框架，基于Java NIO提供的API实现。它提供了对TCP、UDP和文...

2021-10-04

535

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。