数仓实践丨主动预防-DWS关键工具安装确认-低调大师

数仓实践丨主动预防-DWS关键工具安装确认

2023-04-25 408

摘要：gdb确认是否安装，所带来的该工具用户数据库实例触发core问题后集群状态反复异常，对此问题及时分析根因并及时进行规避。

本文分享自华为云社区《主动预防-DWS关键工具安装确认》，作者：上官寒雨。

【关键工具确认】

1、gdb确认是否安装（该工具用户数据库实例触发core问题后集群状态反复异常，对此问题及时分析根因并及时进行规避）

登录任意集群节点执行以下命令（HC/HCS/HCSO环境登录沙箱外执行）：

gdb --help

提示以下信息则已安装

2、gstack是否安装（与gdb关联工具，gdb安装后此工具会默认安装，作用与gdb相同）

登录任意集群节点执行以下命令（HC/HCS/HCSO环境登录沙箱外执行）：

gstack

提示以下信息则已安装

gdb与gstack安装请参考以下链接：

https://bbs.huaweicloud.com/forumreview/thread-182292-1-1.html

3、core是否配置（该配置可以确保数据库实例触发core问题后能够抓取异常堆栈信息，以便使用gdb工具从所抓取信息中获取触发实例异常sql及时规避与根因定位）

集群状态为Normal时执行以下命令确认（集群normal情况下该操作不影响业务）

kill -11 备dn进程号，检查对应的数据目录下是否生成core文件，若产生core文件则已配置。

若未配置请按照以下链接进行配置：

HC/HCS/HCSO core配置：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=181948

纯软core配置： https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=182036

4、pg_xlogdump是否存在（异常业务产生大量xlog后造成业务慢，磁盘使用率快速上涨等问题，使用此工具解析异常业务）

pg_xlogdump提示以下信息则已安装（纯软环境加载环境变量后执行，HC/HCS/HCSO登录至沙箱内执行）

5、pagehack是否存在（数据文件出现静默损坏使用该工具解析异常数据文件）

pagehack提示以下信息则已安装（纯软环境加载环境变量后执行，HC/HCS/HCSO登录至沙箱内执行）

pg_xlogdump与pagehack工具获取如下链接：

https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=142380

上传步骤如下：

步骤1：登录至第一个CN节点，使用omm（云上使用Ruby用户）将pagehack、pg_xlogdump工具上传至该节点$GAUSSHOME/bin/下步骤2：将工具分发至其他节点

gs_ssh -c "scp $hostname:$GAUSSHOME/bin/pagehack $GAUSSHOME/bin/"

gs_ssh -c "scp $hostname:$GAUSSHOME/bin/pg_xlogdump $GAUSSHOME/bin/"

$hostname为第一个cn节点的hostname。

6、 gs_detect工具上传步骤（此工具包未运维团队开发，其中包括集群状态异常诊断工具、IO高工具、数据文件损坏扫描等工具，方便出现问题后及时定位及恢复）

步骤1：omm用户登录第一个cn节点（云上使用Ruby），在附件获取gs_detect工具并重命名为gs_detect.tar.gz上传至第一个cn节点/home/omm路径下（HC/HCS/HCSO形态放在第一个cn节点/home/Ruby路径下）

步骤2：使用以下命令解压

cd /home/omm

tar -zxvf gs_detect.tar.gz

步骤3：将gs_detect工具分发至其他节点

gs_ssh -c "scp -r hostname:/home/omm/gs_detect /home/omm"

$hostname为第一个cn节点的hostname。

注：云上的分发命令需要在沙箱内执行

【系统加固】

1、arm加固项确认（x86机器不涉及）

https://support.huawei.com/enterprise/zh/bulletins-product/ENEWS2000007743

2、Centos7.6impi模块导致服务器反复重启，修复方案见附件《CentOS7.6 ipmi模块补丁合入指导.docx》

附件：gs_detect.tar.txt67.72KB
附件：ipmi模块补丁合入指导.docx2.33MB

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/8694753

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

带你了解关于FastAPI快速开发Web API项目中的模板和Jinja

摘要：FastAPI 实际上是为构建 API 和微服务而设计的。它可用于构建使用 Jinja 提供 HTML 服务的 Web 应用程序。本文分享自华为云社区《FastAPI 快速开发 Web API 项目: 模板和 Jinja 介绍》，作者：宇宙之一粟。什么是 Jinja 模板是全栈 Web 开发的重要组成部分。使用 Jinja，您可以构建丰富的模板，为您的 Python Web 应用程序的前端提供支持。 Jinja 是一个用 Python 编写的模板引擎，旨在帮助 API 响应的渲染过程。在每种模板语言中，都有变量被替换为实际传递给它们的值，当模板被渲染时，有控制模板逻辑的标签。安装 jinja2： pipenv install jinja2 安装成功后： Jinja 模板只是一个文本文件。 Jinja 可以生成任何基于文本的格式（HTML、XML、CSV、LaTeX 等）。 Jinja 模板不需要有特定的扩展名：.html、.xml 或任何其他扩展名都可以。关于模版的扩展名：任何文件都可以作为模板加载，无论文件扩展名如何。添加 .jinja 扩展名，如 user.html....

2023-04-25

455

文｜蚂蚁集团 ZOLOZ 团队使用全球领先安全科技，为用户和机构提供安全、便捷的安全风控解决方案。本文6386 字阅读 12 分钟背景简介 ZOLOZ[1]是蚂蚁集团旗下的全球安全风控平台，通过业内领先的生物识别、大数据分析和人工智能技术，为用户和机构提供安全又便捷的安全风控解决方案。ZOLOZ 已为中国、印尼、马来西亚、菲律宾等 14 个国家和地区的 70 余家合作伙伴提供数字化转型过程中的安全风控技术支持。目前，已经覆盖金融、保险、证券、信贷、电信、公众服务等领域，累计服务用户超 12 亿。随着 Kubernetes 和云原生的大爆发，ZOLOZ 应用开始在公有云上进行大规模容器化部署。ZOLOZ 业务的镜像经过长期维护和更新，无论是镜像层数还是整体大小都达到了一个较大的量级（数百 MB 或者几个 GB）。特别是 ZOLOZ AI 算法推理应用的基础镜像大小要远大于一般应用镜像（Docker Hub 上 PyTorch/PyTorch：1.13.1-CUDA 11.6-cuDNN 8-Runtime 有 4.92GB，同比 CentOS：latest 只有约 234M...

2023-04-25

494

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。