文章列表-低调大师优秀的自媒体个人博客

您现在的位置是：首页>文章列表

文章列表

日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化

概述使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较. 本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里. 背景这里我们在RDS中存放用户信息表格userinfo. 原始数据库表中内容: id p...
2019-08-01 9热度收藏
hanlp自然语言处理包的人名识别代码解析

HanLP发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出：当代中国100个常见姓氏中，集中了全国人口的87%，根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色，其他词语去掉其姓氏角色状态。过滤后，nr.txt中具有姓氏角色的单字共计97个。列于下表：丁万乔于任何余侯傅冯...
2019-08-01 6热度收藏
日志服务数据加工最佳实践: 解析syslog各种标准格式

概况 syslog是一种工业标准的协议，可用来记录设备的日志。在UNIX系统，路由器、交换机等网络设备中，系统日志(System Log)记录系统中任何时间发生的大小事件。管理者可以通过查看系统记录，随时掌握系统状况。UNIX的系统日志是通过syslogd这个进程记录系统有关事件记录，也可以记录应用程序运作事件。通过适当的配置，还可以实现运行syslog协议...
2019-08-01 18热度收藏
日志服务数据加工最佳实践: 使用搜索映射做高级数据富化

普通映射 vs 搜索映射典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同. 普通映射方式一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示: 状态码文本 200 成功 300 跳转 400 请求错误 500 服务器错误下面规则调用e_dict_map将字段st...
2019-08-01 42热度收藏
日志服务数据加工最佳实践: 加工多层数组对象嵌套的复杂JSON

本实践案例主要是从多层数组对象嵌套的场景，向读者介绍如何使用LOG DSL解决工作中的具体需求。需求这里以一个复杂的包括多层数组嵌套的对象举例, 希望可以将users下的每个对象中的login_histories的每个登录信息都拆成一个登录事件. 原始日志举例 __source__: 1.2.3.4 __topic__: content:{ "users...
2019-08-01 6热度收藏
阿里云ACP认证考试3000道题库全真模拟考试练习

阿里云ACP认证（Alibaba Cloud Certified Professional,ACP）是面向使用阿里云产品的架构、开发、运维类人员的专业技术认证。获得了阿里云ACP认证后，表示你已经掌握了阿里云的大部分产品知识，诸如ECS、SLB、OSS、RDS、ESS等知识，许多使用阿里云产品的企业和公司，将需要你这样的专业人士，去帮他们解决云计算方面的问题...
2019-08-01 6热度收藏
阿里云——云上爆款——云产品限时抢购攻略

阿里云主机爆款特惠免备案海外香港云服务器3折优惠提速不提价阿里云又搞特惠了，最近针对新用户推出数款爆款云主机，有国内的，也有香港和海外的，不想做ICP备案的的朋友们机会来了上云入门级产品，适合个人及中小企业建站、简单应用等需求，限时3年3折点击进入进阶级云服务器，性能更优，配置灵活选择，性价比更高，这几款云服务器主要针对处于发展阶段的网站应用，有比较...
2019-08-01 8热度收藏
日志服务数据加工最佳实践: 跨账号多目标logstore数据分发

概述数据分发主要包含两种方法：跨账号多目标Logstore的分发和动态目标Logstore的分发, 其特点如下表. 需要时也可以合并两种方法. 注意目前数据加工仅支持同Region下分发方法优点缺点配置多个目标Logstore 支持不同账号(AK)的目标Logstore 多个目标时, 配置与使用较为繁琐. 目标一般在代码中静态指定. 目前最多20...
2019-08-01 12热度收藏
日志服务数据加工最佳实践: 构建字典与表格做数据富化

字典和表格是数据富化（映射）过程中主要使用的两种数据结构，本文主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。字典构建直接构建 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 优点: 直观、简单、方便. 从任务配置资源构建 e_dict_map...
2019-08-01 13热度收藏
在AlibabaCloud上，如何使用AD FS进行【用户SSO】并完成在容器服务ACK集群中的身份验证

阿里云支持基于SAML 2.0的SSO（Single Sign On，单点登录），也称为身份联合登录。本文以Microsoft Active Directory (AD) 为例为您介绍企业如何使用自有的身份系统实现与阿里云的SSO并在容器服务ACK集群中进行身份验证。本文主要介绍 AD FS的安装部署，用户SSO 配置和登录，如需了解角色SSO 配...
2019-08-01 7热度收藏
记一次kubernetes集群异常：kubelet连接apiserver超时

来源：小米云技术ID：mi-cloud-tech作者：高荣背景 kubernetes是master-slave结构，master node是集群的大脑，当master node发生故障时整个集群都"out of control"。master node中最重要的当属apiserver组件，它负责处理所有请求，并持久化状态到etcd。一般我们会部署多份api...
2019-08-01 7热度收藏
LeetCode 20：有效的括号 Valid Parentheses

给定一个只包括 '('，')'，'{'，'}'，'['，']' 的字符串，判断字符串是否有效。 Given a string containing just the characters '(', ')', '{', '}', '[' and ']', determine if the input string is valid. 有效字符串需满足：左括号...
2019-08-01 18热度收藏
LeetCode第66题：加一

题目给定一个由整数组成的非空数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位，数组中每个元素只存储一个数字。你可以假设除了整数 0 之外，这个整数不会以零开头。示例 1:输入: [1,2,3]输出: [1,2,4]解释: 输入数组表示数字 123。示例 2:输入: [4,3,2,1]输出: [4,3,2,2]解释: 输入数组表示数...
2019-08-01 21热度收藏
docker挂载volume的用户权限问题,理解docker容器的uid

docker挂载volume的用户权限问题,理解docker容器的uid目录遇到的问题原因容器共享宿主机的uid如果不指定user，容器内部默认使用root用户来运行容器内部用户的权限与外部用户相同一定要确保容器执行者的权限和挂载数据卷对应一个更加明显的demo参考docker挂载volume的用户权限问题,理解docker容器的uid 在刚开始使用dock...
2019-08-01 9热度收藏
Spring常见的十大错误，78%的老程序员都踩过这些坑！

首先我们来看一下，Spring常见错误有那些1.太过关注底2.内部结构 “泄露”3.缺乏关注点分离4.缺乏异常处理或处理不当5.多线程处理不当6.不使用基于注解的验证7.（依旧）使用基于xml的配置8.忽略 profile9.无法接受依赖项注入10.缺乏测试，或测试不当接下来就一一介绍这些常见的错误1. 错误一：太过关注底层我们正在解决这个常见错误，是因为...
2019-08-01 5热度收藏
用docker-compose编排微服务

用docker-compose编排微服务，大致有三个步骤： 1、使用Dockerfile定义应用程序环境，以便在任何地方重现。 2、在docker-compose.yml文件中定义组成应用程序的服务，以便各个服务在一个隔离的环境中一起运行。 3、运行docker-compose up命令，启动并运行整个应用程序。入门例子： 1、使用mvn clean pa...
2019-08-01 7热度收藏
日志服务数据加工最佳实践: 函数调用

编写数据加工规则过程中，需根据场景选择不同的函数。LOG DSL函数的具体用法可参考数据加工语法参考。场景1: 理解e_keep/KEEP的应用场景默认规则中, 不做处理的事件都是保留. 所以KEEP通常只用于特定场景. 如果需要丢弃日志, 可以使用e_drop/e_drop传入条件或者使用e_if/e_if_else与DROP搭配使用: 如下比较区别:...
2019-08-01 36热度收藏
自动驾驶中高精地图的大规模生产：视觉惯导技术在高德的应用 | 8月2号云栖夜读

点击订阅云栖夜读日刊，专业的技术干货，不容错过！阿里专家原创好文 1.自动驾驶中高精地图的大规模生产：视觉惯导技术在高德的应用导航、驾驶辅助、自动驾驶等技术的不断发展对地图的精细程度提出了更高的要求。常规的道路级地图对于智能交通系统存在很多不足，针对自动驾驶应用的需求，我们提出了利用视觉惯导技术制作高精地图的方法。本文将首先介绍视觉和惯导的主流设备，视觉...
2019-08-01 6热度收藏
3D结构光能否决定未来行业发展新方向？

如果有人对你说“3D结构光”这个词，相信绝大多数人脑中都会产生一堆问号：这是个啥东西?但如果此时提醒你：iPhone X以及后来推出的XS等系列手机中的Face ID人脸识别系统就采用这项技术，相信你就会有一些概念了。目前这项技术的覆盖范围越来越广，比如日常所接触到的“刷脸支付”、“刷脸过安检”就是基于该技术打造的应用场景。然而3D结构光技术背后的工作原理...
2019-08-01 6热度收藏
在Docker中部署Spring Boot项目

在Docker中部署Spring Boot项目微服务现在在互联网公司可谓非常流行了，之前找工作的的时候很多HR电话约面试的时候都会问对微服务是否有过接触。而微服务和Docker可以非常完美的结合，更加方便的实现微服务架构的落地。作为微服务中的代表SpringBoot框架，今天我们就来了解一下如何在Docker容器中运行一个SpringBoot应用。创建Sp...
2019-08-01 11热度收藏

« 上页 332/5200 下页 »

文章筛选

文章列表