笔记列表-低调大师优秀个人博客

Java分享

专注最优质的分享

热门搜索:

SpringCloud
Nacos
Sentinel
Docker
SpringBoot
Hadoop
ElasticSearch
Vue3
Nginx
Redis
MySQL

您现在的位置是：首页 > 文章列表

单表千亿电信大数据场景，使用Spark+CarbonData替换Impala案例

【背景介绍】国内某移动局点使用Impala组件处理电信业务详单，每天处理约100TB左右详单，详单表记录每天大于百亿级别，在使用impala过程中存在以下问题: 详单采用Parquet格式存储，数据表使用时间+MSISDN号码做分区，使用Impala查询，利用不上分区的查询场景，则查询性能比较差。在使用Impala过程中，遇到很多性能问题(比如catal...

时间：2018-11-20点击：259收藏
分享一些 Kafka 消费数据的小经验

前言之前写过一篇《从源码分析如何优雅的使用 Kafka 生产者》，有生产者自然也就有消费者。建议对 Kakfa 还比较陌生的朋友可以先看看。就我的使用经验来说，大部分情况都是处于数据下游的消费者角色。也用 Kafka 消费过日均过亿的消息（不得不佩服 Kakfa 的设计），本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。 <...

时间：2018-11-20点击：269收藏
360 开源企业级 Kubernetes 多集群管理平台 Wayne

奇虎 360 宣布正式开源Wayne ，这是一个由360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能，满足企业的通用需求，同时插件化的方式可以方便集成定制化功能。目前 Wayne已大规模服务于 360 搜索，承载了内部绝大部分业务，稳定管理了近千个业务，上万个容器，运行了两年多时间，经...

时间：2018-11-20点击：305收藏
对Link Map File的初步认识

什么是Link Map File Link Map File中文直译为链接映射文件，它是在Xcode生成可执行文件的同时生成的链接信息文件，用于描述可执行文件的构造部分，包括了代码段和数据段的分布情况。Xcode在生成可执行文件的时候默认情况下不生成该文件，需要开发者手动设置Target --> Build Setting --> Write L...

时间：2018-11-19点击：154收藏
【干货分享】可能是东半球最全的.NET Core跨平台微服务学习资源

如果你发现还有西半球的资源，烦请相告，不胜感谢！一、Asp.net Core基础微软英文官网 .NET Core 微软中文官网 GitHub 用ASP.NET内核和Azure构建现代Web应用程序博客园翻译文档 MSDN .NET Core开源峰会 https://dotnet.github.io/ Artech博客张飞洪博客 Ants博客张善友博...

时间：2018-11-19点击：284收藏
面向容器日志的技术实践

背景自 2013 年 dotCloud 公司开源 Docker 以来，以 Docker 为代表的容器产品凭借着隔离性好、可移植性高、资源占用少、启动迅速等特性迅速风靡世界。下图展示了 2013 年以来 Docker 和 OpenStack 的搜索趋势。容器技术在部署、交付等环节给人们带来了很多便捷，但在日志处理领域却带来了许多新的挑战，包括：如果把日志...

时间：2018-11-19点击：231收藏
Docker和宿主机操作系统文件目录互相隔离的实现原理

我们知道在Docker容器里是无法访问到宿主操作系统的文件目录的，但这种隔离是怎么实现的呢？其实一点也不神奇——利用了Linux系统的内部命令chroot。 chroot能将进程的根目录设置成任意指定的目录。使用chroot我们能创建一个新的进程，并且以chroot执行时传入的参数作为新进程的根目录。因为新进程创建之后就无法访问除了新进程创建时传入ch...

时间：2018-11-19点击：291收藏
一个简单的例子理解Kubernetes的三种IP地址类型

很多Kubernetes的初学者对Kubernetes里面三种不同的IP地址和工作机制理解得不是很清楚。本文我们通过一个最简单的例子来学习。用如下命令行创建一个基于nginx的deployment： kubectl run nginx --image=nginx:maxline 用kubectl get deploy查看成功生成的名为nginx的depl...

时间：2018-11-19点击：217收藏
函数计算 Python 连接 SQL Server 小结

python 连接数据库通常要安装第三方模块，连接 MS SQL Server 需要安装 pymssql 。由于 pymsql 依赖于 FreeTDS，对于先于 2.1.3 版本的 pymssql，需要先安装 FreeTDS。由于早期版本的 pymssql 只提供了 windows 下的 wheel 打包，其他平台（如 linux）需要从源码包编译安装，那需...

时间：2018-11-19点击：320收藏
在容器内部看到ppid为0代表什么

在docker容器内部，我们常常看到一些进程它的ppid（父进程id）为0.因为docker 集成了pid namspace；所以 pid namespace里ppid=0的情况和docker内部一致。当pid namespace内进程的父进程不在此pid namespace里时，那么ppid显示为0 。这里有两种情况： 1、父进程为容器外部的进程，例如d...

时间：2018-11-19点击：409收藏
使用describe命令进行Kubernetes pod错误排查

我有一个pod名叫another，用kubectl create创建后发现过了29分钟，状态还是处于ContainerCreating阶段。使用kubectl describe命令检查：从错误消息发现是因为这个pod attach volume失败： FailedAttachVolume 2m1s (x22 over 31m) attachdetach-...

时间：2018-11-19点击：365收藏
通过describe命令学习Kubernetes的pod属性详解

我们可以首先使用kubectl get pods命令得到pod列表，比如我们想研究pod nginx-storage-pod的明细：使用命令kubectl describe pod nginx-storage-pod > nginx-storage-pod.yaml, 将describe命令的输出重定向到一个yaml文件里。用vi打开这个yaml文件...

时间：2018-11-19点击：446收藏

« 上页 5433/12543 下页 »

点击排行

推荐阅读

最新文章