-
单表千亿电信大数据场景,使用Spark+CarbonData替换Impala案例
【背景介绍】 国内某移动局点使用Impala组件处理电信业务详单,每天处理约100TB左右详单,详单表记录每天大于百亿级别,在使用impala过程中存在以下问题: 详单采用Parquet格式存储,数据表使用时间+MSISDN号码做分区,使用Impala查询,利用不上分区的查询场景,则查询性能比较差。 在使用Impala过程中,遇到很多性能问题(比如catal...
时间:2018-11-20点击:259收藏
-
分享一些 Kafka 消费数据的小经验
前言 之前写过一篇《从源码分析如何优雅的使用 Kafka 生产者》 ,有生产者自然也就有消费者。 建议对 Kakfa 还比较陌生的朋友可以先看看。 就我的使用经验来说,大部分情况都是处于数据下游的消费者角色。也用 Kafka 消费过日均过亿的消息(不得不佩服 Kakfa 的设计),本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。 <...
时间:2018-11-20点击:269收藏
-
360 开源企业级 Kubernetes 多集群管理平台 Wayne
奇虎 360 宣布正式开源Wayne ,这是一个由360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能,满足企业的通用需求,同时插件化的方式可以方便集成定制化功能。目前 Wayne已大规模服务于 360 搜索,承载了内部绝大部分业务,稳定管理了近千个业务,上万个容器,运行了两年多时间,经...
时间:2018-11-20点击:305收藏
-
对Link Map File的初步认识
什么是Link Map File Link Map File中文直译为链接映射文件,它是在Xcode生成可执行文件的同时生成的链接信息文件,用于描述可执行文件的构造部分,包括了代码段和数据段的分布情况。Xcode在生成可执行文件的时候默认情况下不生成该文件,需要开发者手动设置Target --> Build Setting --> Write L...
时间:2018-11-19点击:154收藏
-
【干货分享】可能是东半球最全的.NET Core跨平台微服务学习资源
如果你发现还有西半球的资源,烦请相告,不胜感谢! 一、Asp.net Core基础 微软英文官网 .NET Core 微软中文官网 GitHub 用ASP.NET内核和Azure构建现代Web应用程序 博客园翻译文档 MSDN .NET Core开源峰会 https://dotnet.github.io/ Artech博客 张飞洪博客 Ants博客 张善友博...
时间:2018-11-19点击:284收藏
-
面向容器日志的技术实践
背景 自 2013 年 dotCloud 公司开源 Docker 以来,以 Docker 为代表的容器产品凭借着隔离性好、可移植性高、资源占用少、启动迅速等特性迅速风靡世界。下图展示了 2013 年以来 Docker 和 OpenStack 的搜索趋势。 容器技术在部署、交付等环节给人们带来了很多便捷,但在日志处理领域却带来了许多新的挑战,包括: 如果把日志...
时间:2018-11-19点击:231收藏
-
Docker和宿主机操作系统文件目录互相隔离的实现原理
我们知道在Docker容器里是无法访问到宿主操作系统的文件目录的,但这种隔离是怎么实现的呢? 其实一点也不神奇——利用了Linux系统的内部命令chroot。 chroot能将进程的根目录设置成任意指定的目录。 使用chroot我们能创建一个新的进程,并且以chroot执行时传入的参数作为新进程的根目录。 因为新进程创建之后就无法访问除了新进程创建时传入ch...
时间:2018-11-19点击:291收藏
-
一个简单的例子理解Kubernetes的三种IP地址类型
很多Kubernetes的初学者对Kubernetes里面三种不同的IP地址和工作机制理解得不是很清楚。 本文我们通过一个最简单的例子来学习。 用如下命令行创建一个基于nginx的deployment: kubectl run nginx --image=nginx:maxline 用kubectl get deploy查看成功生成的名为nginx的depl...
时间:2018-11-19点击:217收藏
-
函数计算 Python 连接 SQL Server 小结
python 连接数据库通常要安装第三方模块,连接 MS SQL Server 需要安装 pymssql 。由于 pymsql 依赖于 FreeTDS,对于先于 2.1.3 版本的 pymssql,需要先安装 FreeTDS。由于早期版本的 pymssql 只提供了 windows 下的 wheel 打包,其他平台(如 linux)需要从源码包编译安装,那需...
时间:2018-11-19点击:320收藏
-
在容器内部看到ppid为0代表什么
在docker容器内部,我们常常看到一些进程它的ppid(父进程id)为0.因为docker 集成了pid namspace;所以 pid namespace里ppid=0的情况和docker内部一致。 当pid namespace内进程的父进程不在此pid namespace里时,那么ppid显示为0 。这里有两种情况: 1、父进程为容器外部的进程,例如d...
时间:2018-11-19点击:409收藏
-
使用describe命令进行Kubernetes pod错误排查
我有一个pod名叫another,用kubectl create创建后发现过了29分钟,状态还是处于ContainerCreating阶段。 使用kubectl describe命令检查: 从错误消息发现是因为这个pod attach volume失败: FailedAttachVolume 2m1s (x22 over 31m) attachdetach-...
时间:2018-11-19点击:365收藏
-
通过describe命令学习Kubernetes的pod属性详解
我们可以首先使用kubectl get pods命令得到pod列表,比如我们想研究pod nginx-storage-pod的明细: 使用命令kubectl describe pod nginx-storage-pod > nginx-storage-pod.yaml, 将describe命令的输出重定向到一个yaml文件里。用vi打开这个yaml文件...
时间:2018-11-19点击:446收藏
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7设置SWAP分区,小内存服务器的救世主
- Red5直播服务器,属于Java语言的直播服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Linux系统CentOS6、CentOS7手动修改IP地址