文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望

2019阿里云峰会·上海开发者大会于7月24日盛大开幕，在本次峰会的开源大数据专场上，阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。开源大数据专场PPT下载以下内容根据演讲视频...
2019-08-01 80热度收藏
日志服务数据加工最佳实践: 多子键为数组的复杂JSON加工

加工需求统计类日志形式程序构建的日志经常会以一种统计性质的JSON格式写入, 通常其包含一个基础信息, 以及多个子健为数组的形式. 例如一个服务器每隔1分钟写入一条日志, 包含当前信息状态, 以及相关服务器和客户端节点的统计状态信息. 样例: __source__: 1.2.3.4 __topic__: content:{ "service": "sea...
2019-08-01 7热度收藏
安装conda、Anaconda后终端出现的(base)字样去除方法

conda|Anaconda 安装之后终端每次显示一个base字样让强迫症十分不爽！方法 conda deactivate在终端数据conda deactivate 或者在.bash_profile 文件中加入。当然（base）消失了，conda的python也用不了了,变成了默认的python2.7那就使用方法2吧 condarc 可以通过.condar...
2019-08-01 34热度收藏
Apache Carbondata接入Kafka实时流数据

1.导入carbondata依赖的jar包将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入在$SPARKHOME创建的carbondlib目录 ...
2019-08-01 11热度收藏
Spark on Kubernetes 的现状与挑战

云原生时代，Kubernetes 的重要性日益凸显，这篇文章以 Spark 为例来看一下大数据生态 on Kubernetes 生态的现状与挑战。 1. Standalone 模式 Spark 运行在 Kubernetes 集群上的第一种可行方式是将 Spark 以 Standalone 模式运行，但是很快社区就提出使用 Kubernetes 原生 Sche...
2019-08-01 6热度收藏
玩转阿里云EMR三部曲-入门篇

作者：邓力，entobit技术总监，八年大数据从业经历，由一代hadoop入坑，深耕云计算应用领域，由从事AmazonEMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。引言笔者近几年工作以架构为主，本系列文章旨在从系统架构层面提供一定参考和帮助。本文默认阅读文章的小伙伴们有MR/SPARK等基础，文中不再重复介绍相关知识...
2019-08-01 11热度收藏
接口测试时遇到 java 代码加密请求数据，用 python 的我该怎么办？

接口测试时遇到 java 代码加密请求数据，用 python 的我该怎么办？前言自动化测试应用越来越多了，尤其是接口自动化测试。在接口测试数据传递方面，很多公司都会选择对请求数据进行加密处理。而目前为主，大部分公司的产品都是java语言实现的。所以加密处理也是java实现的。作为用python做测试的我，要做接口自动化时，如何去对请求数据进行加密呢？ ...
2019-08-01 47热度收藏
日志服务数据加工最佳实践: 事件判断

场景1：判断字段是否存在原始日志 a: a_vlue b: // 空串 LOG DSL编排方案一：使用e_has, e_not_has e_if(e_has("a"), e_set("has_a", true)) e_if(e_has("b"), e_set("has_b", true)) e_if(e_has("c"), e_set("has_c", ...
2019-08-01 101热度收藏
JS压缩图片，在线图片压缩，Cavas压缩图片

在线DEMOhttps://oktools.net/tinyimg 1. 选择一张图片 const img_original = document.getElementById('img_original'); const img_output = document.getElementById('img_output'); let blob; functi...
2019-08-01 10热度收藏
运维工程师都在做什么？需要掌握哪些核心技能？

首先先看图：下面是运维工程师至少要能做以下的工作： 1，网络工程师的工作你至少要能配置CISCO 6509以下的设备，熟悉各种网络协议，否则网络出问题的时候你会傻掉。 2，系统工程师的工作你至少要理解各种系统服务，在出问题的情况下要迅速解决问题，而不是等系统工程师来解决。 3，安全工程师的工作我不要求你一定要会各种网络编程，但是在服务器收攻击的情况下...
2019-08-01 10热度收藏
云计算数据库迁移需要避免的10个错误

云计算数据库迁移需要避免的10个错误139w.com 鼎点网络数据库专家Chris Foot分享了IT团队在进行云计算数据库迁移时通常会遇到的十个疏忽和错误，并为此提供了如何避免这些错误的建议。越来越多的组织正在采用数据库即服务(DBaaS)平台，以寻求更快、更具可扩展性的部署，并降低成本。随着现有的大量数据库即服务(DBaaS)产品和工具的出现，启动云计...
2019-08-01 7热度收藏
blink cep基于用户的行为分析大杀器

场景今天我们做o2o有很多的线下场景需要基于用户的行为进行分析，比如我们在商场入门口装了一个摄像头，可以通过摄像头识别商场进入的人脸，和出去时候的人脸，这样形成了2条数据。商场想统计下，每个用户在商场的逗留时间。这里面就出现了一种pattern的模式，就是当用户进门和出门这两个事件都发生的时候，激发某个动作（事件）。比如在这里是在用户出门的时候将用户进门...
2019-08-01 19热度收藏
空学Kafka之二

继续上一篇 (空学Kafka之一)[https://www.atatech.org/articles/145913] 构建数据通道考量点及时性，可靠性，吞吐量，安全性（通道安全，审计等），数据格式的上线兼容，ETL or ELT，统一还是专属（比如GoldenGate是oracle私有的，有很强的耦合性），优先选择Kafka Connect 深入浅出Co...
2019-08-01 7热度收藏
Dubbo + Hystrix 实现服务熔断

熔断器简介在微服务架构中，根据业务来拆分成一个个的服务，服务与服务之间可以通过 RPC 相互调用。为了保证其高可用，单个服务通常会集群部署。由于网络原因或者自身的原因，服务并不能保证 100% 可用，如果单个服务出现问题，调用这个服务就会出现线程阻塞，此时若有大量的请求涌入，Servlet 容器的线程资源会被消耗完毕，导致服务瘫痪。服务与服务之间的依赖性，...
2019-08-01 13热度收藏
Chromium Viz 浅析 - SkiaRenderer & SkiaOutputSurface

关于 Viz 的系列文章 Chromium Viz 浅析 - 介绍篇Chromium Viz 浅析 - 合成器架构篇 Chromium 关于光栅化和合成的一些主要性能优化项目包括 OOPD (Out of Process Display Compositor，进程外 Display 合成器), OOPR (Out of Process Rasterizati...
2019-08-01 9热度收藏
强强联合阿里云 RDS for SQL Server 与金蝶 K/3 WISE 产品实现兼容适配

强强联合阿里云 RDS for SQL Server 与金蝶 K/3 WISE 产品实现兼容适配，原K/3 WISE用户通过简单配置就可以无缝搭配RDS SQL Server使用，不需再费时费力自建SQL Server数据库，RDS for SQL Server 为K/3 WISE的数据存储提供超捷的便利性、极其稳定的可靠性以及极高的安全性保障。据悉，此...
2019-08-01 7热度收藏
阿里云容器市场份额全球前三、中国第一，进入强劲表现者象限

近日，全球知名市场调研机构Forrester发布首个企业级公共云容器平台报告。其中，阿里云容器服务的市场表现全球前三、中国第一，同时创造中国企业最好成绩，进入强劲表现者象限。报告显示，阿里云容器服务市场表现中国第一，与谷歌云并列全球第三。分析师认为，“阿里云容器服务提供了广泛的开发和应用服务支持能力，并且具备丰富的市场生态和合作伙伴体系，是企业在中国寻求最...
2019-08-01 7热度收藏
阿里云容器服务中国最佳，进入Forrester报告强劲表现者象限

近日，全球知名市场调研机构Forrester发布首个企业级公共云容器平台报告。其中，阿里云容器服务的市场表现位居全球前三、中国第一，同时创造中国企业最好成绩，进入强劲表现者象限。报告显示，阿里云容器服务市场表现为中国第一，与谷歌云并列全球第三。分析师认为，“阿里云容器服务提供了广泛的开发和应用服务支持能力，并且具备丰富的市场生态和合作伙伴体系，是企业在中国...
2019-08-01 6热度收藏
阿里云容器服务中国最佳，进入 Forrester 报告强劲表现者象限

近日，全球知名市场调研机构 Forrester 发布首个企业级公共云容器平台报告。报告显示：阿里云容器服务创造了中国企业最好成绩，与谷歌云位于同一水平线，进入强劲表现者象限。**究其原因，分析师认为：阿里云容器服务提供了广泛的开发和应用服务支持能力，并且具备丰富的市场生态和合作伙伴体系，是企业在中国寻求最完备云服务能力的首要选择。报告中对中国主流公共云容器...
2019-08-01 13热度收藏
Java8如何让Excel的读写变得更加简单高效

在POI的使用过程中，对大多数API User来说经常面临两个问题，这也是 GridExcel 致力解决的问题。问题1. 仅使用简单的导入导出功能，但每次业务的数据对象结构不同，需要重新编写处理方法，很麻烦！解决方法将Excel处理逻辑抽取出来，封装成工具类。封装条件与大多数Java API一样，POI把更多的精力放在高级功能的处理上，比如Formula...
2019-08-01 33热度收藏

« 上页 427/5294 下页 »

文章筛选

文章列表