搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

实时计算Flink > 准备工作——角色授权

您开通实时计算服务时，需要授予一个名称为AliyunStreamDefaultRole的系统默认角色给实时计算的服务账号。当且仅当该角色被正确授予后，实时计算才能正常地调用相关服务，例如RDS等。

2018-11-13

吴晓然：实时通信需要Codec和网络模块结合

https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/82731573 LiveVideoStack对声网视频工程师吴晓然进行了采访，他认为实时通信场景的

2018-09-15

Flink: 快速构建统一的实时日志平台

本文围绕一个中型电商/互联网公司涉及到日志的复杂系统运维、业务运营问题，使用Flink+Kafka+HBase+ES四套系统，告诉读者如何在一家中型互联网公司里面快速构建一套实时日志平台。

2018-09-04

大数据实时流处理零数据丢失

大数据实时流处理零数据丢失 1.整体流程： a)kafka：作为流处理程序的生产者 b)sparkStreaming：作为消费者，设置合理batch c)DB：输出到redis/ES 2.存在问题：雪崩效应

2018-08-09

基于 TensorFlow 、OpenCV 和 Docker 的实时视频目标检测

在本文中，我将介绍如何在 Docker 容器中使用 Tensorflow Object-detection API 来执行实时（网络摄像头）和视频的目标检测。

2018-07-23

SparkStreaming+Kafka 实现统计基于缓存的实时uv

article/details/80943294 我的原创地址：https://dongkelun.com/2018/06/25/KafkaUV/ 前言本文利用SparkStreaming+Kafka实现实时的统计

2018-07-05

SparkStreaming+Kafka 实现基于缓存的实时wordcount程序

我的原创地址：https://dongkelun.com/2018/06/14/updateStateBykeyWordCount/ 前言本文利用SparkStreaming和Kafka实现基于缓存的实时

2018-06-24

写给小白的实时音视频技术入门提纲

/RTCP实时传输协议基础知识》《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》《声网架构师谈实时音视频云的实现难点(视频采访)》《浅谈开发实时视频直播平台的技术要点》《还在靠“喂喂喂

2018-05-27

(七)：C++分布式实时应用框架 2.0

在C++分布式实时应用框架(CDRAF)1.0版本发布后，我们对整个框架做了大量的改进。在架构层面支持微服务架构、微服务编排。

2018-05-07

Android两条并排RecyclerView实时联动滑动增强

Android两条并排RecyclerView实时联动滑动增强在附录1中，我初步实现了两条垂直摆放的RecyclerView的实时联动滚动，但是附录文章1的实现存在一定问题，比如当用户的手指同时在屏幕的两条

2018-04-23

实时计算 Flink SQL 核心功能解密

实时计算 Flink SQL 核心功能解密 Flink SQL 是于2017年7月开始面向集团开放流计算服务的。

2018-02-07

Hyper-V虚拟机无群集实时迁移

下面我们来体验一下虚拟机在无群集的环境中，如何实现实时迁移。

2017-11-27

oneproxy数据库中间件说明 #wgethttp://www.onexsoft.com/software/oneproxy-rhel5-linux64-v6.0.0-ga.tar.gz #tar -zxvf oneproxy-rhel5-linux64-v6.0.0-ga.tar.gz -C /usr/local/ # cd /usr/local/oneproxy/ 1.指定中间件启动的shell脚本和启动文件的程序目录位置 # sed -i 's/^export.*$/export\ ONEPROXY_HOME=\/usr\/local\/oneproxy/g' demo.sh # sed -i 's/^ONEPROXY_HOME=.*$/ONEPROXY_HOME=\/usr\/local\/oneproxy/g' oneproxy.service # cp oneproxy.service /etc/init.d/oneproxy # chmod +x /etc/init.d/oneproxy #chkconfig --add oneproxy # chkconfig oneproxy on 二、oneproxy的管理启动中间件：方式一 # sh /usr/local/oneproxy/demo.sh 方式二关闭中间件：方式一 # /etc/init.d/oneproxy stop 方式二（需要通过mysql客户端登录控制台使用的管理平台的账号密码，为中间件默认密码) #安装MySQL客户端 # yum install mysql -y # mysql -uadmin -pOneProxy -h127.0.0.1 -P4041 mysql> shutdown force; ERROR 2013 (HY000): Lost connection to MySQL server during query # /etc/init.d/oneproxy start 三、oneproxy的配置 3.1基础配置 3.2管理平台的使用默认登录管理平台账号密码： # mysql -uadmin -pOneProxy -h127.0.0.1 -P4041 3.2分表规则的 3.3主要参数说明 MySQL节点,与是否真实Master无关,可以用“@”来指定一个集群名字。通常来讲具有复制关系的主备节点,都应当用同一个集群名字,任何一个节点都必须属于一个集群,不指定的话,默认值为“default”。 proxy-slave-addresses,只读节点,只能用来转发读请求的MySQL节点,可以使用多次来指定多台MySQL节点,与是否真实Slave无关,可以用“@”来指定一个集群名字。通常来讲具有复制关系的主备节点,都应当用同一个集群名字,任何一个节点都必须属于一个集群,不指定的话,默认值为“default”。 proxy-user-list,所有后端MySQL节点都需要有这里指定的用户名,口令也要相同,可以用“@”来指定这个用户连接时所用的默认的数据库名,可以使用多次来指定多个用户。 proxy-group-policy,用来指定某个MySQL集群的分流策略,策略“master-only”表示只使用Master,为“read-failover”表示Master不可用时将读切到备,策略“read-slave”表示只读Slave,策略“read-balance”表示读所有的节点,可以使用多次来为不同的MySQL主备设置不同的策略。 proxy-group-security,用来指定某个MySQL集群的安全策略,策略0为无限制,策略1禁用了DDL(默认值),策略2表示一定要有Where条件,策略3表示只允许查询(Select)命令,可以使用多次来为不同的MySQL主备设置不同的策略。 proxy-part-tables,分库分表配置文件,json格式文本,主要包含表的分区逻辑及每个分区的集群位置,详情参考分库分表部份的介绍。 proxy-charset,客户端的字符集信息。本文转自去轻狂书生51CTO博客，原文链接： http://blog.51cto.com/8999a/1964979 ，如需转载请自行联系原作者

2017-11-14

使用kibana和elasticsearch日志实时绘制图表

前言：此文接的是上篇，上次的内容是，用python操作elasticsearch存储，实现数据的插入和查询。估计有些人一看我的标题，以为肯定是 logstash kibana elasticsearch的组合。这三个家伙也确实总是勾搭在一块。其实logstash是可以被别的替换，比如常见的fluented 。剩下的那两个，kibana和elasticsearch是一伙的，不好做分离。这次用的不是那种开源的、cs模式日志收集应用，还真不是。而是自己直接从程序里面把日志打到elasticsearch里面（可以是python，也可以用shell的curl）。然后通过kibana把elasticsearch数据读出来，直接绘图。我个人还是不喜欢用elasticsearch做存储，他的一些语法说明不够犀利，主要原因还是他的DSL让我头疼。我还是喜欢把结果打到mongodb里面。对于我来说mongodb的查询语句是我很喜欢的。不扯了，开始切入主题。我这里的想法比较简单和方便，比如需要监控一些数据，我们完全可以把结果打到elasticsearch里面。而不是我前面说的那样，还需要从库里面取出数值，然后再用前端画图，另外数据的接口还不好控制，真心是麻烦，当然对于熟练前后端的人来说，这也仅仅是麻烦而已。下图是我以前的一个项目，通知平台的前端，当时开发的时候，真是十分的蛋疼，一会搞数据层，一会搞前端的ajax模板，但是带来的好处也不少，尤其是提高自己的前后端细节的写码能力。但说起来，感觉如果用kibana3的话，在一定程度来说，很是方便。只需要给elasticsearch下面的数据格式就行了。 index是索引，在elasticsearch里面，一切皆索引（我说的） type是格式，咱们做图表的时候，基本是根据type做归类的。比如，web相关的为一个索引，然后nginx和varnish为不同的type。当然也可以再细化，把那个nginx服务都可以做一个索引。只要你不觉得乱套就行了。很多人担心elasticsearch的大数据能力，其实我没怎么把他看做大数据处理，就把他做个临时一个月的存储，做一些个日志分析，监控啥的。（个人喜欢） @message 是主数据内容 @timestamp是时间，kibana默认是根据这个来做时间段的。上面的数据有些乱，咱们可以把键值对分化的更细致点。原文：http://rfyiamcool.blog.51cto.com/1030776/1421049 但是kibana3二次开发起来，对于初学者来说，是有难度的。原文：http://rfyiamcool.blog.51cto.com/1030776/1421049 如果懒得写前端和数据接口，完全可以把日志和数据放到elasticsearch处理。我的开发主要是python，用pyes，只需要把数据扔给elasticsearch就行了。格式是json的样子，看下面，用kibana可以做多条件的查询，我想搜 nginx，squid，tornado的类型，类型，出错的频率。除了query，还有用regexp正则的方式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 ( 111 | 222 ) aaa.* a{ 3 }b{ 3 }#match a{ 2 , 4 }b{ 2 , 4 }#match a{ 2 ,}b{ 2 ,}#match .{ 3 }.{ 3 }#match a{ 4 }b{ 4 }#nomatch a{ 4 , 6 }b{ 4 , 6 }#nomatch a{ 4 ,}b{ 4 ,}#nomatch (ab)+#match ab(ab)+#match (..)+#match (...)+#nomatch (ab)*#match abab(ab)?#match ab(ab)?#nomatch (ab){ 3 }#match (ab){ 1 , 2 }#nomatch 查询，web的日志，看下css，js，jpg，bootstrap.css,bootstrap.js 访问的一些比率 ~ 本文转自 rfyiamcool 51CTO博客，原文链接：http://blog.51cto.com/rfyiamcool/1421049，如需转载请自行联系原作者

2017-11-13

唯品会海量实时OLAP分析技术升级之路

慢查询第二个问题是慢查询，有两个方面：一是OLAP查询的速度变慢；二是ETL数据处理效率降低。

2017-11-13

写一个简单的实时互动小游戏

在写之前，我们先回顾上一篇文章，从需求、架构、设计、开发上讲述并演示了搭建一个实时通信客户端的过程，并附了图片与视频。

2017-10-16

阿里自研实时计算平台支撑双十一

本文讲的是阿里自研实时计算平台支撑双十一阿里巴巴11月7日宣布，其大数据团队自研的实时数据计算平台Galaxy ，目前每秒可运算数据超过500万条，预计双十一当天每秒运算量将超过1000万条，日处理消息数将超过

2017-09-25

Spark与EVAM组CP,应对实时流式事件处理

它是探索建立实时事件处理的理想平台。 EVAM是一个实时事件处理方面的领跑者，有超过40种解决方案可以支持全球超两亿用户的实时事件处理。

2017-08-31

携程基于Storm的实时大数据平台实践

本文讲解了携程在实时数据平台的一些实践，按照时间顺序来说明我们是怎么一步一步构建起这个实时数据平台的，目前有一些什么新的尝试，未来的方向是怎么样的，希望对需要构建实时数据平台的公司和同学有所借鉴。

2017-07-31

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。