搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

日均调用量超13亿次，阿里达摩院研发全球首个实时翻译直播

而在近日，阿里达摩院联合速卖通推出 AI 实时翻译直播，可同时进行中文到英、俄、西三种语向的翻译。

2020-11-20

揭秘行业领头企业 BTC.com 如何实现实时计算

有一天，我们被拉到了一次团队总结会议上，收到了以下的需求：销售总监 A：我们想要知道销售的历史和实时转化率、销售额，能不能统计一下实时的 TOP5 的商品，还有就是大促时候，用户实时访问、商品实时浏览量

2020-09-23

阿里云实时计算 Flink 版9大行业应用案例汇总

Apache Flink 构建的企业级、高性能实时大数据处理系统，由Apache Flink创始团队官方出品。

2020-09-09

华为云发布GaussDB(DWS) 实时数仓，技术创新释放行业数据价值

8月31日，在华为云TechWave大数据专题日上，华为云发布了GaussDB(DWS)实时数仓，工商银行、广东移动、清华大学等分享了大数据技术创新及应用实践。

2020-08-31

阿里云实时计算 Flink 版:基于 Apache Flink 构建的大数据计算平台

阿里云实时计算团队目前是全球最大、拥有 Committer 数量最多、专业性最强的 Flink 团队，为实时计算用户提供企业级的管理和咨询服务。

2020-08-10

我们怎样用 Go 和 Vue 快速构建一个病患实时监控系统？

将来再加上 TimeScaleDB，我们也会将其用于实时分析。因此 PG 是最佳的选项，因为将来可以将 TimeScale 安装在它上面。出于管理目的，我们将网关（Gateway）和 API 分开了。

2020-07-02

基于X-Engine引擎的实时历史数据库解决方案揭秘

实时历史库需求背景在当今的数字化时代，随着业务的迅速发展，每天产生的数据量会是一个惊人的数量，数据库存储的成本将会越来越大，通常的做法是对历史数据做归档，即将长期不使用的数据迁移至以文件形式存储的廉价存储设备上

2020-05-21

构建实时数据仓库首选，云原生数据仓库AnalyticDB for MySQL技术解密

高度兼容MySQL，极低的使用成本和极高的性能，使中小企业也可以轻松的搭建一套实时数据仓库，实现企业数据价值在线化。

2020-04-07

爱奇艺实时计算平台这样做

到 2014 年左右上线了 Storm、Spark 实时计算服务，并随后发布了基于 Spark 的实时计算平台 Europa。

2020-03-04

基于 Flink 的超大规模在线实时反欺诈系统的建设与实践

针对这一问题，玖富集团打造基于 Flink 的超大规模在线实时反欺诈系统，快速处理海量数据并实现良好的用户体验。在线实时反欺诈的难点和痛点常见的金融欺诈场景有三类：一是材料伪造。

2020-03-01

12月11日Spark社区直播【实时数仓建设以及典型场景应用】

议题：实时数仓建设以及典型场景应用直播间直达（回看）链接： https://developer.aliyun.com/live/1758 简介：本次分享会介绍实时数仓的思路以及一些实践，包括SparkStreaming

2019-12-09

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践，从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验，供大家参考。

2019-09-10

智能分析的所见即所得——基于Lambda架构的实时数据引擎

BI与实时数据随着商业领域中的业务场景越来越复杂，更实时、更大量的数据正在被不断生产出来，如何将这些实时的海量数据高效的进行处理就变成了一个挑战。

2019-08-25

从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

主要内容如下：爱奇艺在实时计算方面的的演化和遇到的一些挑战爱奇艺使用Flink的User Case 爱奇艺Flink平台化构建流程爱奇艺在Flink上的改进未来工作爱奇艺简介爱奇艺在2010

2019-06-19

Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的

日志事件近实时地摄取到数据仓库中，并作为许多 ETL 和分析作业的数据来源。事件从客户和服务商发布到 Kafka。

2019-05-18

【阿里内部应用】基于Blink为新商业调控打造实时大数据交互查询服务

基于Blink为新商业调控打造实时大数据交互查询服务案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总从IT到DT、从电商到新商业，阿里巴巴的每个细胞都存在大数据的DNA，如何挖掘大数据的价值成为抢占未来先机的金钥匙

2019-03-04

python量化分析---使用python获取股票历史数据和实时分笔数据

财经数据接口包tushare的使用（一） Tushare是一款开源免费的金融数据接口包，可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据，本文对tushare的用法，已经存在的一些问题做一些介绍

2018-11-29

使用nginx image filter实现类OSS对象存储中对图片的实时处理

使用Nginx image_filter实现类似OSS图片处理在家使用自己的电脑做了一个小应用，可查看照片，按以前的方式，需要在用户上传图片后对进行裁剪压缩，然后给前端一个缩略图地址与原图地址。这种方式有两个弊端磁盘空间的浪费、缩略图尺寸调整不便捷。是否有其他不使用云OSS存储的情况下自己实现一套类似OSS的图片处理? 后来搜索资料，发现使用nginx的image_filter可以实现。根据网上其他人的实例使用没有成功。安装nginx与imageFilter不在复述，自己从网上看文章就可以了。我使用的版本是nginx 1.13.12 直接自带该插件。自己调整后可以使用，下面贴出完整配置。 server { listen 80; server_name 127.0.0.1; charset utf-8; root /www/uploadfile; #拦截所有带“！”号的图片请求 location ~* ^(.*\.(?:jpg|gif|png|jpeg|bmp))!(.*){ #rewrite ^(.*\.(?:jpg|gif|png))! $1; #图片访问路径 set $filename $1; #图片压缩尺寸 set $img_arg $2; #拆解处理尺寸参数，参数性质如200x400样式 if ($img_arg ~ "^(\d+)x(\d+)") { set $img_width $1; set $img_height $2; } if ($img_arg ~ "^(\d+)$") { set $img_width $1; set $img_height "-"; } if ($img_arg ~ "^x(\d+)") { set $img_width "-"; set $img_height $1; } if ( $img_width = "" ){ set $img_width 100; } if ( $img_height = ""){ set $img_height 100; } #使用内部跳转，将尺寸参数传递 echo_exec /_imgFilt; } #图片处理 location /_imgFilt { alias /www/uploadfile$filename; image_filter resize $img_width $img_height; image_filter_buffer 10M; } location ~ .*\.(swf|docx|doc|xls|xlsx|txt|pdf|ppt|pptx|mp3|zip|rar|tar|gz|mp4|ttf|ttc|fmap|fmi|theme)$ { add_header 'Access-Control-Allow-Origin' '*'; add_header 'Access-Control-Allow-Headers' 'X-Requested-With'; add_header 'Access-Control-Allow-Methods' 'GET,POST,OPTIONS'; expires 30d; } } 图片访问请求地址： http://127.0.0.1/upload/20181120/1542720637600.jpg!500x400 使用以上请求，就可以实现使用nginx image filter实施图片处理。因是自己的小应用在使用，所以性能与访问速度方面还可以。非常耗费CPU资源，如果是公司业务，该方式请谨慎使用！！！

2018-11-21

HBase技术与应用实践 | HBase2.0重新定义小对象实时存取

分享主题：HBase2.0重新定义小对象实时存取内容概要：小对象，特别指1K~10MB范围的数据，比如图片，短视频，文档等广泛的存在于人工智能，医疗，教育，生活分享，电子商务等领域。

2018-11-14

新浪微博技术分享：微博实时直播答题的百万高并发架构实践

5、如何解决实时性、可靠性与高并发？针对实时性、可靠性和高并发，三个典型的问题，我们也有不同的解决方法。实时性问题主要体现在两方面，一个是答题画面的实时展现，另一个是海量数据的实时统计。

2018-10-21

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。