搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

python量化分析---使用python获取股票历史数据和实时分笔数据

财经数据接口包tushare的使用（一） Tushare是一款开源免费的金融数据接口包，可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据，本文对tushare的用法，已经存在的一些问题做一些介绍

2018-11-29

使用nginx image filter实现类OSS对象存储中对图片的实时处理

使用Nginx image_filter实现类似OSS图片处理在家使用自己的电脑做了一个小应用，可查看照片，按以前的方式，需要在用户上传图片后对进行裁剪压缩，然后给前端一个缩略图地址与原图地址。这种方式有两个弊端磁盘空间的浪费、缩略图尺寸调整不便捷。是否有其他不使用云OSS存储的情况下自己实现一套类似OSS的图片处理? 后来搜索资料，发现使用nginx的image_filter可以实现。根据网上其他人的实例使用没有成功。安装nginx与imageFilter不在复述，自己从网上看文章就可以了。我使用的版本是nginx 1.13.12 直接自带该插件。自己调整后可以使用，下面贴出完整配置。 server { listen 80; server_name 127.0.0.1; charset utf-8; root /www/uploadfile; #拦截所有带“！”号的图片请求 location ~* ^(.*\.(?:jpg|gif|png|jpeg|bmp))!(.*){ #rewrite ^(.*\.(?:jpg|gif|png))! $1; #图片访问路径 set $filename $1; #图片压缩尺寸 set $img_arg $2; #拆解处理尺寸参数，参数性质如200x400样式 if ($img_arg ~ "^(\d+)x(\d+)") { set $img_width $1; set $img_height $2; } if ($img_arg ~ "^(\d+)$") { set $img_width $1; set $img_height "-"; } if ($img_arg ~ "^x(\d+)") { set $img_width "-"; set $img_height $1; } if ( $img_width = "" ){ set $img_width 100; } if ( $img_height = ""){ set $img_height 100; } #使用内部跳转，将尺寸参数传递 echo_exec /_imgFilt; } #图片处理 location /_imgFilt { alias /www/uploadfile$filename; image_filter resize $img_width $img_height; image_filter_buffer 10M; } location ~ .*\.(swf|docx|doc|xls|xlsx|txt|pdf|ppt|pptx|mp3|zip|rar|tar|gz|mp4|ttf|ttc|fmap|fmi|theme)$ { add_header 'Access-Control-Allow-Origin' '*'; add_header 'Access-Control-Allow-Headers' 'X-Requested-With'; add_header 'Access-Control-Allow-Methods' 'GET,POST,OPTIONS'; expires 30d; } } 图片访问请求地址： http://127.0.0.1/upload/20181120/1542720637600.jpg!500x400 使用以上请求，就可以实现使用nginx image filter实施图片处理。因是自己的小应用在使用，所以性能与访问速度方面还可以。非常耗费CPU资源，如果是公司业务，该方式请谨慎使用！！！

2018-11-21

HBase技术与应用实践 | HBase2.0重新定义小对象实时存取

分享主题：HBase2.0重新定义小对象实时存取内容概要：小对象，特别指1K~10MB范围的数据，比如图片，短视频，文档等广泛的存在于人工智能，医疗，教育，生活分享，电子商务等领域。

2018-11-14

新浪微博技术分享：微博实时直播答题的百万高并发架构实践

5、如何解决实时性、可靠性与高并发？针对实时性、可靠性和高并发，三个典型的问题，我们也有不同的解决方法。实时性问题主要体现在两方面，一个是答题画面的实时展现，另一个是海量数据的实时统计。

2018-10-21

缓存架构之借助消息中间件RabbitMQ实现Redis缓存实时更新实战演练

缓存架构之借助消息中间件RabbitMQ实现Redis缓存实时更新实战演练一、背景介绍前面，我们花了大量的时间来介绍消息中间件RabbitMQ，讲了其基本使用，其可靠性传输，这些对我们的缓存架构有什么用呢

2018-09-26

Spark Streaming实时流处理学习——分布式日志收集框架Flume

Event: { headers:{} body: 74 68 69 73 20 69 73 20 61 20 74 65 73 74 20 70 this is a test p } 需求2：监控一个文件实时采集新增的数据输出到控制台技术

2018-09-01

了不起的WebRTC：生态日趋完善，或将实时音视频技术白菜化

《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》《实时通信RTC技术栈之：视频编解码》《开源实时音视频技术WebRTC在Windows下的简明编译教程》《网页端实时音视频技术

2018-06-03

打造开放式数据传输平台，Solace助力企业实时数据共享

如何和顶尖企业具备同等的竞争力虽然目前很多企业做了所谓数字化转型的工作，比如微服务、混合云、物联网、大数据的项目，但是平台之间要进行分享却非常辛苦，本应实时响应却不能实现。

2018-03-12

一小时完成基于阿里云流计算的实时计算系统搭建

目前，实时计算越来越被广泛应用，比如实时ETL、实时报表、实时大屏展示等一些监控预警和在线系统的场景。企业对计算速度和消息更新速度要求越来越高。

2018-03-04

七牛云技术分享：使用QUIC协议实现实时视频直播0卡顿！

：如何做到实时秒开、流畅不卡》《移动端实时音视频直播技术详解（六）：延迟优化》《如何优化传输机制来实现实时音视频的超低延迟？》

2018-02-20

2017双11技术揭秘—阿里数据库进入全网秒级实时监控时代

每秒实时处理超过1000万项监控指标，让异常无所遁形。DBPaaS也持续在数据库管理的自动化、规模化、数字化、智能化等方向

2017-12-26

从零开始在iPhone上运行视频流实时预测模型应用，只需10步

1､买一台苹果电脑，建议MacBook Pro。 2､安装Xcode。 3､克隆TensorFlow:https://github.com/tensorflow/tensorflow.git 4､下载TensorFlow核心静态库，运行:tensorflow/contrib/makefiles/download_depencies.sh 。 5､编译生成iOS工程静态库，运行:tensorflow/contrib/makefile/build_all_iso.sh 。 6､进入iOS工程目录:/tensorflow/examples/ios/camera。 7､下载Google Inception V1 模型，放到data目录:http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz。 8､下载工程Pod依赖库，运行:pod install。 9､运行工程，点击：tf_camera_example.xcworkspace。 10､在Xcode选中iPhone作为打包设备，Run。计划帮助1万个人把程序跑起来，如有疑问，可以加我微信咨询，请注明:移动AI。欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi

2017-11-29

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

1.2术语定义 l离散流（discretized stream）或DStream：这是Spark Streaming对内部持续的实时数据流的抽象描述，即我们处理的一个实时数据流，在Spark Streaming

2017-11-22

【物联网智能网关-13】Html5:Canvas+WebSocket实现远程实时通信（上）

网关为核心，互联网为基础构建物联网平台》中简要介绍了基于.NET Micro Framework如何构建Web Server应用，本篇文章将基于Html5的Canvas和WebSocket技术详细介绍远程实时通信的实现

2017-11-21

【物联网智能网关-14】Html5:Canvas+WebSocket实现远程实时通信（下）

在上篇博文《Html5:Canvas+WebSocket实现远程实时通信（上）》中已经介绍了当前实现动态网页的一些基本技术，也说明了在.NET micro framework平台下实现Web Server

2017-11-13

研究人员首次实现人脑实时连接互联网，攻壳社会的前奏？

最近，南非约翰内斯堡金山大学的研究人员就在脑机连接领域取得了重大突破，因为他们首次实现了人脑与互联网的实时连接。换句话说，我们的大脑未来就要成为物联网（IoT）中的一个节点了。

2017-10-31

《构建实时机器学习系统》一3.4 数据分析的三个要点

3.4 数据分析的三个要点本书后面的章节中将会以前面发现的均值回归的性质为依托，设计实时机器学习交易策略进行交易。好多读者看到这里可能已经跃跃欲试，等不及要开始搭建服务器开始赚他一个亿了。

2017-09-07

专访iDST华先胜：城市大脑，对城市的全量、实时认知和搜索

编者按：10月11-14日，为期四天的2017杭州云栖大会（门票火热抢购中！）将再度在杭州云栖小镇起航，作为全球最具影响力的科技展会之一，本届大会将有不少阿里集团专家以及各企业行业领袖的精彩演讲。从今天开始，云栖社区将会对大会嘉宾做一系列专访，想了解嘉宾以及最新议题信息请关注“云栖大会”公众号。第一位嘉宾我们采访的是阿里巴巴 iDST副院长华先胜，他将在10月的云栖大会上分享关于计算机视觉领域的前沿趋势以及城市大脑最新的进展。华先胜是视觉识别和搜索领域的国际权威，曾担任 ACM Multimedia 等大会程序委员会主席，他还是国家千人计划专家、IEEE Fellow、ACM杰出科学家、2008年度MIT TR 全球 35 位 35 岁以下的杰出青年创新人物。 2015年，华先胜离开职业生涯起点的微软研究院加盟阿里巴巴，在搜索事业

2017-09-02

讯飞录音笔实时转文字，还可以自己做摘要

科大讯飞在今天举行的发布会上发布了一款逆天的录音笔，不仅可将语音实时转换为文字，还可以识别多人谈话中每个人的话语内容。最炸裂的是，这货还可以自己做摘要。

2017-08-08

百度实时语音转换技术 DeepVocie；谷歌 Python Fire 等| AI 研习社周刊

█开发工具微软发布 Azure Stack 第三技术预览版本 Azure Stack 是微软为大型企业客户开发，在本地部署的数据中心运行私有云或混合云的服务。其正式版本预计于今年年中推出。3 月 1 日，微软公布了它的第三个技术预览版本。微软副总裁 Mike Neil 强调，Azure Stack 将根据实际使用情况按需定价，但也会提供年费方式的固定价格选项。详情：http://www.leiphone.com/news/201703/nYfx3ZLOXqMckzPZ.html?type=preview 谷歌开源Python Fire 3 月 2 日，谷歌公布了新的 Python 工具包——Python Fire。它的功能很简单：能从任何 Python 代码生成命令行接口（CLI）。开发者面对任意一个Python 程序，仅需调用

2017-08-01

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。