首页 文章 精选 留言 我的

文章列表

共 97898 篇
基于Openresty+CEPH实现海量数据管理系统

基于Openresty+CEPH实现海量数据管理系统

「持续更新中,欢迎关注...」 1. 需求: 作为一家专注于三维高精度地图服务的公司,有海量(PB级)的原始数据、中间数据、成功数据,需要存储、管理、并定期归档。 按项目管理数据,数据分类航飞数据、控制点数据、中间数据、成果数据、其他数据。数据来源包括无人机数据、载荷数据、地面站数据、人工打点数据等。不同渠道汇集而来的数据。 采用类似百度网盘的形式,上传、下...

重磅!Apache Flink 1.11 功能前瞻抢先看!

重磅!Apache Flink 1.11 功能前瞻抢先看!

整理 | 高赟、程鹤群Review | 王治江 Flink 1.11 版本即将正式宣告发布!为满足大家的好奇与期待,我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进,并致力于进一步提高 Flink 的可用性及性能。 本文将详细介绍 1.11 版本的新功能、改进、...

OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

通过使用cache缓存机制,减少数据分析处理过程中直读OSS的次数,不仅能够提高性能,更能减少与OSS的交互流量,减少数据分析成本与时间开销。 前提条件 已注册阿里云账号,详情请参见注册云账号。 已开通E-MapReduce服务和OSS服务。 已完成云账号的授权,详情请参见角色授权。 已创建Haoop集群,且带有Hive组件,且配置OSS数据源。 步骤一:设...

OSS数据湖实践——EMR + Hive + OSS案例

OSS数据湖实践——EMR + Hive + OSS案例

Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分析OSS上的数据。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权,详情请参见角色授权。• 已创建Haoop集群,且...

OSS数据湖实践——EMR + Flink + OSS案例

OSS数据湖实践——EMR + Flink + OSS案例

本文介绍使用Flink大数据分析引擎,基于EMR,利用OSS云存储数据,实现一个分析案例。前提条件• 已注册阿里云账号,详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权,详情请参见角色授权。• 已创建Haoop集群,且带有spark组件。• 相关更多配置请参考OSS入门文档。 步骤一:数据上传至oss hadoo...

OSS数据湖实践——EMR + Spark + OSS案例

OSS数据湖实践——EMR + Spark + OSS案例

本文介绍大数据分析引擎spark 基于EMR集群,利用OSS云存储数据,实现一个简单的分析案例。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权,详情请参见角色授权。• 已创建Haoop集群,且带有spark组件, 配置好相关的OSS数据源。 步骤一:数据上传至oss hadoo...

手把手教你用Python给小姐姐美个颜

手把手教你用Python给小姐姐美个颜

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 01 图像的颜色空间 彩色图像比灰度图像拥有更丰富的信息,它的每个像素通常是由红(R)、绿(G)、蓝(B)3个分量来表示的,每个分量介于0~255之间。 图像中呈现的不同的颜色都是由R、G、B这3种颜色混合而成的。在OpenCV里面,彩色图像拥有3个颜色通道,...

码农幸福指数:哪种编程语言最让人感到幸福?

码农幸福指数:哪种编程语言最让人感到幸福?

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 刻板印象无处不在,在IT世界中也是如此。“ PHP是最糟糕的语言”或“ Python适合初学者”,这样的固有认知已然扎根在很多人的印象里。 编程营2020即将开赛,我们将通过github和来自开发人员的调查数据找到真相,快来看看是哪个编程语言最终“C位出道”吧...

LeCun自曝使用C语言23年之久,2年前才上手Python,还曾短暂尝试Lua

LeCun自曝使用C语言23年之久,2年前才上手Python,还曾短暂尝试Lua

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 程序员圈子的流行风潮,过几年就怀旧风走一波。 这不,最近Twitter上刮起了一阵编程语言使用历史的风潮。 连图灵奖得主、CNN之父——Yann LeCun也参与进来了。 他自曝使用C语言时间最长,达23年之久。 随后,便“移情”于C++了。 从2009年起,...

机器学习:物联网成功的诀窍?

机器学习:物联网成功的诀窍?

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 物联网(IoT)有着巨大的潜力,几乎没有哪项技术能与其相媲美,并且它几乎在每一个领域都释放出了新的机遇和创新。因此,全球企业正在安装比以往更多的传感器,以利用物联网的发展潜力。 但如果没有适当的数据管理策略,这些传感器的实施可能会适得其反。企业可能会发现自己的...

2020年的顶级数据分析趋势

2020年的顶级数据分析趋势

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 除了人工智能技术得到广泛应用之外,在过去几年中,大数据也取得了更具意义的发展。调查表明,2020年全球大数据行业的市场规模为1,890亿美元。考虑到市场增长,可以预计到2022年将达到2470亿美元。 迪斯尼公司董事长表示:“技术正在提升创造力,并改变了娱乐和...

我在阿里招前端,我该怎么帮你?

我在阿里招前端,我该怎么帮你?

作者|沈砾捷(磐冲)出品|阿里巴巴新零售淘系技术部 我是谁?为什么写这篇文章? 好吧,我承认,我自己在招聘上可能是有点没找到方法。但是,看了那么多简历,经历了那么多次面试,我最大的感受却是惋惜。因为有好多同学,在电话那头我听出了努力,听出了能力,听出了激情,但是却没有听到亮点、和让我觉得,能够继续闯过下一关的能力。 我面试过的同学,在结束的时候,我都会指出问...

常用的 7 款 MySQL 客户端工具,你值得拥有!

常用的 7 款 MySQL 客户端工具,你值得拥有!

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! MySQL的管理维护工具非常多,除了系统自带的命令行管理工具之外,还有许多其他的图形化管理工具,这里我介绍几个经常使用的MySQL图形化管理工具,供大家参考。 1、phpMyAdmin http://www.phpmyadmin.net/ phpMyAdmin...

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

用户登录
用户注册