存储与计算分离：OSS构建表 + 计算引擎对接-低调大师

存储与计算分离：OSS构建表 + 计算引擎对接

2017-04-27 701

看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？

本文先给出基本结论：

OSS是什么?

对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。

基于OSS是否可以创建数据表？

既然可以把摄像头推流接到OSS，建表属于小Case了。并且2016年在亦龙大神的帮助下，Hadoop社区在官方版本中支持OSS，开启了阿里云存储与开源融合的新里程碑。

OSS上建表是否易用？

今天为了降低OSS上建表的门槛，日志服务（原SLS）LogHub可以支持OSS上表的实时写入（表类型包括TextFile，列存储Parquet），支

微信关注我们

原文链接：https://yq.aliyun.com/articles/74641

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据开发—常见问题（1）

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 MaxCompute 和大数据开发套件过程中遇到的常见问题，供大家参考~ Q. 如何查看实时的项目占用存储多少? A. 执行 desc projec)t -extended project_name 语句进行查看。 Q. 数据同步时，如何进行增量同步？A. 具体操作可参考数据增量同步文档。 Q. 如果之前提交的任务修改后再次提交，是否会影响当天的任务调度?A. 根据修改的内容来确定是否会影响：如果修改的只是 sql 语句，则不会影响；如果修改自定义参数和调度配置以后重新提交的，都会影响当天的任务调度。 Q. 用 between …… and……报错，如图所示： ![21](https://yqfile.alicdn.com/03113a1e4

2017-04-28

662

0. 背景我们在使用ELK进行日志记录的时候，通过网址在Kibana中查看我们的应用程序(eg: Java Web)记录的日志，但是默认是任何客户端都可以访问Kibana的, 这样就会造成很不安全，我们应该设置相应的用户名和密码，只有通过登录用户名和密码才能通过Kibana查看我们的日志。 1. 在elasticsearch 2.x的版本是怎么做的笔者网上查了一些博文，大部分推荐的是通过给elasticsearch安装Shield插件，参考链接如下： http://blog.csdn.net/xuplus/article/details/51611658 但是，这种做法已经过时了，而且当你从官网下载的elasticsearch的最新版本，笔者写博文时候是5.x(5.2.2) 照着博文上安装插件的做法，根本是不行的一般博文会建议进入elasticsearch的根目录，执行如下命令:bin/plugin install shield 但是，当你用的是5.x的时候，你会发现根本就没有plugin这条命令，进入es的根目录，发现只有 elasticsearch-plugin这条命令...

2017-04-29

697

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。