首页 文章 精选 留言 我的

精选列表

搜索[系统工具],共10000篇文章
优秀的个人博客,低调大师

图库系统 PicHome 2.0.2 发布

PicHome 是一款快速创建在线图库,音视频库,文库的程序。用于将文件快速生成展示网站,实现随时随地,多端浏览,多人共享的目的。 PicHome 特点 1、指定一个文件目录,自动根据目录结构生成展示网站。支持添加颜色,标签,描述,评分等信息。 2、指定 Eagle 库目录,自动将 Eagle 库生成展示网站。支持 Eagle 库的颜色,标签,描述,评分等信息。 3、指定 Billfish 库目录,自动将 Billfish 库生成展示网站。支持 Billfish 库的颜色,标签,描述,评分等信息。 4、自带网盘功能,是一款针对图片,音视频管理友好的网盘程序,可以将网盘内容自动生成展示网站。支持添加颜色,标签,描述,评分等信息。 操作演示,两步就可以将文件生成一个多端查看的展示网站。 1、选择一个文件目录,或 Eagle,billfish 软件的库目录。 2、网站自动生成,支持颜色,标签,描述等多种查询条件。支持针对需要展示图片,音视频或者文档不同类型文件的目的,设置瀑布流,自适应,列表等不同的列表展示方式。 可以用 PicHome 做什么? 1、使用内置的网盘功能,当作网盘使用 2、创建素材网站 3、创建文件发布站 4、实现 Eagle 素材库多端展示 5、实现 Billfish 素材库多端展示 6、实现普通文件夹多端展示 7、建立企业知识库 8、建立代理商,分销商,分公司产品资料共享平台 9、建立商品素材,商品图共享平台 10、建立企业图库平台 11、建立团队灵感库 12、建立团队标准库 ...... PicHome 2.0.2 更新说明 1:增加搜索设置应用,同时单页增加搜索模块 2:修复billfish库颜色导入处理错误问题 3:更改腾讯云存储eagle库处理,提升导入效率 4:处理描述字段,支持更多内容输入 5:修复已登录用户登录不了后台的bug 6:优化ph库上传,及其逻辑处理 7:处理部分路径图片加载不到的bug,优化页面加载速度 8:修复修改站点logo不生效的bug 9:重写登录注册页 10:修复其他已知bug

优秀的个人博客,低调大师

图库系统 PicHome 2.0.1 发布

PicHome是一款快速创建在线图库,音视频库,文库的程序。用于将文件快速生成展示网站,实现随时随地,多端浏览,多人共享的目的。 PicHome特点 1、指定一个文件目录,自动根据目录结构生成展示网站。支持添加颜色,标签,描述,评分等信息。 2、指定Eagle库目录,自动将Eagle库生成展示网站。支持Eagle库的颜色,标签,描述,评分等信息。 3、指定Billfish库目录,自动将Billfish库生成展示网站。支持Billfish库的颜色,标签,描述,评分等信息。 4、自带网盘功能,是一款针对图片,音视频管理友好的网盘程序,可以将网盘内容自动生成展示网站。支持添加颜色,标签,描述,评分等信息。 操作演示,两步就可以将文件生成一个多端查看的展示网站。 1、选择一个文件目录,或Eagle,billfish软件的库目录。 2、网站自动生成,支持颜色,标签,描述等多种查询条件。支持针对需要展示图片,音视频或者文档不同类型文件的目的,设置瀑布流,自适应,列表等不同的列表展示方式。 可以用PicHome做什么? 1、使用内置的网盘功能,当作网盘使用 2、创建素材网站 3、创建文件发布站 4、实现Eagle素材库多端展示 5、实现Billfish素材库多端展示 6、实现普通文件夹多端展示 7、建立企业知识库 8、建立代理商,分销商,分公司产品资料共享平台 9、建立商品素材,商品图共享平台 10、建立企业图库平台 11、建立团队灵感库 12、建立团队标准库 ...... PicHome 2.0.1 更新说明 1:优化页面加载速度 2:优化上传速度 3:修复栏目删除不掉的bug 4:修复导入锁失效导致导入并发问题 5:修复链接栏目跳转不正常的bug 6:修复单页非上传图片无法显示的bug 7:修复视频转码后,尺寸变形的问题,以及转码数据问题 8:修复修改站点logo不生效的bug 9:修复标签分类筛选无法取消选择的bug 10:修复文件删除错误bug 11:优化缩略图生成,修复普通目录缩略图生成因路径问题导致的失败问题 12:修复其他已知bug

优秀的个人博客,低调大师

大数据OLAP系统 (1)

数据生产面临的挑战 数据爆炸,每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题: 历史数据每日刷新,失去了增量的意义。 每日回溯历史数据量大,10亿+的历史数据回溯。 数据计算耗时3小时+,存储1TB+,消耗大量计算存储资源,同时严重影响SLA的稳定性。 预计算的大量历史数据实际使用率低下,实际工作中对历史的回溯80%集中在近1个月左右,但为了应对所有需求场景,业务要求计算近半年以上的历史。 不支持明细数据的查询。 引入MPP引擎,数据现用现算 历史数据预计算成本巨大,最好的办法就是现用现算,但现用现算需要强大的并行计算能力。 OLAP的实现有 MOLAP、ROLAP、HOLAP 三种形式。 MOLAP 以Cube为表现形式,但计算与管理成本较高。 ROLAP 需要强大的关系型DB引擎支撑。 长期以来,由于传统关系型DBMS的数据处理能力有限,所以ROLAP模式受到很大的局限性。随着分布式、并行化技术成熟应用,MPP引擎逐渐表现出强大的高吞吐、低时延计算能力,号称“亿级秒开”的引擎不在少数,ROLAP模式可以得到更好的延伸。单从业务实际应用考虑,性能在千万量级关联查询现场计算秒开的情况下,已经可以覆盖到很多应用场景,具备应用的可能性。例如:日数据量的ROLAP现场计算,周、月趋势的计算,以及明细数据的浏览都可以较好的应对。 MOLAP模式的劣势 应用层模型复杂,根据业务需要以及Kylin生产需要,还要做较多模型预处理。这样在不同的业务场景中,模型的利用率也比较低。 Kylin配置过程繁琐,需要配置模型设计,并配合适当的“剪枝”策略,以实现计算成本与查询效率的平衡。 由于MOLAP不支持明细数据的查询,在“汇总+明细”的应用场景中,明细数据需要同步到DBMS引擎来响应交互,增加了生产的运维成本。 较多的预处理伴随着较高的生产成本。 ROLAP模式的优势 应用层模型设计简化,将数据固定在一个稳定的数据粒度即可。比如商家粒度的星形模型,同时复用率也比较高。 App层的业务表达可以通过视图进行封装,减少了数据冗余,同时提高了应用的灵活性,降低了运维成本。 同时支持“汇总+明细”。 模型轻量标准化,极大的降低了生产成本。 综上所述,在变化维、非预设维、细粒度统计的应用场景下,使用MPP引擎驱动的ROLAP模式,可以简化模型设计,减少预计算的代价,并通过强大的实时计算能力,可以支撑良好的实时交互体验。 双引擎下的应用场景适配问题 架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景 技术权衡 MOLAP:通过预计算,提供稳定的切片数据,实现多次查询一次计算,减轻了查询时的计算压力,保证了查询的稳定性,是“空间换时间”的最佳路径。实现了基于Bitmap的去重算法,支持在不同维度下去重指标的实时统计,效率较高。 ROLAP:基于实时的大规模并行计算,对集群的要求较高。 MPP引擎的核心是通过将数据分散,以实现CPU、IO、内存资源的分布,来提升并行计算能力。在当前数据存储以磁盘为主的情况下,数据Scan需要的较大的磁盘IO,以及并行导致的高CPU,仍然是资源的短板。因此,高频的大规模汇总统计,并发能力将面临较大挑战,这取决于集群硬件方面的并行计算能力。传统去重算法需要大量计算资源,实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经支持Bitmap算法,配合预计算可以很好地解决去重应用场景。 MOLAP: 当业务分析维度相对固化,并在可以使用历史状态时,按照时间进行增量生产,加工成本呈线性增长状态,数据加工到更粗的粒度(如组织单元),减少结果数据量,提高交互效率。如上图所示,由A模型预计算到B模型,使用Kylin是一个不错的选择。 ROLAP: 当业务分析维度灵活多变或者特定到最新的状态时(如上图A模型中,始终使用最新的商家组织归属查看历史),预计算回溯历史数据成本巨大。在这种场景下,将数据稳定在商家的粒度,通过现场计算进行历史数据的回溯分析,实现现用现算,可以节省掉预计算的巨大成本,并带来较大的应用灵活性。这种情况下适合MPP引擎支撑下的ROLAP生产模式。 MPP引擎的选型 目前开源的比较受关注的OLAP引擎很多,比如 Greenplum、Apache Impala、Presto、Doris、ClickHouse、Druid、TiDB 等等,但缺乏实践案例的介绍,所以我们也没有太多的经验可以借鉴。于是,我们就结合自身业务的需求,从引擎建设成本出发,并立足于公司技术生态融合、集成、易用性等维度进行综合考虑,作为选型依据,最终我们平台部门选择了2018年刚进入Apache社区的Doris。 参考 https://tech.meituan.com/2020/04/09/doris-in-meituan-waimai.html

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册