首页 文章 精选 留言 我的

精选列表

搜索[规划能力]，共10005篇文章
优秀的个人博客,低调大师

阿里云迁移规划

自2017年阿里云落地了数据中台和业务中台的架构后，“中台”这一概念很快成为了许多企业数字化转型的技术评定标杆。一时间咨询公司的DT蓝图充斥着“中台化”、“大中台、小前台”，似乎脱离了这些描述，报告就不够高大上；相较而言，很多AIOPS的科技公司明明具备了中台化技术，但习惯用技术语言去表达，比如“客制化SPL语句模板”就明显LOW很多。 鉴于阿里云已经有自己的大数据产品了，“中台化”在很多情况下只是将本地数据迁移到阿里云，然后通过阿里云的GUI工具做客制化数据调取模板。顺着这一思路，首先我们把企业数据分为结构化数据（如Oracle，MySQL中的数据）、非结构化数据（如文本、图片、视频、音频）以及半结构化数据（如Log文件、XML文件、JSON文件），然后将这些数据集成到云端，这一阶段主要涉及数据的获取、转置和治理。 对于不同的数据，数据集成方式也有所不同。譬如离线数据，首先我们从数据库、本地文件或OSS对象存储中获取数据，然后进行数据清理工作将失实、重复、格式错误的数据删除；接下来对数据做前期探索分析（EDA），包括分析与建模，在这一过程中，元数据被打上名称型（Nominal）或序数型（Ordinal），间隔型（Interval）或比例性（Ratio）的标签，以便之后做完整分析，例如名称型/序数型标签通常用作统计分类，而间隔性/比例型标签通常用作统计数据。最后是数据入库，对接BI工具。 数据流通常通过Agent获取，包括应用程序、系统内置工具以及传感器，然后进入转置缓存通道，譬如一些常见的消息总线如Kafka，RabbitMQ，接下来是流处理程序，常见的有Storm、Samza、Storm和Flink（可参看本座之前写的介绍文章，这里就无法传送了），最后入库。 最后是实时数据，根据系统需要，上两类数据都可能要求很强的实时性以支持即时搜索或即时报表功能。 我们以离线数据为例，如下图，RDS中存放着企业的结构化数据，OSS中存储着非结构化或半结构化的数据。这些数据的元数据会转移到阿里云的Table Store中，主数据会记录在基于MaxCompute的对应RDS和OSS数据库中，应用层是基于负载均衡并能自动扩展的ECS集群以保障服务的高可用。 既然说到这了，那就来说说阿里云的MaxCompute，它其实是一个基于项目（Project）的存储引擎，或者说是一个面向存储对象的集成开发环境，犹如软件研发的集成开发环境Eclipse，或大数据分析的集成开发环境Jupyter。它也有非常丰富的命令行，例如使用tunnel命令就可以将数据下载到本地或上传到MaxCompute。 相较于命令行，这个IDE的亮点在于它的图形界面--Dataworks，在这个界面中，可以非常方便的创建云端RDS/OSS数据库，以及到源数据的连接。 在阿里云的架构中，不同的区域对应有不同的MaxCompute IP，因此在数据迁移时需要开放，根据创建时的站点选择，需要开放以下目标IP，包括说迁移完成后，数据需要对外发布服务的话，同样需要开放对应IP列表（篇幅有限就不一一列举了）。*中国东部1(杭州) 100.64.0.0/8,11.193.102.0/24,11.193.215.0/24,11.194.110.0/24,11.194.73.0/24,118.31.157.0/24,47.97.53.0/24,11.196.23.0/24,47.99.12.0/24,47.99.13.0/24,114.55.197.0/24,11.197.246.0/24,11.197.247.0/24中国东部2(上海) 11.193.109.0/24,11.193.252.0/24,47.101.107.0/24,47.100.129.0/24,106.15.14.0/24,10.117.28.203,10.117.39.238,10.143.32.0/24,10.152.69.0/24,10.153.136.0/24,10.27.63.15,10.27.63.38,10.27.63.41,10.27.63.60,10.46.64.81,10.46.67.156,11.192.97.0/24,11.192.98.0/24,11.193.102.0/24,11.218.89.0/24,11.218.96.0/24,11.219.217.0/24,11.219.218.0/24,11.219.219.0/24,11.219.233.0/24,11.219.234.0/24,118.178.142.154,118.178.56.228,118.178.59.233,118.178.84.74,120.27.160.26,120.27.160.81,121.43.110.160,121.43.112.137,100.64.0.0/8* 在数据迁移前，我们还能修改目标的对应字段，或添加新的字段。 导入OSS的步骤与RDS基本相同，同样是向导式操作，只是没有行列对应，需要手动定义正则以识别日志中的IP信息、时间、事件等信息。 采集上来之后，根据应用的需要，开发客制化的查询结果端口，以提高数据调用效率，这也就是中台化的本质啦~当然有不同意见的施主欢迎拍砖。
2019-07-27
优秀的个人博客,低调大师

云HBase集群的规划

概述 在服务客户的时候，经常会被问到，我该选择什么配置的HBase呢？今天我们就来好好谈谈这个问题，希望能说清楚 基本架构 目前云HBase的基本架构为：从架构图中，可以看出Master是主备的，且不存任何业务数据的；core节点至少2台，第一个节点为了节约节点，部署了一个zk，Core节点可以一直添加到100或者500个节点左右。 Master节点选择 Master节点的规格：2cpu4g起步，主要看集群的规格。参考以下的配置 core的规模 master选择 <=4台 2cpu4g 4台 4cpu8g 10 8cpu16g 20 16cpu32g 50 16cpu64g Core节点选择 core阶段选择：4cpu8g起步，最大32cpu128g以1KB为准： QPS core的个数及选择 0 ~ 1w 2台 4cpu8g 1w ~ 10w >=2
2018-04-16
优秀的个人博客,低调大师

2016年的几点规划

明天就要开始新的一年正式的上班了，回想一下过去的2015年，对于自己来说，虽然有不少的收获和成长，但还是令自己比较不满意的。由于某些原因，自己的学习进度以及工作情况都受到了很大的影响，并没有达到年初的期望。不过，至少没有浑浑噩噩的一年又一年，也算不错了。^_^ 工作学习方面： 大数据 公司业务的增长让以前的架构达到了瓶颈。大数据技术的引入对于我自己来说算是离开了舒适区。从hadoop、flume、kafka到storm等等都是一个崭新的领域。虽然从本质上来看，大数据和普通的程序是没啥区别的。但是牵扯到分布式，各种需要考虑的东西也就多了起来，也就引出了一个个强大的软件。15年基本上完成了公司的lambda架构，16年需要做的是完善、优化已有的，而需要考虑引入的则包括elasticsearch、spark等大数据技术。 数据挖掘 大数据是服务于数据统计的，而数据统计的最终目的一方面是指导市场运营的工作，更重要的一点则是服务于数据挖掘。目前接触的主要是怎样构建用户画像，从而形成一个良好的推荐机制，为用户推荐更多感兴趣的运营内容。15年，完成了用户画像以及初版的推荐机制；16年，需要做的是进一步验证已有系统的效果，考虑引入更好、更成熟的方案，此外在文本内容打标签、分类等方面也需要实现成熟的机器学习方案。 基础平台 借鉴已有开源框架，实现了公司的dao框架、redis操作框架、java ee应用性能检测框架、分布式调度框架等。16年需要继续升级基础平台。 值得一提的是，公司代码版本管理使用的gitbucket，自己在此之上做了不少二次开发，有些提交给了原项目，有些则是仅仅为了应对公司的需求。鉴于此，也接触到了scala的开发，不得不说，scala的学习曲线确实很陡，16年争取要能掌握并熟练运用此语言。 Github 在github上写代码，一方面可以提高自己的编码水平，毕竟质量太差的代码，你也怕拿出来丢人；另一方面，github上那么多优秀的项目，只做拿来党是很可耻的，一些好的东西，分享出来帮助更多的同行给自己带来的成就感反过来也能督促自己技术的提升。15年自己开发或者基于原项目二次开发了一些star较多的项目。16年要坚持在github继续贡献更多好的代码。 技术分享 在去年的研发招聘过程中，尤其是校招，感受到了目前后端工程师教育的匮乏。对于一个后端工程师的技术体系，先不说学生，不少工作很长时间的人都没有一个清晰的认识。于是自己萌生了写一本后端工程师技术体系书籍的想法，希望能够给选择后端这个方向的人一些指导。到目前为止也写了一些，希望16年至少能出一个初稿。 此外，自己在开发者头条的《后端技术杂谈》专栏，会继续分享自己的技术感悟和总结。一方面，增人玫瑰，手有余香；更重要的一点还是能够督促自己多总结，多思考。 工作学习之外： 今年最大的一点感受：不管其他如何，健康才是一个人最最重要的东西。尤其是对于天天坐在电脑面前的程序员们来说，保持健康就是保证最大的竞争力。 原文出处：后端技术杂谈 原文链接 转载请与作者联系，同时请务必标明文章原始出处和原文链接及本声明。
2018-02-08

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册