首页 文章 精选 留言 我的

精选列表

搜索[saas],共5798篇文章
优秀的个人博客,低调大师

一条数据从 SaaS 到 NAS 的旅程 - 零人工搬运,数据自己走进系统。

FDE实施纪实 上一期 [30块钱,搭起一套 1760 台电梯运营系统](https://mp.weixin.qq.com/s?__biz=MzIxNjM2NTU4NA==&mid=2247487150&idx=1&sn=577f84f44e21127e14a9dca094e4f364&scene=21#wechat_redirect) 有个一直悬着一个工程问题没解决:**数据在秒悟的云上,系统在飞牛的盘上,每天的数据怎么过去?** **最原始的办法是派人下载、上传。那是让人当数据的搬运工——而且人这个环节,正是第三期说的"转手必脏"里最不可靠的一环。** 我们的答案是:全自动,人不用碰。 --- **现在搞定了,每天凌晨 2 点,数据自己从秒悟走到飞牛。** --- 这一期,把这条链路完整讲一遍。 ### **一条数据的完整旅程:** ![](https://developer.qcloudimg.com/http-save/audit-7337940/694ac353ec46931f285889b8eb7813fb.webp) 整条链路四段,每天自动跑: **第一段,秒悟侧定时导出。**  每天北京时间凌晨 2 点,秒悟云端的定时任务自动醒来,从数据库里把"昨天以来变化过的数据"查出来,按项目、井道、电梯、日志、工单五张表各生成一个 CSV,装进一个 `data_日期` 文件夹。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/71a9a59c4bfe39f9fdcc372b17c12d8b.webp) **第二段,WebDAV 推送。**  云函数拿着这些文件,通过飞牛 FN Connect 暴露的 WebDAV 地址,HTTPS 直传进飞牛 NAS 的指定目录。公网传输,加密通道,不需要拉专线。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/c4ebc810ec764747c07328fe68b81798.webp) **第三段,飞牛侧落地。**  文件落在飞牛的 指定 目录下,一天一个文件夹,整齐排队。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/63e6a38d62b02c23b7d11d4a94c7aa4c.webp) **第四段,EMMCS 自动读取。**  指挥系统自己也醒着:每天到点自动扫描这个目录,把新文件夹里的 CSV 增量导入 PostgreSQL,导入成功记一笔,失败整批回滚并留痕。运营第二天早上打开界面,数据已经躺在库里了。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/39aae6bc3fe75cc2e68de9ca03280c04.webp) 真正实现从数据产生到入库,**人工环节为零**。 ### **秒悟侧:增量导出不靠人记** 这段最见功夫的,是"哪些数据该导"这个问题。 做法是记一本账:数据库里有一张 `db_export_log` 表,只记一个关键字段——`last_success_at`,上次成功导出的时刻。每次导出,就查所有"在这个时刻之后变化过"的记录。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/d6a1179a1c12dd8b6b48f8ea637a16d8.webp) 这里有三个细节值得说: **其一,增量条件用双保险。** 查询条件是 `updated_at 超过时刻` 或 `created_at 超过时刻`。新增的数据、修改过的字段、状态变更(工单关单、项目停用)、软删除,全都跑不掉。我们约定项目里不做物理删除,所以增量查询能覆盖全部变化场景。 **其二,失败不更新账本。**  导出成功了,才更新 `last_success_at`;上传失败了,账本不动,下次还从旧时刻查。这意味着网络抖一次、上传挂一次,**下一次自动重试,数据不会丢、也不会重**。自愈是设计出来的,不是祈祷出来的。 **其三,空表也导出。**  没有增量的表,也生成一个只含表头的 CSV。下游靠表头识别"这张表今天没数据",而不是面对一个空文件夹猜"是没数据还是没导出"。 **还有两个坑,踩过的人都懂:** **cron 是按 UTC 执行的**,想在北京时间凌晨 2 点跑,得配成 UTC 18:00;**文件夹名要按北京时间生成**,不然 UTC 日期比本地早 8 小时,文件夹名会差一天——上游下游对不上号,全链路卡死。 ### **WebDAV:三个坑,都写在状态码里** 传输通道走的是飞牛 的 WebDAV。这条路上有三个经典坑,每一个都有对应的 HTTP 状态码"指纹": **坑一:PUT 不能建目录。**  WebDAV 的 PUT 只能往已存在的目录里传文件,目录不存在就返回 403。所以上传前必须先用 MKCOL 方法把当天的日期目录建出来。早期版本没做这一步,天天 403,还以为是权限问题。 **坑二:中文路径要编码。** 飞牛的 WebDAV 路径里带一层中文目录("admin 共享给我"),不编码直接拼 URL,服务器返回 404——路径明明存在,就是找不到。编码之后就通了。 **坑三:"共享"不等于"权限"。**  飞牛里把文件夹"共享"给某个账号,和给账号配"成员权限",是两套机制。**WebDAV 只认成员权限**。只做了共享没做成员权限,上传照样 403。这个坑最隐蔽,因为界面上看一切都"像"是配好了。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/81b5e47203dd4fb7d064c09ed865d851.webp) 至于"能登录但根目录空白"这类怪现状,多半是可见文件夹范围没配:飞牛允许你精细控制 WebDAV 能看见哪些文件夹,没勾选的,根目录就是一片空白。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/18c19ac89f35d8af0bcaa03d2eaf574c.webp) ### **EMMCS 侧:自动读取的"昨天与今天"** 最后一公里在EMMCS系统这一侧。 EMMCS 以应用包形式跑在飞牛上,它的自动读取逻辑,核心是"今天与昨天"两个日期: ![](https://developer.qcloudimg.com/http-save/audit-7337940/c38572e60cfa9a2d8650847a96bc5364.webp) **红线一,只扫今天和昨天。**  系统每天到点自动触发,处理"今天"的文件夹(正常增量),外加"昨天"的文件夹(补漏:昨天失败了,今天自动重导一遍)。再早的历史失败不自动碰,避免日志被陈年旧账刷屏——真要追漏,界面上点一下"立即执行一次",全扫一遍,已成功的日子自动跳过。 **红线二,幂等是底线。** 每个日期文件夹导入前先查账:这天已经成功过?跳过。同一天重复触发、重复导入,结果不变。**可重放,是所有自动化的安全绳**。 **红线三,失败整批回滚。**  一个文件夹里 5 个 CSV,任何一个解析不了(缺列、字段错),当天整批回滚,记进 `auto_import_runs` 表,界面"最近自动导入日志"里直接显示失败原因——"文件缺失""无法解析 elevator_id=xxx"。脏数据不会半进半出地污染库。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/f51aace7c4205a62e45e3f1fe6cb713e.webp) **这里也有一个坑值得点名:** ***配置目录要填容器内路径,不能填宿主机路径****。* EMMCS 跑在容器里,填了宿主机的绝对路径,文件会写进容器的 overlay 孤儿层——界面看着导完了,下载接口 404,数据其实没落到挂载盘上。这类"看起来成功了"的假故障,比报错更危险。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/8887865f23fdfc2b18ca72f6e2f59bb8.webp) ### **全自动之后,人干什么** 链路跑通之后,人的角色变了:不再是搬运工,而是例外处理员——只有连续几天的失败、需要追历史漏账、或者上游表结构变更时,才需要人介入。日常状态下,这条链路安静地跑在凌晨,不出声就是好消息。 诚实地补一句边界: 1、物理删除的数据增量查询捕获不到(所以我们干脆约定不做物理删除); 2、小程序侧若改了表结构,契约不变的前提下映射层要跟着调; 3、导出与扫描的时间点最好错开半小时,给"文件传完"留出缓冲——这些是自动化的保修条款,不是缺陷。 **真实世界不生产干净数据,也不成全自动的童话。** 所谓数据自动化,是每一个环节都**可重放、可对账、可回滚**,人只在例外时刻出现。 **核心观点****:** 数据自动化不是"连上"就完事——秒悟侧靠账本记增量、失败不更新账本实现自愈;传输靠 WebDAV 但要迈过 MKCOL、中文编码、成员权限三个坑;飞牛侧靠"今天+昨天"调度、幂等跳过、整批回滚兜底;最终让人从事务性搬运里退出来,只做例外处理。 **重要的事:** 搞定这个事情不在于代码技术多牛逼,在于要熟悉上下游的业务需要和功能点,结合起来也能办大事。正是当代FDE要做的。 数据自动化搞定了,又没花钱。航母肯定是得花钱买的,实在不行坦克绑在船上也能干。完美实现降本(利旧)+增效(自动)。 ![](https://developer.qcloudimg.com/http-save/audit-7337940/82692df8e8007338a9a3483f18e589fc.webp) **你们公司的数据,现在还在靠人导出上传吗,有没有不花钱的方案?评论区聊聊。** **FDE实施纪实系列文章** **第一期 :**[30块钱,搭起一套 1760 台电梯运营系统](https://mp.weixin.qq.com/s?__biz=MzIxNjM2NTU4NA==&mid=2247487150&idx=1&sn=577f84f44e21127e14a9dca094e4f364&scene=21#wechat_redirect) **第二期:  **就是本期文章 #数据自动化 #电梯维保 #WebDAV #飞牛NAS #定时任务  #增量同步 #EMMCS #FDE实施纪实 #数据管道 #数字化转型

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码