搜索[镜像无法拉取]结果-低调大师优秀个人博客

精选列表

搜索[镜像无法拉取]，共10000篇文章

手把手教你使用Python爬取西刺代理数据（下篇）

/1 前言/ 前几天小编发布了手把手教你使用Python爬取西次代理数据（上篇）,图片描述木有赶上车的小伙伴，可以戳进去看看。今天小编带大家进行网页结构的分析以及网页数据的提取，具体步骤如下。

2020-04-28

手把手教你使用Python爬取西刺代理数据（上篇）

/3 反爬虫措施/ 本文主要内容为使用 Python 对该网站数据进行爬取，其中爬虫主要利用 requests 库，下面先针对反爬虫措施进行简介。

2020-04-26

Python爬虫入门教程 2-100 妹子图网站爬取

输入域名->下载源代码->分析图片路径->下载图片上面就是他的步骤输入域名我们今天要爬的网站叫做 http://www.meizitu.com/a/pure.html 为啥爬取这个网站

2019-04-08

用Python爬取某东商品信息并可视化

可是对于业余爬虫而言，更快的爬取，并不是那么的重要。首先在电脑的PyCharm上安装selenium，然后下载与电脑上谷歌浏览器相对应版本的ChromeDriver。

2018-10-28

Python爬虫-爬取贴吧中每个帖子内的楼主图片

import urllib.request from lxml import etree def loadPage(url): """ 作用：根据url发送请求，获取服务器响应文件 url: 需要爬取的

2018-10-17

DIYPA（自爬） - 产品级别的智能云爬取系统简介

实现人人可做爬虫工程师的理想方案图DIYPA创造性的将爬虫工作分为两阶段：标记和爬取。标记阶段/工具标记工具用Javascript开发而成。

2018-09-02

从爬取的文章 HTML 中提取出中文关键字

CoreStopWordDictionary.shouldInclude(term); } } 完整工程源代码： https://github.com/KotlinSpringBoot/saber 附：完整爬取各大著名技术站点的博客文章的源代码

2018-05-29

Python网络爬虫之爬取网页的含义和URL基本构成

图2 爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对爬取的数据进行进一步的处理。因此，准确地理解URL对理解网络爬虫至关重要。资料参考python爬虫入门教程

2018-01-08

详解Python 采用 requests + Beautiful Soup 爬取房天下新楼盘推荐

最近一直在关注Python写爬虫相关的知识，尝试了采用requests + Beautiful Soup来爬取房天下（原搜房网）的推荐新楼盘。

2018-01-07

使用代码查看Nutch爬取的网站后生成的SequenceFile信息

必须针对data文件中的value类型来使用对应的类来查看(把这个data文件,放到了本地Windows的D盘根目录下). 代码: 1 package cn.summerchill.nutch; 2 import java.io.IOException; 3 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.fs.FileSystem; 6 import org.apache.hadoop.fs.Path; 7 import org.apache.hadoop.io.SequenceFile; 8 import org.apache.hadoop.io.Text; 9 import org.apache.nutch.crawl.CrawlDatum; 10 import org.apache.nutch.crawl.Inlinks; 11 import org.apache.nutch.parse.ParseData; 12 import org.apache.nutch.parse.ParseText; 13 import org.apache.nutch.protocol.Content; 14 /** 15 * 读取nutch生成的sequencefile文件 16 * @author Administrator 17 * 18 */ 19 public class SeFileReader { 20 public static void main(String[] args) throws IOException { 21 Configuration conf=new Configuration(); 22 Path dataPath=new Path("D:\\data"); 23 FileSystem fs=dataPath.getFileSystem(conf); 24 SequenceFile.Reader reader=new SequenceFile.Reader(fs,dataPath,conf); 25 Text key=new Text(); 26 CrawlDatum value=new CrawlDatum(); 27 //Content value = new Content(); 28 //Inlinks value = new Inlinks(); 29 //ParseText value = new ParseText(); 30 //ParseData value = new ParseData(); 31 while(reader.next(key,value)){ 32 System.out.println("key->\n"+key); 33 System.err.println("value->\n"+value); 34 try { 35 Thread.sleep(1000); 36 } catch (InterruptedException e) { 37 e.printStackTrace(); 38 } 39 System.out.println("======================================="); 40 } 41 reader.close(); 42 } 43 } 运行结果: key-> http://bbs.superwu.cn/ value-> Version: 7 Status: 2 (db_fetched) Fetch time: Tue Nov 08 08:31:30 CST 2016 Modified time: Thu Jan 01 08:00:00 CST 1970 Retries since fetch: 0 Retry interval: 2592000 seconds (30 days) Score: 1.6153846 Signature: 22defcd7cb4e7b1dc8a16a0a2f339ecb Metadata: Content-Type=application/xhtml+xml _pst_=success(1), lastModified=0 _rs_=610 ======================================= value-> Version: 7 Status: 1 (db_unfetched) Fetch time: Sun Oct 09 08:31:35 CST 2016 Modified time: Thu Jan 01 08:00:00 CST 1970 Retries since fetch: 0 Retry interval: 2592000 seconds (30 days) Score: 0.23076925 Signature: null Metadata: key-> http://bbs.superwu.cn/archiver/ ======================================= key-> http://bbs.superwu.cn/forum.php value-> Version: 7 Status: 1 (db_unfetched) Fetch time: Sun Oct 09 08:31:35 CST 2016 Modified time: Thu Jan 01 08:00:00 CST 1970 Retries since fetch: 0 Retry interval: 2592000 seconds (30 days) Score: 0.15384616 Signature: null Metadata: ======================================= 本文转自SummerChill博客园博客，原文链接：http://www.cnblogs.com/DreamDrive/p/5944073.html，如需转载请自行联系原作者

2017-11-12

日光之下无新事：一切皆文件

Unix 革命建立在一个核心原则之上：一切皆文件。如今，随着 AI 智能体（Agents）的兴起，大语言模型（LLMs）得以接触半个世纪以来基于文件的那些深奥知识。结果如何？一切正再次回归于文件。作者：Glauber Costa 原文：turso.tech/blog/nothing-new-under-the-sun 转自：https://weibo.com/2194035935/QnmFpbeBp（微博：蚁工厂） ---------------------------------- 我第一次接触电脑是在 11 岁那年。那时我有一台运行着 MS-DOS 5.2 和 Windows 3.1 的旧 PC，主要用来玩游戏。不过，让如今身为专业人士的我（30 年后）感到欣慰的是，在那个年代光是玩游戏就需要了解 x86 的内存分段机制。那是一段有趣的时光，但我甚至不把那视为引我走向编程的“入门毒药”。真正让我上瘾的是后来遇到的东西：Unix。直到高中一年级我才发现了 Linux。上了大学后，我的兴趣真正被点燃了。很快，我就全身心地投入到了 Unix 的历史中，并且会找任何借口去把玩那台停放在材料系里的 SPARC Solaris 工作站。如果没有 Unix，我们就不会有今天的成就。如果你未曾经历过那个旧时代，可能很容易低估 Unix 的重要性。除了 C 语言这个“副作用”之外，Unix 还给了世界两样东西： “先发布（Ship it）”的理念：Unix 引入了 man 手册（man pages）来记录工具的局限性，而不是为了追求完美而推迟发布。 “一切皆文件”的抽象，以及用管道（pipes）将工具粘合在一起的概念。文件的力量当我把无聊的朋友都换成 Unix 狂热信徒后（我喜欢这样讲这个故事——其实真相是他们都不理我了，因为我总是喋喋不休地谈论 Unix），我不断听到这句话：“sed awk cut grep is all you need（你只需要 sed、awk、cut 和 grep）”。这是一个美丽的抽象概念。半个世纪后的今天，它听起来显而易见（就像大多数伟大的想法一样），但在当时，这绝非显而易见。每个程序都能理解文件。它们可以写入文件，也可以从文件读取。这意味着突然之间，你在整个系统中拥有了一个统一的接口。这是一个所有人共同遵守的契约，确保每一个应用程序都能消费其他任何应用程序的结果。这个简单的抽象——文件，让另一个强大的 Unix 原则得以实现：“做一件事，并把它做好（Do one thing, and one thing well）。” 每个工具不必构建成一个庞大的应用程序，而是可以高度专业化。它们之所以能做到这一点，是因为它们都在通过文件输入和输出工作结果。这引发了可能性的组合爆炸，而这一切都通过文件契约发生。这里写几个字节，那里读几个字节，再用管道将它们粘合在一起。人们通常理解的文件是存储设备中的东西，比如 PDF 或电子表格文档。但文件之所以如此强大，是因为它们是一个非常简单的抽象：一组可以被读取和写入的字节集合。很快，Unix 世界里到处都是虚拟文件。最终，在 Unix 世界里，甚至网络连接也可以被表示为文件。超越 Unix Linux 将这一概念推向了极致。Linux 有一个 /proc 虚拟文件系统，包含关于内核的各种信息，而你读取这些信息的方式是……读取虚拟文件。（proc 文件系统在最初的 Unix 中就已存在，但正如其名，它主要包含关于运行进程的简单信息）。还有一个 /sys 虚拟文件系统，你可以从中获取关于设备驱动程序和硬件系统的各种信息。而你与它交互的方式，你猜对了，还是读写文件。我们在这一基础之上构建了我们的世界。后来，我们在其他层面上（比如 API）看到了类似的契约，但文件依然无处不在。即使在基于 API 的系统中，文件仍然被用于配置系统、存储代码、提供资源等。复用性至关重要快进到 AI 时代，有一件事变得清晰起来：大语言模型（LLM）虽然不错、整洁且可爱，但光靠它们带你去不了任何地方。真正解锁 AI 潜力的关键是智能体（Agents）——这不过是“在大语言模型使用工具外层套了个 for 循环”的花哨说法。事实证明，LLM 非常、非常擅长使用那些伴随 Unix 存在了半个世纪的工具。这些工具通过文件抽象完美地组合在一起。在 Unix 的半个世纪里，我们已经为每一个能想到的工作积累了相应的工具。由于智能体本质上就是文本流的推动者，它们非常擅长使用这些工具。当然，我们可以重建一切。我们可以给智能体提供“智能体原生”的专用工具。但这将意味着把我们在这个漫长过程中积累的所有资本投入虚空……仅仅为了换取微不足道的收益。我们在电源插头的形状上没有这样做，SQL 也依然占据统治地位（尽管每个开发人员似乎都认为自己知道如何做得更好）。现代、更丰富的文件系统相反，智能体将会拥抱文件系统。这已经在发生了，像 Claude Code 这样的工具正严重依赖它，而且这种趋势还会加剧。然而，这并不意味着文件系统将保持不变。行业中目前有两个特定趋势正以文件系统的形式施加压力。第一是 TypeScript 和基于浏览器的环境正作为智能体的部署载体而流行。浏览器并没有一种简单的方法可以接入标准文件系统，而基于 TypeScript 的智能体通常部署在临时环境（ephemeral environments）中，在那里面文件系统并非理所当然的存在。这是因为这些平台演变为提供类似函数的环境，通过网络连接数据库来满足数据需求。第二是沙盒（Sandbox）作为隔离智能体工作负载的首选方式正在兴起。沙盒将虚拟化环境提升到了一个新的水平。环境需要在毫秒级上线，因为智能体会生成子智能体去探索解决方案空间。将传统文件系统附加到这些沙盒上，对于它们所需的运行速度来说实在是太慢了。有两个试图解决这个问题的有趣工具值得一提。第一个是 Vercel 的 just-bash。该工具为用 TypeScript 编写的智能体提供了一个模拟的类 bash 环境，允许智能体像在普通 Unix shell 中一样使用工具，无论它们在哪里执行： import { Bash } from "just-bash"; const env = new Bash(); await env.exec('echo "Hello" > greeting.txt'); const result = await env.exec("cat greeting.txt"); console.log(result.stdout); // "Hello\n" console.log(result.exitCode); // 0 console.log(result.env); // Final environment after execution 第二个是我们自己的 AgentFS，这是一个将整个文件系统映射到 SQLite 文件的工具。文件系统可以在智能体之间隔离（更改会被捕获到文件中，而不损害原始文件系统）。这确保了：a) 智能体只能访问它应该访问的上下文部分；b) 它可以自由地操作资产，因为它知道更改是非破坏性的。 SQLite 文件可以被沙盒复制或部分复制，并在智能体执行时即时可用。这支持了快照（snapshotting）（即智能体可以保存自己的状态，执行一步操作，如果犯错则回滚到之前的文件），以及在智能体组之间共享状态。结论周而复始，循环往复。当我们周围的世界发生剧变时，有一件事不会改变：我们在前人的基础上构建，若要从头重建则后果自负。Unix 革命给了我们文件抽象，半个世纪以来，我们一直建立在它之上。对于 AI 智能体而言，问题将是：我们要利用过去 50 年编写的所有工具的巨大潜力，还是重建一切？答案正变得显而易见。

2026-01-16

🔥无代码流程引擎 FlowLong 飞龙 1.2.0 发布

开源地址：https://gitee.com/aizuda/flowlong 开源地址：https://github.com/aizuda/flowlong 官网文档：https://flowlong.aizuda.com 支持全流程操作监听，仅 8 张表实现整个流程引擎（更符合中国人的思维模式设计），截至当前近 300 家企业自用登记接入使用。300 多家企业包括，国家计算中心，电信等国企已上车，你还在等什么呢？ Flowlong 1.2.0 主要更新内容 feat: 新增不删除流程历史仅删除流程定义方法 opt: 任务参与者表task_actor字段extend修改为ext避免SqlParser解析异常 opt: 优化条件判断 spel 表达式支持 long 类型 opt: 优化驳回跳转执行对象设置传递新的任务列表 opt: 优化条件参数获取节点传递 opt: 优化全局变量追加该版本更新注意事项：数据库表 flw_task_actor ，flw_his_task_actor 字段 extends 修改为 ext 解决 SqlParser 解析问题可视化流程审批效果如下：

2025-11-13

🔥无代码流程引擎 FlowLong 飞龙 1.1.19 发布

开源地址：https://gitee.com/aizuda/flowlong 开源地址：https://github.com/aizuda/flowlong 官网文档：https://flowlong.aizuda.com 支持全流程操作监听，仅 8 张表实现整个流程引擎（更符合中国人的思维模式设计），截至当前近 300 家企业自用登记接入使用。300 多家企业包括，国家计算中心，电信等国企已上车，你还在等什么呢？ Flowlong 1.1.19 主要更新内容 feat: 新增兼容模型设计错误导致非票签权重误存 feat: 新增并发发起测试用例 opt: 优化自动跳过测试用例 opt: 优化任务对象克隆设置 opt: 优化支持参数map值为null情况 opt: 优化超时提醒时间判断及兼容错误配置 opt: 优化设置自动拒绝类型区分 opt: 优化放宽流程唤醒方法执行条件 opt: 优化完善会签拿回测试用例 fixed: 修复子流程追加流程实例ID导致获取判断异常问题 fixed: 修复嵌套多重包容分支下一个节点获取失效问题可视化流程审批效果如下：

2025-10-27

🔥无代码流程引擎 FlowLong 飞龙 1.1.18 发布

开源地址：https://gitee.com/aizuda/flowlong 开源地址：https://github.com/aizuda/flowlong 官网文档：https://flowlong.aizuda.com 支持全流程操作监听，仅 8 张表实现整个流程引擎（更符合中国人的思维模式设计），截至当前近 300 家企业自用登记接入使用。300 多家企业包括，国家计算中心，电信等国企已上车，你还在等什么呢？ Flowlong 1.1.18 主要更新内容 feat: 新增支持流程审批完成情况撤销 feat: 新增支持执行任务参数传递子流程 opt: 优化跳转触发器执行逻辑 opt: 优化支持拿回多分支任务情况 opt: 优化实例保存计算结束时间问题 opt: 优化唤醒逻辑根据模型重新创建任务 fixed: 修复跳转普通节点任务类型设置问题 fixed: 修复并行分支包容分支加签异常问题 fixed: 修复并行分支下的主干节点加签问题 fixed: 修复rejectJump重新审批回到上一个节点策略失效问题可视化流程审批效果如下：

2025-10-19

🔥无代码流程引擎 FlowLong 飞龙 1.1.17 发布

开源地址：https://gitee.com/aizuda/flowlong 开源地址：https://github.com/aizuda/flowlong 官网文档：https://flowlong.aizuda.com 支持全流程操作监听，仅 8 张表实现整个流程引擎（更符合中国人的思维模式设计），截至当前近 300 家企业自用登记接入使用。300 多家企业包括，国家计算中心，电信等国企已上车，你还在等什么呢？开源登记使用名单如下，企业版用户暂不公开 https://gitee.com/aizuda/flowlong/issues/IB5K4V Flowlong 1.1.17 主要亮点 feat: 新增支持节点跳入跳出至触发器 feat: 新增支持嵌套条件路由前置加签 opt: 优化允许发起人撤回审批为草稿状态 opt: 优化增强拿回逻辑错误断言 opt: 优化调整通知查询任务逻辑条件 opt: 优化注释修改更新任务ID通知任务对象获取方式 fixed: 修复 issues/ICW7I7 会签参数历史任务传递 bug 开源版本具备企业版所有功能（除了可视化），企业版可视化部分界面展示如下：

2025-09-16

🔥无代码流程引擎 FlowLong 飞龙 1.1.16 发布

开源地址：https://gitee.com/aizuda/flowlong 开源地址：https://github.com/aizuda/flowlong 官网文档：https://flowlong.aizuda.com 支持全流程操作监听，仅 8 张表实现整个流程引擎（更符合中国人的思维模式设计），截至当前近 300 家企业自用登记接入使用。300 多家企业包括，国家计算中心，电信等国企已上车，你还在等什么呢？开源登记使用名单如下，企业版用户暂不公开 https://gitee.com/aizuda/flowlong/issues/IB5K4V Flowlong 1.1.16 主要亮点 feat: 新增支持最大任务提醒次数 feat: 新增任务参与者实体类转换为流程创建者方法 feat: 新增任务分配事件拆分为代理委派转办事件 feat: 新增模型判断检测指定成员审批（未配置处理人员）节点信息 opt: 执行任务支持归档参数至历史任务 opt: SQL脚本字段注释内容补充 fixed: 修复超时自动审批设置为自动结束时不触发事件问题开源版本具备企业版所有功能（除了可视化），企业版可视化部分界面展示如下：

2025-08-18

领域数据视图化和无代码设计原理

前言本文主要讨论了问卷业务抽象和数据视图化表达在问卷设计中的重要性。通过分析问卷领域特性和设计原理，提出了问题消解复杂性、题型物料化和渲染统一等设计框架，以实现高效、灵活的问卷平台。最终目的是为问卷设计、数据收集和分析提供有益的启示和指导，提高问卷调查的效率和准确性。文内项目Github：XIAOJUSURVEY 作者：skique 发表于：前端早读课背景我们深知问卷调查在各个领域中的重要性以及传统问卷调查方法的局限性。因此，有必要开发一种高效、灵活的问卷平台，以满足不同用户的需求，并提高问卷调查的效率和准确性。为了更好地满足调研需求，提高数据收集、分析和表达的效率，本文将从业务抽象、数据视图化表达等方面出发，分析问卷领域的特性，探讨设计一套满足问卷领域搭建方案的架构。我们希望通过本文的讨论，为问卷平台的设计与开发提供一些有益的启示和指导。问卷业务抽象这还要从问卷业务抽象开始说起，设计问卷的目的是为了回收数据，而回收数据则是为了提供数据支持进行分析。问卷通常需要经历几个阶段，包括设计、发布、投放、回收和分析。为了更好地理解和处理问卷调查的相关业务，我们可以将问卷领域拆分为三个子领域，分别是问卷设计域、问卷回收域和问卷分析域。问卷设计域负责创建问卷并发布问卷，回收域负责收集数据，分析域负责对收集到的数据进行统计分析和洞察。在整个过程中，数据的流动是核心，从设计到回收再到分析，数据始终贯穿其中，为用户提供重要的信息和决策依据。业务视角到技术视角的映射，将主体聚焦到数据，设计域关注的是问卷的数据的 schema 设计，回收领域关注的是数据的采集，分析领域关注的是数据的分析：抽象为三个方面： 1、数据的表达（模型设计）问卷的模型设计涉及到定义问题、选项、逻辑关系等信息的结构和格式，以确保问卷的完整性和准确性。通过设计合适的数据模型，我们能够清晰地描述问卷的结构和逻辑，为后续的数据采集和分析提供基础。 2、数据的流动（服务插拔）通过设计灵活的服务插拔机制，可以自定义引入敏感词过滤，问卷发布审批等安全插件，保证数据流动的安全合规性 3、数据的交互（界面设计）解决数据到界面的最后一公里，界面设计是一个产品的载体，因为产品最终是面向用户角色，如何让用户体验更好、用户体验贯穿业务核心流程，提高创编收发过程的整体效率综上所述，在问卷领域的整体业务抽象模型中，数据的交互是一个非常重要的方面，以下的讨论将聚焦在数据的交互上，即数据的视图化表达。数据的交互在数据流动图的基础上考虑以下两点： 1、谁操作数据的交互？ 2、通过何种方式操作数据的交互？数据的交互主要发生在设计域和回收域，面向调研者和调研对象分别引入搭建器和渲染器用于数据的交互。对问卷进一步抽象，题型的目的是为了高效率的收集数据，也就是题型是数据的模具，题型和数据的关系，好比杯子和水，杯子设计出来是为了盛水。所以问卷设计领域的搭建器是数据容器的工厂，题型是数据模具的表现形式，题型配置的是数据容器的约束方式，而问卷回收领域的渲染端的数据交互的核心是面向调研用户的的答题过程，才是真正盛满水的过程。问卷领域特性问卷结构解构问卷的组成：是由控件到题型到表单到问卷，一层一层扩展而来，其中控件是区分题型的关键要素，也就是说什么类型的控件对应什么类型的题型，是一一对应的关系。题型 = 标题 + 控件表单 = n 个题型，n >= 1 问卷 = 欢迎语 + n 个表单 + 提交按钮，不考虑分页的情况，n = 1 问卷配置解构按照作用方式分为两类： 1、定义界面显示，如显示序号、显示类型、显示分割线等、评分样式、引导提示文案 2、约束交互行为，如必填、输入限制、最多 / 最少选择、如必填、校验格式等等按照作用范围分为五类： 1、作用在控件上，如输入限制，最多选择引导提示文案 2、作用在题型上，如显示序号、显示类型、显示分割线等 3、作用在表单上，如必填，最少选择、内容格式校验 4、作用在问卷上，如答题时长、答题次数等等 5、还有一类作用在数据适配上静态的数据适配：在渲染器前进行的数据适配，如选项随机，选项分组等等动态的数据适配：需要在答题过程中，根据用户选择的答案动态响应的配置，如标题 / 选项引用、跳转逻辑、显示逻辑等问题是什么？题目是问卷最核心和基础的组成部分，而复杂繁多的调研目的要求问卷内容高度灵活，这对题型的多样性和可用性提出了极高的要求。分析实际使用，问卷搭建端和问卷渲染端既存在共通性也存在差异性，这在题型上呈现了类似于复杂笛卡尔积的结构。如何在数据视图化设计中管理三维笛卡尔积的复杂性呢？也许系统的混乱并非业务本身之复杂，而是我们并不擅长处理『简单』，如何 “化繁为简”？将目标系统按某个原则进行切分，切分的原则，是要便于不同的角色进行并行工作。通过合理的分解和抽象，使那些系统不再那么难懂。如何消解复杂性题型物料化为了保障预览实时性和渲染一致性，提升题型的多状态管理能力，并降低题型设计的复杂性和成本、提升题型扩展的灵活性，采用题型物料化的设计思路。抽离题型控件沉淀物料层，物料分层化设计：分类型抽离通用逻辑沉淀为基础物料，以降低具体业务逻辑对这些基础物料的依赖。不同题型物料基于相应类型的基础物料进行扩展，实现特定业务逻辑以做到题型隔离。渲染统一题型物料沉淀后由统一的题型组件提供搭建端和渲染端的题型渲染，那么如何满足不同场景下的题型侧重点呢？比如搭建端关注题型编排能力，渲染端关注题型填写选中和校验方面。搭建端通过组件切面设计：通过插槽机制，搭建端可自定义题型包裹组件以实现题型编排的辅助功能，避免侵入式对题型组件做出修改。渲染端通过构建渲染环境提供 form 组件包裹题型组件，在组件内管理了所有的表单项，即 fields 管理。实现了 addField 和 removeField 的方法，用于增加 / 删除表单项校验，通过 provide 将整个组件实例提供给题型组件，使得题型组件的有表单规则校验的能力。通过这种方式将题型的场景维度消解。配置管理在上述的物料化方案满足渲染统一后，怎么做配置管理呢？搭建端引入设置器满足题型编排配置修改的能力。渲染端引入题型 hooks 满足题型配置生效的能力，将各个题型配置解耦，抽象为相对集中的代码片段，Hooks 可以让我们组织更加内聚的逻辑单元。设计框架问卷物料设计如图所示，问卷维护的物料类型可以分为三类： 1、Component 题型组件 = 标题 + 题型控件，响应分发到题的配置变化，完成数据采集能力。 2、Setter 设置器，提供对题型组件的配置进行更改的能力。 3、Hooks 题型 hooks，对应渲染端响应题型配置的代码片段 or 函数功能，举个例子，搭建端开启选项分组这一配置，渲染器需要响应这一配置，在渲染页面时运行对应的选项分组函数。这三类物料之间是什么关系，通过什么关联起来？题型描述协议，即定义题型描述的数据结构，采用配置化方案约束该题型 schema 结构，单个 schema 字段关联的设置器以及题型 hooks 函数。搭建器设计通过上面的问卷物料设计，我们维护一系列题型的物料集合，这些物料如何流入到搭建器？通过配置资源描述协议，这份协议规定了该搭建器加载哪些题型，可供组件面板选择。可用于题型画布搭建渲染。每个物料关联了设置器，加载并渲染设置器，设置器提供对题型配置修改和更新的能力。渲染器设计渲染器的核心是题型渲染和题型配置响应，问卷平台的题型可配置功能既然是对多个题型整体生效，是否我们可以引入渲染环境这个概念，渲染端题型功能交互依赖于渲染环境，渲染环境解析 schema，提供对题型整体关系的管理，实现如下功能：统一的数据适配器，实现如题目序号、选项随机、默认选中第一项等功能动态的视图数据处理，如标题引用、选项引用、显示逻辑、跳转逻辑等功能。基于交互变化动态加工数据渲染器提供渲染环境，解析 schema，将 schema 配置分发到渲染环境 (实现) or 分发到题，加载对应的题型和对应的题型 hooks，渲染答题页面。写在最后关于题型组件、设置器组件、题型 hooks 和题型描述协议以及资源描述协议的详细设计，后期会陆续推出相关文章更具体的论述，本文只做统领性的探讨，可通过github项目官方群一起交流讨论。关于我们感谢看到最后，我们是一个多元、包容的社区，我们已有非常多的小伙伴在共建，欢迎你的加入。 Github：XIAOJUSURVEY Star 开源不易，请star 一下 ❤️❤️❤️，你的支持是我们最大的动力。

2024-09-24

无鱼 v2.0.0 发布，项目工时系统

无鱼 v2.0.0 已经发布，项目工时系统。更新内容增加了周报模块可按周填写工时，以及在项目统计中，查看周报内容。修复了其他一些bug。

2024-07-27

无鱼 v1.0.0 发布，项目工时系统

无鱼 v1.0.0 已经发布，项目工时系统。 v1.0.0: 1、增加了归档功能，可按部门进行每月归档默认关闭，需要在工时设置中进行开启。 2、优化了日报填报后的状态显示问题。

2023-12-31

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

本文尝试分享下以最小方式（单机、容器化 Spark、Hadoop、Nebula Graph），快速趟一下 Nebula Exchange 中 SST 写入方式的步骤。本文适用于 v2.5 以上版本的 Nebula- Exchange。原文链接：国外访问：https://siwei.io/nebula-exchange-sst-2.x/ 国内访问：https://cn.siwei.io/nebula-exchange-sst-2.x/ 什么是 Nebula Exchange？之前我在 Nebula Data Import Options 之中介绍过，Nebula Exchange 是一个 Nebula Graph 社区开源的 Spark Applicaiton，它专门用来支持批量或者流式地把数据导入 Nebula Graph Database 之中。 Nebula Exchange 支持多种多样的数据源（从 Apache Parquet、ORC、JSON、CSV、HBase、Hive MaxCompute 到 Neo4j、MySQL、ClickHouse，再有 Kafka、Pulsar，更多的数据源也在不断增加之中）。如上图所示，在 Exchange 内部，从除了不同 Reader 可以读取不同数据源之外，在数据经过 Processor 处理之后通过 Writer写入（sink） Nebula Graph 图数据库的时候，除了走正常的 ServerBaseWriter 的写入流程之外，它还可以绕过整个写入流程，利用 Spark 的计算能力并行生成底层 RocksDB 的 SST 文件，从而实现超高性能的数据导入，这个 SST 文件导入的场景就是本文带大家上手熟悉的部分。详细信息请参阅：Nebula Graph 手册:什么是 Nebula Exchange Nebula Graph 官方博客也有更多 Nebula Exchange 的实践文章步骤概观实验环境配置 Exchange 生成 SST 文件写入 SST 文件到 Nebula Graph 实验环境准备为了最小化使用 Nebula Exchange 的 SST 功能，我们需要：搭建一个 Nebula Graph 集群，创建导入数据的 Schema，我们选择使用 Docker-Compose 方式、利用 Nebula-Up 快速部署，并简单修改其网络，以方便同样容器化的 Exchange 程序对其访问。搭建容器化的 Spark 运行环境搭建容器化的 HDFS 1. 搭建 Nebula Graph 集群借助于 Nebula-Up 我们可以在 Linux 环境下一键部署一套 Nebula Graph 集群： curl -fsSL nebula-up.siwei.io/install.sh | bash 待部署成功之后，我们需要对环境做一些修改，这里我做的修改其实就是两点：只保留一个 metaD 服务起用 Docker 的外部网络详细修改的部分参考附录一应用 docker-compose 的修改： cd ~/.nebula-up/nebula-docker-compose vim docker-compose.yaml # 参考附录一 docker network create nebula-net # 需要创建外部网络 docker-compose up -d --remove-orphans 之后，我们来创建要测试的图空间，并创建图的 Schema，为此，我们可以利用 nebula-console ，同样，Nebula-Up 里自带了容器化的 nebula-console。进入 Nebula-Console 所在的容器 ~/.nebula-up/console.sh / # 在 console 容器里发起链接到图数据库，其中 192.168.x.y 是我所在的 Linux VM 的第一个网卡地址，请换成您的 / # nebula-console -addr 192.168.x.y -port 9669 -user root -p password [INFO] connection pool is initialized successfully Welcome to Nebula Graph! 创建图空间（我们起名字叫 sst ），以及 schema create space sst(partition_num=5,replica_factor=1,vid_type=fixed_string(32)); :sleep 20 use sst create tag player(name string, age int); 示例输出 (root@nebula) [(none)]> create space sst(partition_num=5,replica_factor=1,vid_type=fixed_string(32)); Execution succeeded (time spent 1468/1918 us) (root@nebula) [(none)]> :sleep 20 (root@nebula) [(none)]> use sst Execution succeeded (time spent 1253/1566 us) Wed, 18 Aug 2021 08:18:13 UTC (root@nebula) [sst]> create tag player(name string, age int); Execution succeeded (time spent 1312/1735 us) Wed, 18 Aug 2021 08:18:23 UTC 2. 搭建容器化的 Spark 环境利用 big data europe 做的工作，这个过程非常容易。值得注意的是：现在的 Nebula Exchange 对 Spark 的版本有要求，在现在的 2021 年 8 月，我是用了 spark-2.4.5-hadoop-2.7 的版本。为了方便，我让 Spark 运行在 Nebula Graph 相同的机器上，并且指定了运行在同一个 Docker 网络下 docker run --name spark-master --network nebula-net \ -h spark-master -e ENABLE_INIT_DAEMON=false -d \ bde2020/spark-master:2.4.5-hadoop2.7 然后，我们就可以进入到环境中了： docker exec -it spark-master bash 进到 Spark 容器中之后，可以像这样安装 maven: export MAVEN_VERSION=3.5.4 export MAVEN_HOME=/usr/lib/mvn export PATH=$MAVEN_HOME/bin:$PATH wget http://archive.apache.org/dist/maven/maven-3/$MAVEN_VERSION/binaries/apache-maven-$MAVEN_VERSION-bin.tar.gz && \ tar -zxvf apache-maven-$MAVEN_VERSION-bin.tar.gz && \ rm apache-maven-$MAVEN_VERSION-bin.tar.gz && \ mv apache-maven-$MAVEN_VERSION /usr/lib/mvn 还可以这样在容器里下载 nebula-exchange 的 jar 包： cd ~ wget https://repo1.maven.org/maven2/com/vesoft/nebula-exchange/2.1.0/nebula-exchange-2.1.0.jar 3. 搭建容器化的 HDFS 同样借助 big-data-euroupe 的工作，这非常简单，不过我们要做一点修改，让它的 docker-compose.yml 文件里使用 nebula-net 这个之前创建的 Docker 网络。详细修改的部分参考附录二 git clone https://github.com/big-data-europe/docker-hadoop.git cd docker-hadoop vim docker-compose.yml docker-compose up -d 配置 Exchange 这个配置主要填入的信息就是 Nebula Graph 集群本身和将要写入数据的 Space Name，以及数据源相关的配置（这里我们用 csv 作为例子），最后再配置输出（sink）为 sst Nebula Graph GraphD 地址 MetaD 地址 credential Space Name 数据源 source: csv path fields etc. ink: sst 详细的配置参考附录二注意，这里 metaD 的地址可以这样获取，可以看到 0.0.0.0:49377->9559 表示 49377 是外部的地址。 $ docker ps | grep meta 887740c15750 vesoft/nebula-metad:v2.0.0 "./bin/nebula-metad …" 6 hours ago Up 6 hours (healthy) 9560/tcp, 0.0.0.0:49377->9559/tcp, :::49377->9559/tcp, 0.0.0.0:49376->19559/tcp, :::49376->19559/tcp, 0.0.0.0:49375->19560/tcp, :::49375->19560/tcp nebula-docker-compose_metad0_1 生成 SST 文件 1. 准备源文件、配置文件 docker cp exchange-sst.conf spark-master:/root/ docker cp player.csv spark-master:/root/ 其中 player.csv 的例子： 1100,Tim Duncan,42 1101,Tony Parker,36 1102,LaMarcus Aldridge,33 1103,Rudy Gay,32 1104,Marco Belinelli,32 1105,Danny Green,31 1106,Kyle Anderson,25 1107,Aron Baynes,32 1108,Boris Diaw,36 1109,Tiago Splitter,34 1110,Cory Joseph,27 1111,David West,38 2. 执行 exchange 程序进入 spark-master 容器，提交执行 exchange 应用。 docker exec -it spark-master bash cd /root/ /spark/bin/spark-submit --master local \ --class com.vesoft.nebula.exchange.Exchange nebula-exchange-2.1.0.jar\ -c exchange-sst.conf 检查执行结果： spark-submit 输出： 21/08/17 03:37:43 INFO TaskSetManager: Finished task 31.0 in stage 2.0 (TID 33) in 1093 ms on localhost (executor driver) (32/32) 21/08/17 03:37:43 INFO TaskSchedulerImpl: Removed TaskSet 2.0, whose tasks have all completed, from pool 21/08/17 03:37:43 INFO DAGScheduler: ResultStage 2 (foreachPartition at VerticesProcessor.scala:179) finished in 22.336 s 21/08/17 03:37:43 INFO DAGScheduler: Job 1 finished: foreachPartition at VerticesProcessor.scala:179, took 22.500639 s 21/08/17 03:37:43 INFO Exchange$: SST-Import: failure.player: 0 21/08/17 03:37:43 WARN Exchange$: Edge is not defined 21/08/17 03:37:43 INFO SparkUI: Stopped Spark web UI at http://spark-master:4040 21/08/17 03:37:43 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 验证 HDFS 上生成的 SST 文件： docker exec -it namenode /bin/bash root@2db58903fb53:/# hdfs dfs -ls /sst Found 10 items drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/1 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/10 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/2 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/3 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/4 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/5 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/6 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/7 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/8 drwxr-xr-x - root supergroup 0 2021-08-17 03:37 /sst/9 写入 SST 到 Nebula Graph 这里的操作实际上都是参考文档：SST 导入，得来。其中就是从 console 之中执行了两步操作： Download Ingest 其中 Download 实际上是触发 Nebula Graph 从服务端发起 HDFS Client 的 download，获取 HDFS 上的 SST 文件，然后放到 storageD 能访问的本地路径下，这里，需要我们在服务端部署 HDFS 的依赖。因为我们是最小实践，我就偷懒手动做了这个 Download 的操作。 1. 手动下载这里边手动下载我们就要知道 Nebula Graph 服务端下载的路径，实际上是 /data/storage/nebula/<space_id>/download/，这里的 Space ID 需要手动获取一下：这个例子里，我们的 Space Name 是 sst，而 Space ID 是 49。 (root@nebula) [sst]> DESC space sst +----+-------+------------------+----------------+---------+------------+--------------------+-------------+-----------+ | ID | Name | Partition Number | Replica Factor | Charset | Collate | Vid Type | Atomic Edge | Group | +----+-------+------------------+----------------+---------+------------+--------------------+-------------+-----------+ | 49 | "sst" | 10 | 1 | "utf8" | "utf8_bin" | "FIXED_STRING(32)" | "false" | "default" | +----+-------+------------------+----------------+---------+------------+--------------------+-------------+-----------+ 于是，下边的操作就是手动把 SST 文件从 HDFS 之中 get 下来，再拷贝到 storageD 之中。 docker exec -it namenode /bin/bash $ hdfs dfs -get /sst /sst exit docker cp namenode:/sst . docker exec -it nebula-docker-compose_storaged0_1 mkdir -p /data/storage/nebula/49/download/ docker exec -it nebula-docker-compose_storaged1_1 mkdir -p /data/storage/nebula/49/download/ docker exec -it nebula-docker-compose_storaged2_1 mkdir -p /data/storage/nebula/49/download/ docker cp sst nebula-docker-compose_storaged0_1:/data/storage/nebula/49/download/ docker cp sst nebula-docker-compose_storaged1_1:/data/storage/nebula/49/download/ docker cp sst nebula-docker-compose_storaged2_1:/data/storage/nebula/49/download/ 2. SST 文件导入进入 Nebula-Console 所在的容器 ~/.nebula-up/console.sh / # 在 console 容器里发起链接到图数据库，其中 192.168.x.y 是我所在的 Linux VM 的第一个网卡地址，请换成您的 / # nebula-console -addr 192.168.x.y -port 9669 -user root -p password [INFO] connection pool is initialized successfully Welcome to Nebula Graph! 执行 INGEST 开始让 StorageD 读取 SST 文件 (root@nebula) [(none)]> use sst (root@nebula) [sst]> INGEST; 我们可以用如下方法实时查看 Nebula Graph 服务端的日志 tail -f ~/.nebula-up/nebula-docker-compose/logs/*/* 成功的 INGEST 日志： I0817 08:03:28.611877 169 EventListner.h:96] Ingest external SST file: column family default, the external file path /data/storage/nebula/49/download/8/8-6.sst, the internal file path /data/storage/nebula/49/data/000023.sst, the properties of the table: # data blocks=1; # entries=1; # deletions=0; # merge operands=0; # range deletions=0; raw key size=48; raw average key size=48.000000; raw value size=40; raw average value size=40.000000; data block size=75; index block size (user-key? 0, delta-value? 0)=66; filter block size=0; (estimated) table size=141; filter policy name=N/A; prefix extractor name=nullptr; column family ID=N/A; column family name=N/A; comparator name=leveldb.BytewiseComparator; merge operator name=nullptr; property collectors names=[]; SST file compression algo=Snappy; SST file compression options=window_bits=-14; level=32767; strategy=0; max_dict_bytes=0; zstd_max_train_bytes=0; enabled=0; ; creation time=0; time stamp of earliest key=0; file creation time=0; E0817 08:03:28.611912 169 StorageHttpIngestHandler.cpp:63] SSTFile ingest successfully 附录附录一 docker-compose.yaml diff --git a/docker-compose.yaml b/docker-compose.yaml index 48854de..cfeaedb 100644 --- a/docker-compose.yaml +++ b/docker-compose.yaml @@ -6,11 +6,13 @@ services: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --local_ip=metad0 - --ws_ip=metad0 - --port=9559 - --ws_http_port=19559 + - --ws_storage_http_port=19779 - --data_path=/data/meta - --log_dir=/logs - --v=0 @@ -34,81 +36,14 @@ services: cap_add: - SYS_PTRACE - metad1: - image: vesoft/nebula-metad:v2.0.0 - environment: - USER: root - TZ: "${TZ}" - command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 - - --local_ip=metad1 - - --ws_ip=metad1 - - --port=9559 - - --ws_http_port=19559 - - --data_path=/data/meta - - --log_dir=/logs - - --v=0 - - --minloglevel=0 - healthcheck: - test: ["CMD", "curl", "-sf", "http://metad1:19559/status"] - interval: 30s - timeout: 10s - retries: 3 - start_period: 20s - ports: - - 9559 - - 19559 - - 19560 - volumes: - - ./data/meta1:/data/meta - - ./logs/meta1:/logs - networks: - - nebula-net - restart: on-failure - cap_add: - - SYS_PTRACE - - metad2: - image: vesoft/nebula-metad:v2.0.0 - environment: - USER: root - TZ: "${TZ}" - command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 - - --local_ip=metad2 - - --ws_ip=metad2 - - --port=9559 - - --ws_http_port=19559 - - --data_path=/data/meta - - --log_dir=/logs - - --v=0 - - --minloglevel=0 - healthcheck: - test: ["CMD", "curl", "-sf", "http://metad2:19559/status"] - interval: 30s - timeout: 10s - retries: 3 - start_period: 20s - ports: - - 9559 - - 19559 - - 19560 - volumes: - - ./data/meta2:/data/meta - - ./logs/meta2:/logs - networks: - - nebula-net - restart: on-failure - cap_add: - - SYS_PTRACE - storaged0: image: vesoft/nebula-storaged:v2.0.0 environment: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --local_ip=storaged0 - --ws_ip=storaged0 - --port=9779 @@ -119,8 +54,8 @@ services: - --minloglevel=0 depends_on: - metad0 - - metad1 - - metad2 healthcheck: test: ["CMD", "curl", "-sf", "http://storaged0:19779/status"] interval: 30s @@ -146,7 +81,7 @@ services: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --local_ip=storaged1 - --ws_ip=storaged1 - --port=9779 @@ -157,8 +92,8 @@ services: - --minloglevel=0 depends_on: - metad0 - - metad1 - - metad2 healthcheck: test: ["CMD", "curl", "-sf", "http://storaged1:19779/status"] interval: 30s @@ -184,7 +119,7 @@ services: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --local_ip=storaged2 - --ws_ip=storaged2 - --port=9779 @@ -195,8 +130,8 @@ services: - --minloglevel=0 depends_on: - metad0 - - metad1 - - metad2 healthcheck: test: ["CMD", "curl", "-sf", "http://storaged2:19779/status"] interval: 30s @@ -222,17 +157,19 @@ services: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --port=9669 - --ws_ip=graphd - --ws_http_port=19669 + - --ws_meta_http_port=19559 - --log_dir=/logs - --v=0 - --minloglevel=0 depends_on: - metad0 - - metad1 - - metad2 healthcheck: test: ["CMD", "curl", "-sf", "http://graphd:19669/status"] interval: 30s @@ -257,17 +194,19 @@ services: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --port=9669 - --ws_ip=graphd1 - --ws_http_port=19669 + - --ws_meta_http_port=19559 - --log_dir=/logs - --v=0 - --minloglevel=0 depends_on: - metad0 - - metad1 - - metad2 healthcheck: test: ["CMD", "curl", "-sf", "http://graphd1:19669/status"] interval: 30s @@ -292,17 +231,21 @@ services: USER: root TZ: "${TZ}" command: - - --meta_server_addrs=metad0:9559,metad1:9559,metad2:9559 + - --meta_server_addrs=metad0:9559 - --port=9669 - --ws_ip=graphd2 - --ws_http_port=19669 + - --ws_meta_http_port=19559 - --log_dir=/logs - --v=0 - --minloglevel=0 + - --storage_client_timeout_ms=60000 + - --local_config=true depends_on: - metad0 - - metad1 - - metad2 healthcheck: test: ["CMD", "curl", "-sf", "http://graphd2:19669/status"] interval: 30s @@ -323,3 +266,4 @@ services: networks: nebula-net: + external: true 附录二 https://github.com/big-data-europe/docker-hadoop 的 docker-compose.yml diff --git a/docker-compose.yml b/docker-compose.yml index ed40dc6..66ff1f4 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -14,6 +14,8 @@ services: - CLUSTER_NAME=test env_file: - ./hadoop.env + networks: + - nebula-net datanode: image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8 @@ -25,6 +27,8 @@ services: SERVICE_PRECONDITION: "namenode:9870" env_file: - ./hadoop.env + networks: + - nebula-net resourcemanager: image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8 @@ -34,6 +38,8 @@ services: SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864" env_file: - ./hadoop.env + networks: + - nebula-net nodemanager1: image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8 @@ -43,6 +49,8 @@ services: SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088" env_file: - ./hadoop.env + networks: + - nebula-net historyserver: image: bde2020/hadoop-historyserver:2.0.0-hadoop3.2.1-java8 @@ -54,8 +62,14 @@ services: - hadoop_historyserver:/hadoop/yarn/timeline env_file: - ./hadoop.env + networks: + - nebula-net volumes: hadoop_namenode: hadoop_datanode: hadoop_historyserver: + +networks: + nebula-net: + external: true 附录三 nebula-exchange-sst.conf { # Spark relation config spark: { app: { name: Nebula Exchange 2.1 } master:local driver: { cores: 1 maxResultSize: 1G } executor: { memory:1G } cores:{ max: 16 } } # Nebula Graph relation config nebula: { address:{ graph:["192.168.8.128:9669"] meta:["192.168.8.128:49377"] } user: root pswd: nebula space: sst # parameters for SST import, not required path:{ local:"/tmp" remote:"/sst" hdfs.namenode: "hdfs://192.168.8.128:9000" } # nebula client connection parameters connection { # socket connect & execute timeout, unit: millisecond timeout: 30000 } error: { # max number of failures, if the number of failures is bigger than max, then exit the application. max: 32 # failed import job will be recorded in output path output: /tmp/errors } # use google's RateLimiter to limit the requests send to NebulaGraph rate: { # the stable throughput of RateLimiter limit: 1024 # Acquires a permit from RateLimiter, unit: MILLISECONDS # if it can't be obtained within the specified timeout, then give up the request. timeout: 1000 } } # Processing tags # There are tag config examples for different dataSources. tags: [ # HDFS csv # Import mode is sst, just change type.sink to client if you want to use client import mode. { name: player type: { source: csv sink: sst } path: "file:///root/player.csv" # if your csv file has no header, then use _c0,_c1,_c2,.. to indicate fields fields: [_c1, _c2] nebula.fields: [name, age] vertex: { field:_c0 } separator: "," header: false batch: 256 partition: 32 } ] } 本文中如有任何错误或疏漏，欢迎去 GitHub：https://github.com/vesoft-inc/nebula issue 区向我们提 issue 或者前往官方论坛：https://discuss.nebula-graph.com.cn/ 的建议反馈分类下提建议 👏；交流图数据库技术？加入 Nebula 交流群请先填写下你的 Nebula 名片，Nebula 小助手会拉你进群~~

2022-03-03

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。