更安全，更省心丨DolphinDB 数据库权限管理系统使用指南

2023-07-28 797

在数据库产品使用过程中，为保证数据不被窃取、不遭破坏，我们需要通过用户权限来限制用户对数据库、数据表、视图等功能的操作范围，以保证数据库安全性。为此，DolphinDB 提供了具备以下主要功能的权限管理系统：

提供用户和组角色，方便权限控制
提供19种权限控制类别，适应各种场景
丰富的权限控制函数
函数视图兼顾保护数据隐私与提供分析结果
对任务调度和流数据任务动态鉴权，保证系统安全
使用 RSA 对用户关键信息加密
支持 SSO，保证安全通信，方便系统扩展

DolphinDB 在 1.30.21 和 2.00.9 版本中对权限管理主要做了如下升级,使权限控制更加精确、完善和方便：

新增数据库层面权限类型：DB_READ、DB_WRITE、DB_UPDATE、DB_DELETE、DB_INSERT
将原本的 TABLE_WRITE 权限细分为 TABLE_INSERT、TABLE_UPDATE、TABLE_DELETE
新增用户内存限制权限类型：QUERY_RESULT_MEM_LIMIT、TASK_GROUP_MEM_LIMIT
支持在数据节点执行权限相关函数

1.角色

在未进行登录操作前，用户以 guest 身份访问 DolphinDB server，此时没有任何访问或操作数据库表的权限，也无法被赋予任何权限，需要执行 login 函数登录用户，具体的角色分类及创建用户方式等将在下述文章中介绍。

1.1 角色分类

1.1.1 用户和组

在权限管理系统中，DolphinDB 引入组的概念，便于对具有相同权限的用户进行权限配置和管理。

当权限管理需求发生变化，只需要修改一次组的权限，就可以应用于组内所有用户。

组的新成员可以获得组拥有的所有权限。

一个用户可以属于0，1或多个组，一个组里也可以包括0，1或多个用户。

用户和组都是权限的载体。我们可以赋予或禁止一个用户、一个组某项权限。用户最终的实际权限是用户本身的权限，加上所属组的权限的结果（详见3.1 用户和组权限确定规则）。

1.1.2 管理员和超级管理员

DolphinDB 将管理员分超级管理员（super admin）和普通管理员（admin）。

DolphinDB 集群第一次启动时，会自动创建用户名为 "admin"，密码为 "123456" 的超级管理员。此超级管理员初始时便拥有所有的权限，且无法被删除，其权限也无法被剥夺。

所有用户（包括超级管理员）都可以通过 changePwd 修改自己的密码，或者通过管理员 resetPwd 修改密码。

1.1.3 管理员和普通用户

除管理员以外的用户即为普通用户。

管理员可以通过 createUser 函数的 isAdmin 参数决定是否将创建的用户设置为管理员。

只有管理员可以创建、删除用户和组，赋予或禁止、撤销其他管理员，用户和组的权限，获取其他用户和组的相关信息。

只有管理员才能执行如下用户管理函数： resetPwd, createGroup, deleteGroup, createUser, deleteUser, addGroupMember, deleteGroupMember。

以下为超级管理员、管理员和普通用户的初始权限对照表：

	超级管理员	管理员	非管理员用户
是否需要手动创建	否	是	是
是否可以被删除	否	是	是
是否会被 getUserList 函数列出	否	是	是
是否有权创建和删除管理员、用户、组	是	是	否
是否有权赋予和禁止管理员、用户、组的权限	是	是	否
是否有权创建和删除函数视图	是	是	否
是否有权删除其他用户提交的任务	是	是	否
是否拥有所有类型的权限（权限类型介绍见 4. 权限类别）	是	否	否

1.2 角色管理

2.00.9 和 1.30.21 版本后角色管理函数可以在数据节点执行，之前版本只允许在控制节点操作。

1.2.1 管理用户

只有管理员可以创建用户：

login(`admin, "123456");//超级管理员登录
createUser("admin1","123456",,true)//创建普通管理员
login("admin1","123456")//普通管理员登录
createUser("user1","123456",,false)//普通管理员创建普通用户
createUser("user2","123456",,true)//普通管理员创建普通管理员

所有用户都可以修改自己的密码：

login("user1","123456")//登陆用户
changePwd("123456","123456@")//修改自己的密码
logout("user1")
login("user1","123456@")//修改密码成功

只有管理员可以修改其他用户的密码：

login("admin1","123456")//登陆管理员用户
resetPwd("user1","123456")//修改其他用户密码
login("user1","123456")//修改密码成功

只有管理员可以删除用户：

login("admin1","123456")//登陆管理员用户
deleteUser("user1")//删除用户
login("user1","123456")//用户删除成功
=> The user name or password is incorrect

1.2.2 管理组

只有管理员可以进行组的管理操作。

创建组：

createGroup("group1",["admin1"])

添加组成员：

addGroupMember(["user2"],"group1")

删除组成员：

deleteGroupMember(["user2"],"group1")

删除组：

deleteGroup("group1")

删除组将不会删除组内成员，但会回收组的权限，单独对成员限权的操作不变；添加成员到组里后，该用户的权限会发生变化，详细权限判定规则见 3.1 用户和组权限确定规则。

1.2.3 查看角色信息

getGroupList：返回所有组名列表，只能由管理员执行
getUsersByGroupId：返回属于指定组的用户，只能由管理员执行
getGroupsByUserId：返回用户所在的组，只能由管理员执行
getGroupAccess：返回组的权限，只能由管理员执行
getUserList：获取除管理员之外的所有用户名，只能由管理员执行
getUserAccess：返回指定用户所单独被赋予的权限，不包括用户所属组的权限。管理员可以查看所有用户的权限，普通用户只能查看自己的权限，没有指定 userId 时，返回当前登录用户的权限

具体用法请参考 DolphinDB 用户手册。

2.权限管理

用户可以使用 grant，deny 和 revoke 命令来赋予权限、禁止权限，以及撤销权限设置，对应的权限状态为 Allow，Deny 和 None。

2.00.9和1.30.21版本后权限管理函数操作可以在数据节点执行，之前版本只允许在控制节点操作。

grant命令：授予某个用户或某个用户组各类权限：

grant(`user2, DBOBJ_CREATE,"*") 
getUserAccess("user2")

revoke命令:撤销某个用户或某个组的之前被赋予或禁止的权限：

revoke(`user2, DBOBJ_CREATE,"*")
getUserAccess("user2")

deny命令:拒绝某个用户或某个组的权限：

deny(`user2, DBOBJ_CREATE,"*") 
getUserAccess("user2")

3. 权限确定规则

3.1 用户和组权限确定规则

将用户本身也视为一个特殊的组，用户本身的权限就是这个组的权限。用户的最终权限是其所属的所有组的权限共同决定的结果。组的存在简化了对用户权限的管理，与此同时也不免出现权限冲突的情况，以下为权限确定规则：

若用户在至少一组中被赋予某项权限，并且在其他组中没有禁止该项权限，则用户拥有该项权限
若用户在至少一组中被禁止某项权限，即使在其他组中被赋予该项权限，此用户的该项权限依然被禁止

例1：若用户只属于一个组，用户对某个权限的状态为 Deny，所在组对当前权限的状态为 Allow，则最终用户对该权限的状态为 Deny：

login("admin","123456")
createUser("user2","123456")
createGroup("group1",["user2"])
deny(`user2, DB_OWNER)//禁止 user2 拥有 DB_OWNER 权限
grant(`group1, DB_OWNER)//赋予 group1DB_OWNER 权限
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 没有 DB_OWNER 权限
=> <NoPrivilege>Not granted to create or delete databases

例2：若用户只属于一个组，用户对某个权限的状态为 None，所在组对当前权限的状态为 Allow，则最终用户对该权限的状态为 Allow：

login("admin","123456")
revoke(`user2, DB_OWNER)//撤销禁止 user2 的 DB_OWNER 权限
grant(`group1, DB_OWNER)//赋予 group1DB_OWNER 权限
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 拥有 DB_OWNER 权限

例3：若用户只属于一个组，用户对某个权限的状态为 None，所在组对当前权限的状态为 Deny，则最终用户对该权限的状态为 Deny：

login("admin","123456")
revoke(`user2, DB_OWNER)//撤销禁止 user2 的 DB_OWNER 权限
deny(`group1, DB_OWNER)//赋予 group1DB_OWNER 权限
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 没有 DB_OWNER 权限
=> <NoPrivilege>Not granted to create or delete databases

例4：若用户属于多个组，某个组对某个权限的状态为 Deny，其他组对当前权限的状态为 Allow，则最终用户对该权限的状态为 Deny：

login("admin","123456")
createGroup("group2",["user2"])
createGroup("group3",["user2"])
deny(`group1, DB_OWNER)
grant(`group2, DB_OWNER)
grant(`group3, DB_OWNER)
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 没有 DB_OWNER 权限
=> <NoPrivilege>Not granted to create or delete databases

例5：若用户属于多个组，某个组对某个权限的状态为 None，其他组对当前权限的状态为 Allow，则最终用户对该权限的状态为 Allow：

login("admin","123456")
revoke(`group1, DB_OWNER)
grant(`group2, DB_OWNER)
grant(`group3, DB_OWNER)
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 拥有 DB_OWNER 权限

例6：若用户属于多个组，某个组对某个权限的状态为 None，其他组对当前权限的状态为 Deny，则最终用户对该权限的状态为 Deny：

login("admin","123456")
revoke(`group1, DB_OWNER)
deny(`group2, DB_OWNER)
deny(`group3, DB_OWNER)
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 没有 DB_OWNER 权限
=> <NoPrivilege>Not granted to create or delete databases

例7：若用户所在的组被删除，则以用户本身被赋予的权限为准：

login("admin","123456")
createUser("user2","123456")
createGroup("group1",["user2"])
grant(`user2, DB_OWNER)//赋予 user2 DB_OWNER 权限
deny(`group1, DB_OWNER)//禁止 group1 DB_OWNER 权限
deleteGroup(`group1)//删除 group1
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 拥有 DB_OWNER 权限
----------------------------------------------------------------
login("admin","123456")
createGroup("group1",["user2"])
revoke(`user2, DB_OWNER)//回收 user2 DB_OWNER 权限
grant(`group1, DB_OWNER)//赋予 group1 DB_OWNER 权限
deleteGroup(`group1)//删除 group1
login("user2","123456")
database("dfs://test",VALUE,1..10)//user2 没有 DB_OWNER权限

3.2 数据库表权限确定规则

权限作用的对象范围从大到小可以分为：全局(*)，数据库，表。

以下为库表级权限确定规则：

先小范围赋予/撤销/禁止权限，再大范围操作权限，此时小范围权限失效，会被大范围的权限覆盖
先大范围 allow, 再小范围 deny，此时 deny 操作生效，allow 权限覆盖的除 deny 以外的范围依旧是 allow
先大范围 allow, 再小范围 revoke，此时 revoke 操作无效，allow 权限覆盖的范围依旧是 allow
先大范围 deny, 再小范围 revoke，此时 revoke 操作无效，deny 权限覆盖的范围依旧是 deny
先大范围 deny, 再小范围 grant ， 1.30.21和2.00.9版本前 grant 可以生效，deny 权限覆盖的除 grant 以外的范围依旧是 deny， 1.30.21 和 2.00.9 版本后不支持此操作
先大范围 revoke, 再小范围操作权限，此时小范围权限操作生效

例1：对用户 user1 deny 表级的 TABLE_READ 权限，然后 grant 全局 TABLE_READ 权限，此时 user1 拥有所有表的 TABLE_READ 权限:

login("admin", "123456")
createUser("user1","123456")
dbName = "dfs://test"
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
t = table(1..10 as id , rand(100, 10) as val)
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt.append!(t)

deny("user1", TABLE_READ, dbName+"/pt")
grant("user1", TABLE_READ, "*")

login("user1", "123456")
select * from loadTable(dbName, "pt")//user1 获得读 "dfs://test"的权限

例2：对用户 user2 grant 表级的 TABLE_READ 权限，然后 deny 全局 TABLE_READ 权限，此时 user2 被禁止所有表的 TABLE_READ权限:

login("admin", "123456")
createUser("user2","123456")
dbName = "dfs://test"
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
t = table(1..10 as id , rand(100, 10) as val)
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt.append!(t)

grant("user2", TABLE_READ, dbName+"/pt")
deny("user2", TABLE_READ, "*")

login("user2", "123456")
select * from loadTable(dbName, "pt")//user2 被禁止读 "dfs://test"

例3：对用户 user3 grant 表级的 TABLE_READ 权限，然后 revoke 全局 TABLE_READ 权限，此时 user3 被回收所有表的 TABLE_READ 权限：

login("admin", "123456")
createUser("user3","123456")
dbName = "dfs://test"
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
t = table(1..10 as id , rand(100, 10) as val)
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt.append!(t)

grant("user3", TABLE_READ, dbName+"/pt")
revoke("user3", TABLE_READ, "*")
login("user3", "123456")
select * from loadTable(dbName, "pt")//user 被撤回读 "dfs://test" 的权限

例4：先对用户 user1 grant 全局的 TABLE_READ 权限，然后 deny "dfs://test/pt" 表 TABLE_READ 权限，此时 user1 拥有除 "dfs://test/pt" 表外所有表的 TABLE_READ 权限：

login("admin", "123456")
createUser("user1","123456")
dbName = "dfs://test"
t = table(1..10 as id , rand(100, 10) as val)
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt.append!(t)
grant("user1", TABLE_READ, "*")
deny("user1", TABLE_READ, dbName+"/pt")

login("user1", "123456")
select * from loadTable(dbName, "pt")//user1被禁止读"dfs://test/pt"

例5：先对用户 user1 grant 全局的 TABLE_READ 权限，然后 revoke "dfs://test/pt" 表 TABLE_READ 权限，此时 user1 仍然拥有所有表的 TABLE_READ 权限：

login("admin", "123456")
createUser("user1","123456")
dbName = "dfs://test"
t = table(1..10 as id , rand(100, 10) as val)
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt.append!(t)
grant("user1", TABLE_READ, "*")
revoke("user1", TABLE_READ, dbName+"/pt")

login("user1", "123456")
select * from loadTable(dbName, "pt")//user1 有读 "dfs://test/pt" 的权限

例6：先对用户 user1 deny 全局的 TABLE_READ 权限，然后 revoke "dfs://test/pt" 表 TABLE_READ 权限，此时 user1 仍然被拒绝所有表的 TABLE_READ 权限：

login("admin", "123456")
createUser("user1","123456")
dbName = "dfs://test"
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
t = table(1..10 as id , rand(100, 10) as val)
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt.append!(t)

deny("user1", TABLE_READ, "*")
revoke("user1", TABLE_READ, dbName+"/pt")

getUserAccess("user1")//TABLE_READ 依旧是 deny

例7：先对用户 user1 deny 全局的 TABLE_READ 权限，然后 grant "dfs://test/pt" 表 TABLE_READ 权限，1.30.21 和 2.00.9版本前，此时 user1 被赋予读 "dfs://test/pt" 表的权限，被拒绝其他所有表的 TABLE_READ 权限，而新版本则在执行 grant 的时候抛出异常：

login("admin", "123456")
createUser("user1","123456")
dbName = "dfs://test"
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
t = table(1..10 as id , rand(100, 10) as val)
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id")
pt1=  db.createPartitionedTable(t, "pt1", "id")
pt.append!(t)
pt1.append!(t)

deny("user1", TABLE_READ, "*")
//新版本中执行grant报错 'Invalid grant: grant [dfs://test/pt] and [deny *] are in conflict'
grant("user1", TABLE_READ, dbName+"/pt")
login("user1", "123456")
select * from loadTable(dbName, "pt")//老版本有读 dbName+"/pt" 的权限
select * from loadTable(dbName, "pt1")//老版本没有读其他表的权限

3.2 权限确定规则兼容性

1.30.21 和 2.00.9 版本前，如果某个用户对两张不同表分别 grant 和 deny 相同的表层面权限（TABLE_READ 或 TABLE_WRITE），升级到新版本后该用户会拥有除 deny 的表以外所有表的该权限。举例如下：

1.30.21 和 2.00.9 版本以前，使用 grant`` 命令赋予或使用 deny`` 命令禁用用户 'user1'不同表对象的 TABLE_READ 权限后，'user1' 将只有 "dfs://valuedb/pt1" 表的读权限：

login("admin","123456")
createUser("user1","123456")
grant("user1",TABLE_READ,"dfs://valuedb/pt1")
deny("user1",TABLE_READ,"dfs://valuedb/pt2")

升级到新版本后，user1 拥有 "dfs://valuedb" 库中除 pt2 以外所有表的读权限, 等同于执行：

grant("user1",TABLE_READ,"dfs://valuedb/*")
deny("user1",TABLE_READ,"dfs://valuedb/pt2")

4. 权限类别

1.30.21 和 2.00.9 版本新增权限 DB_READ, DB_WRITE, DB_INSERT,DB_UPDATE, DB_DELETE, TABLE_INSERT, TABLE_UPDATE, TABLE_DELETE。

4.1 库级权限类别

DB_MANAGE：1.30.21 和 2.00.9 版本之前，可以创建以及删除数据库，可删除任何人所建数据库，包括具有 DB_OWNER 权限之用户所建数据库；1.30.21和 2.00.9 版本之后不能创建数据库，只能删除数据库
DB_OWNER：创建数据库并管理其创建的数据库，包括删除数据库、创建或删除数据表、增加或删除分区、可赋予、禁止或取消其他用户对自己创建的数据库的以下权限：TABLE_READ, TABLE_WRITE, TABLE_INSERT, TABLE_UPDATE, TABLE_DELETE, DBOBJ_CREATE, DBOBJ_DELETE, DB_READ, DB_WRITE, DB_INSERT, DB_UPDATE, DB_DELETE
DBOBJ_CREATE：允许在数据库中建表
DBOBJ_DELETE：允许在数据库中删除表
DB_WRITE：允许写数据库所有表，包含表的增删改权限
DB_INSERT：允许追加数据到某库所有表
DB_UPDATE：允许更新某库所有表的数据
DB_DELETE：允许删除某库所有表的数据
DB_READ：允许读某库所有表

4.2 表级权限类别

TABLE_WRITE：允许增删改所有/指定数据表
TABLE_READ：允许读取所有/指定数据表
TABLE_INSERT：允许追加数据到指定表
TABLE_UPDATE：允许更新指定表的数据
TABLE_DELETE：允许删除指定表的数据

4.3 其他权限类别

VIEW_EXEC：视图执行权限
SCRIPT_EXEC：脚本执行权限
TEST_EXEC：测试脚本执行权限
QUERY_RESULT_MEM_LIMIT：限制用户的查询内存大小
TASK_GROUP_MEM_LIMI：限制用户发送的批量子查询占用的内存大小

4.4 权限类别兼容性

1.30.21 和 2.00.9 版本前创建的用户，如果只拥有 DB_MANAGE 权限而没有 DB_OWNER 权限，升级到新版本就无法创建库,需要重新赋予 DB_OWNER 权限。
1.30.21 和 2.00.9 版本前创建的用户，如果被赋予 TABLE_WRITE 权限，升级到新版本后将同时拥有 TABLE_INSERT, TABLE_UPDATE, TABLE_DELETE 权限。

1.30.21 和 2.00.9 版本起，accessType=DB_OWNER 时 grant / deny / revoke 命令中的 objs 若作用于库必须以"*"结尾，表示指定某个 dbName 的前缀范围：

login("admin", "123456")
createUser("user1","123456")
grant("user1", DB_OWNER,"*")//用户拥有所有数据库的 DB_OWNER 权限
grant("user1", DB_OWNER,"dfs://test0*")//用户拥有以 "dfs://test0" 为前缀的数据库 DB_OWNER 权限

1.30.21 和 2.00.9 版本起，accessType=DB_MANAGE 时，使用 grant / deny / revoke 命令需确保 objs 中指定的数据库已存在,否则将报错：

login("admin", "123456")
createUser("user1","123456")
grant("user1", DB_MANAGE,"dfs://test0") => The database [dfs://test0]  does not exist
grant("user1", DB_MANAGE, ["dfs://db1","dfs://db2"]) => The database [dfs://db1]  does not exist

4.5 权限回收

表级别的权限在指定表或用户删除的时候回收，库级别的权限在指定库或用户删除的时候回收，DB_OWNER 权限只在用户和该用户下所有库都删除的时候回收。

当权限操作的访问对象为共享内存表、流数据引擎时，权限不会因 server 重启或共享内存表、流数据引擎的删除而回收。当再次创建同名共享内存表、流数据引擎并对其进行访问控制时，对用户的权限操作依然生效。

例1： "user1" 拥有 "dfs://valuedb/pt" 表的 TABLE_READ 权限，删除 "dfs://valuedb/pt" 表后重新创建，user1 用户的 TABLE_READ 权限被回收：

login("admin", "123456")
dbName = "dfs://valuedb"
t = table(1..10 as id , rand(100, 10) as val)
if(existsDatabase(dbName)){
        dropDatabase(dbName)
} 
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id").append!(t)

createUser("user1","123456")
grant("user1", TABLE_READ,"dfs://valuedb/pt")
login("user1", "123456")
select * from loadTable( "dfs://valuedb",`pt)//此时user1 拥有"dfs://valuedb/pt"表的TABLE_READ权限
login("admin", "123456")
dropTable(db,`pt)
pt=  db.createPartitionedTable(t, "pt", "id").append!(t)
login("user1", "123456")
select * from loadTable( "dfs://valuedb",`pt)//user1用户的TABLE_READ权限被回收

例2： "user1" 拥有 "dfs://valuedb" 库的 DB_MANAGE 权限，删除 "dfs://valuedb" 库后重新创建，user1 用户的 DB_MANAGE 权限被回收：

login("admin", "123456")
dbName = "dfs://valuedb"
t = table(1..10 as id , rand(100, 10) as val)
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id").append!(t)

createUser("user1","123456")
grant("user1", DB_MANAGE,"dfs://valuedb")
getUserAccess("user1")

此时 user1 拥有 "dfs://valuedb" 库的 DB_MANAGE 权限。

login("admin", "123456")
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "id").append!(t)
getUserAccess("user1")

此时 user1 用户的 DB_MANAGE 权限被回收。

例3： "u1" 用户拥有流表 "trades"、"output1" 和流引擎 "agg1" 的读写权限：

login(`admin, `123456)
createUser(`u1, "111111");
enableTableShareAndPersistence(streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]),`trades)
share streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as  output1
agg1 = createTimeSeriesEngine(name="agg1", windowSize=600, step=600, metrics=<[sum(volume)]>, dummyTable=trades, outputTable=output1, timeColumn=`time, useSystemTime=false, keyColumn=`sym, garbageSize=50, useWindowStartTime=false)
grant("u1", TABLE_READ, "agg1")
grant("u1", TABLE_WRITE, "agg1")
grant("u1", TABLE_READ, "trades")
grant("u1", TABLE_WRITE, "trades")
grant("u1", TABLE_READ, "output1")
grant("u1", TABLE_WRITE, "output1")
getUserAccess(`u1)

重启或删除并创建同名流表 "trades"、"output1" 和流引擎 "agg1"，此时三个对象都没有访问控制，任何用户可以对其进行读写：

login(`admin, `123456)
enableTableShareAndPersistence(streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]),`trades)
share streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as  output1
agg1 = createTimeSeriesEngine(name="agg1", windowSize=600, step=600, metrics=<[sum(volume)]>, dummyTable=trades, outputTable=output1, timeColumn=`time, useSystemTime=false, keyColumn=`sym, garbageSize=50, useWindowStartTime=false)

增加访问控制：

addAccessControl(`trades)
addAccessControl(output1)
addAccessControl(agg1)

此时只有用户 "u1" 和三个对象的创建者 "admin" 可以访问对象：

login(`u1, "111111")
insert into agg1 values(2018.10.08T01:01:01.785,`A,10) 
insert into output1 values(2018.10.08T01:01:01.785,`A,10) 
insert into trades values(2018.10.08T01:01:01.785,`A,10)

其他用户被拒绝访问：

login(`u2, "111111")
insert into agg1 values(2018.10.08T01:01:01.785,`A,10)=> No access to table [agg1]'
insert into output1 values(2018.10.08T01:01:01.785,`A,10) => No access to table [output1]'
insert into trades values(2018.10.08T01:01:01.785,`A,10) => No access to table [trades]'

5.相关函数的权限校验

本章将介绍相关函数在 1.30.21 和 2.00.9 版本前（旧版）和后（新版）涉及的权限对比。

5.1 DDL 和 DML 相关函数

分布式表 DDL 和 DML 操作所需权限如下表所示：

在执行 addColumn、dropColumns!、renameColumns、replaceColumns、setColumnComment、rename!、renameTable 函数时，若用户所操作的表对象为其他用户所创建，需要给当前用户赋予表对象的 TABLE_READ 权限。

例如：

在用户 user1 创建的数据库中赋予 user2 DBOBJ_CREATE 权限并创建表 pt1:

login("admin", "123456")
createUser("user1","123456",,true)
createUser("user2","123456",,true)
grant(`user1, DB_OWNER,"dfs://test*")

login("user1", "123456")
dbName = "dfs://test"
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
t = table(1..10 as id , rand(100, 10) as val)
db=database(dbName, VALUE, 1..10)
grant(`user2, DBOBJ_CREATE ,"dfs://test")
login("user2", "123456")
pt1=  db.createPartitionedTable(t, "pt1",`id).append!(t)

此时若 user1 想要 rename 表 pt1 某一列，会报错：

login("user1", "123456")
rename!(pt1,`val,`val1)// <NoPrivilege>Not granted to read table dfs://test/pt1'

需要赋予 user1 对 pt1 表的读权限：

login("admin", "123456")
grant(`user1, TABLE_READ,"dfs://test/pt1")

此时 rename 成功：

login("user1", "123456")
rename!(pt1,`val,`val1)
schema(loadTable(dbName,`pt1)).colDefs
------------------------------------------
name typeString typeInt extra comment
---- ---------- ------- ----- -------
id   INT        4                    
val1 INT        4

5.2 可见性函数

可见性函数所需权限如下表所示：

在新版本中,仅拥有 VIEW_EXEC 权限的用户无法获取上述函数结果。

6. 权限操作

本章将分别介绍权限操作在分布式数据库、共享内存表、流数据表、流数据引擎、视图、定时作业中的部分应用场景。

6.1 分布式数据库

在分布式数据库中，可以通过 grant / deny / revoke 命令设置用户或者组的权限。在4.1&4.2节中的所有权限，可作为上述三个命令的 accessType 参数值。

其中，TABLE_READ，TABLE_WRITE，TABLE_INSERT，TABLE_UPDATE，TABLE_DELETE 权限作用范围为全局或表级。DBOBJ_CREATE，DBOBJ_DELETE，DB_READ，DB_WRITE，DB_INSERT，DB_UPDATE，DB_DELETE，DB_MANAGE，DB_OWNER 权限作用范围为全局或库级。

例1：赋予用户 "user1" 全局的 TABLE_READ 权限：

grant(`user1, TABLE_READ, "*")

例2：赋予 "user1" 用户 "dfs://valuedb" 库下 pt 表的 TABLE_READ 权限：

grant(`user1, TABLE_READ,"dfs://valuedb/pt")

例3：赋予 "user1" 用户 "dfs://valuedb" 库的 DBOBJ_CREATE 权限：

grant(`user1, DBOBJ_CREATE,"dfs://valuedb")

例4：授权某个用户对某数据库中所有表的读写权限（1.30.21 和 2.00.9 版本新增功能）：

login("admin","123456")
createUser("user1","123456")
grant("user1",DB_READ,"dfs://valuedb")
grant("user1",DB_WRITE,"dfs://valuedb")

此时 user1 拥有 "dfs://valuedb" 库中所有增删改查权限。

例5：限制用户创建并管理以 "dfs://db0" 为前缀的数据库（1.30.21 和 2.00.9 版本新增功能）：

login("admin","123456")
createUser("AlexSmith","123456")
grant("AlexSmith", DB_OWNER, "dfs://db0*")

此时若用户 "AlexSmith" 创建以 "dfs://db1" 命名的数据库，会被拒绝。

例6：赋予一个组中所有组员读某张表的权限，但只有部分组员有写权限：

login("admin","123456")
createUser("user1","123456")
createUser("user2","123456")
createUser("user3","123456")
createGroup("group1",["user1","user2","user3"])
grant("group1", TABLE_READ, "dfs://valuedb/pt")
createUser("user4","123456")
addGroupMember("user4","group1")
grant("user1", TABLE_WRITE, "dfs://valuedb/pt")
grant("user4", TABLE_WRITE, "dfs://valuedb/pt")

此时 user1 和 user4 拥有对 "dfs://valuedb/pt" 表的增删改查权限，user2 和 user3 只有对其查看的权限。

例7：可以使用 grant 或 deny 对所有对象(以*代表)赋予或禁止权限。例如，赋予用户 JoeFlacco 可读任何 DFS 数据表的权限：

grant("JoeFlacco",TABLE_READ,"*")

当 grant 或 deny 所有对象后，若要撤销操作，只能使用 revoke 撤销所有对象的权限，若只撤销某个指定对象的权限，则操作无效：

revoke("JoeFlacco",TABLE_READ,"dfs://db1/t1")

以上命令无效。

revoke("JoeFlacco",TABLE_READ,"*")

以上命令取消了用户 JoeFlacco 可读任何 DFS 数据表的权限。

与之类似，使用 grant 或 deny 对组赋予或禁止权限后，只能对该组使用 revoke 来取消该权限设置。若对某个组员使用 revoke 来取消该权限，则无法生效。

例8：有 DB_OWNER 权限的用户可以赋予别的用户对自己创建的数据库的权限。

管理员创建了两个用户，CliffLee 和 MitchTrubisky，其中用户 MitchTrubisky 拥有 DB_OWNER 的权限：

createUser(`CliffLee, "GH456$%")
createUser(`MitchTrubisky, "JI3564^")
grant(`MitchTrubisky,DB_OWNER);

MitchTrubisky 创建数据表 "dfs://dbMT/dt", 并赋予用户 CliffLee 读取该数据表的权限：

login(`MitchTrubisky, "JI3564^");
db = database("dfs://dbMT", VALUE, 1..10)
t=table(1..1000 as id, rand(100, 1000) as x)
dt = db.createTable(t, "dt").append!(t)
grant(`CliffLee, TABLE_READ, "dfs://dbMT/dt");

尽管用户 CliffLee 之前没有被系统管理员赋予任何权限，但是 CliffLee 最后的权限为：可以访问 MitchTrubisky 创建的数据表 "dfs://dbMT/dt"。

6.2 共享内存表

共享内存表会被共享到所有会话中，因此也会有权限管理的需求。系统支持对共享内存表进行写入和读取的权限管理，语法与数据库表权限管理一致。其中accessType 仅支持 TABLE_READ 和 TABLE_WRITE，分别表示对共享内存表的读和增删改权限。

注：

只有创建表的用户或者管理员可以限制其他用户对该表的操作权限
若用户使用 addAccessControl 函数限制其他用户访问该用户创建的共享表，其他用户只有被管理员赋予访问权限后，才可访问该用户创建的共享表
如果管理员已经为其他用户 grant / deny / revoke 该表的权限，则该表自动添加权限限制，其他未经授权的用户无法再访问该表

例子：

创建管理员 MitchTrubisky，登录 MitchTrubisky 并创建共享内存表 trades：

login(`admin, "123456");
createUser("MitchTrubisky","JI3564^",,true)
login(`MitchTrubisky, "JI3564^")
share streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as trades

此时所有用户都有读写 st1 表的权限：

createUser("CliffLee","JI3564^",,false)
login("CliffLee","JI3564^")
insert into trades values(1970.01.01T00:00:00.001,`sym,1)
select * from trades

赋予用户 CliffLee 读取 trades 表的权限：

login(`MitchTrubisky, "JI3564^")
grant("CliffLee", TABLE_READ, "trades")

此时用户 CliffLee 拥有读取权限而写入则没有权限：

login("CliffLee","JI3564^")
select * from trades
insert into trades values(1970.01.01T00:00:00.001,`sym,1) => No access to table [trades]

如上对该表进行过第一次权限操作之后，该表自动添加权限限制。此时只有管理员和表创建者 MitchTrubisky 对该表有读写权限。

也可以取消用户 CliffLee 读取的权限：

login(`MitchTrubisky, "JI3564^")
revoke("CliffLee", TABLE_READ, "trades")
login("CliffLee","JI3564^")
select * from trades => No access to shared table [trades]

若在建表后希望仅自己和管理员对共享内存表有访问权限，可以使用 addAccessControl 对于表增加权限控制：

share table(1:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as st2
addAccessControl(st2)

6.3 流数据

6.3.1 流数据引擎

用户可以使用命令 addAccessControl 限制其他用户访问流数据引擎。

例：

用户 u1 创建流数据引擎 agg1：

login(`admin, `123456)
createUser(`u1, "111111");
createUser(`u2, "222222");
login(`u1, "111111")
share streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as trades
output1 = table(10000:0, `time`sym`sumVolume, [TIMESTAMP, SYMBOL, INT])
agg1 = createTimeSeriesEngine(name="agg1", windowSize=600, step=600, metrics=<[sum(volume)]>, dummyTable=trades, outputTable=output1, timeColumn=`time, useSystemTime=false, keyColumn=`sym, garbageSize=50, useWindowStartTime=false)

给 agg1 增加访问控制：

addAccessControl(agg1)

用户 u2 注入数据到引擎失败：

login(`u2, "222222")
insert into agg1 values(2018.10.08T01:01:01.785,`A,10) // ERROR: No access to table [agg1]

给用户 u2 流数据引擎的写入权限：

login(`admin, `123456)
grant("u2", TABLE_WRITE, "agg1")

用户 u2 访问时注入数据到引擎成功：

login(`u2, "222222")
insert into agg1 values(2018.10.08T01:01:01.785+1..600,take(`A,600),1..600)

6.3.2 订阅流数据表到流数据表

用户订阅流数据表到流数据表时需要有订阅表的TABLE_READ 权限和写入流表的TABLE_READ 和 TABLE_WRITE 权限。

例1：u1 用户创建发布流表 trades 和订阅流表 output1 并调用 addAccessControl 对表进行访问管理：

login(`admin, `123456)
createUser(`u1, "111111");
login(`u1, "111111")
share streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as trades
share streamTable(10000:0, `time`sym`sumVolume, [TIMESTAMP, SYMBOL, INT]) as output1
addAccessControl(`trades)
addAccessControl(`output1)

u2 用户被赋予 trades 表的 TABLE_READ 权限和 output1 表的 TABLE_READ 和 TABLE_WRITE 权限后可以成功订阅：

login(`admin, `123456)
grant("u2", TABLE_READ, "trades")
grant("u2", TABLE_WRITE, "output1")
grant("u2", TABLE_READ, "output1")
login(`u2, "222222")
subscribeTable(tableName="trades", actionName="agg1", offset=0, handler=append!{output1}, msgAsTable=true);

例2：流表的发布端和订阅端不在同一个节点时，权限对象必须为 "nodeAlias:tableName" 。

在远程节点 NODE2 创建发布表 trades 并进行权限管理：

login(`admin, `123456)
def pubTable(){
    share (streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]), `trades)
    addAccessControl(`trades)
}
rpc(`NODE2,pubTable)
share streamTable(10000:0, `time`sym`sumVolume, [TIMESTAMP, SYMBOL, INT]) as output1

本地节点用户订阅需要 NODE2 节点 trades 表的 TABLE_READ 权限：

createUser(`u1, "111111");
grant("u1", TABLE_READ, "NODE2:trades")
login(`u1, "111111")
subscribeTable(server=`NODE2,tableName="trades", actionName="agg1", offset=0, handler=append!{output1}, msgAsTable=true);

6.3.3 订阅流数据表到分布式表

用户订阅流数据表到分布式表时需要分布式表的 TABLE_WRITE 权限。

例：管理员创建发布表 trades 和订阅分布式数据库 "dfs://valuedb/pt"：

login(`admin, `123456)
dbName = "dfs://valuedb"
t = table(10000:0, `time`sym`sumVolume, [TIMESTAMP, SYMBOL, INT])
insert into t values(2018.10.08T01:01:01.785+1..600,take(`A,600),1..600) 
if(existsDatabase(dbName)){
        dropDatabase(dbName)
}
db=database(dbName, VALUE, 1..10)
pt=  db.createPartitionedTable(t, "pt", "sumVolume").append!(t)
share streamTable(1000:0, `time`sym`volume, [TIMESTAMP, SYMBOL, INT]) as trades

授权 u2 用户订阅分布式表的 TABLE_WRITE 权限：

createUser(`u2, "222222");
grant("u2", TABLE_WRITE,"dfs://valuedb/pt")

u2 成功订阅到数据：

login(`u2, "222222")
def saveTradesToDFS(mutable dfsTrades, msg): dfsTrades.append!(msg)
subscribeTable(tableName="trades", actionName="agg1", offset=0, handler=saveTradesToDFS{pt}, msgAsTable=true);
login(`admin, `123456)
select * from loadTable(dbName,`pt)

6.4 视图权限

函数视图提供了一种灵活的方式来控制用户访问数据库和表。在视图的基础上，函数视图提供了函数功能，可以同时访问数据库并进行相关计算。

注意：

只有系统管理员有创建和删除函数视图的权限。用户即使不具备读写数据库原始数据的权限，也可通过执行函数视图，间接访问数据库，得到所需计算结果
如果函数视图和本地的函数重名，调用时系统会解析为本地函数
某些操作只需要 VIEW_EXEC 权限就可以在 FunctionView 中执行，详见表 5.1 DDL 和 DML 相关函数
VIEW_EXEC 权限作用范围为全局或视图

例1：管理员定义一个函数视图：

def countTradeAll(){  
	return exec count(*) from loadTable("dfs://TAQ","Trades")  
}
addFunctionView(countTradeAll)  
grant("NickFoles",VIEW_EXEC,"countTradeAll")

以用户名 NickFoles 登录，执行视图 "countTradeAll"：

countTradeAll()

在此例中，虽然用户 NickFoles 没有访问表 "dfs://TAQ/Trades" 的权限，但是可以运行函数视图 "countTradeAll" 获取表的行数。

例2：函数视图也可以带参数。用户在使用的时候可以输入参数获取相应的结果。

创建一个函数视图，获取某一个股票在某一天的所有交易记录：

def getTrades(s, d){
	return select * from loadTable("dfs://TAQ","Trades") where sym=s, date=d
}
addFunctionView(getTrades)
grant("NickFoles",VIEW_EXEC,"getTrades")

同样在此例中，用户 NickFoles 没有访问表"dfs://TAQ/Trades"的权限，但是可以执行视图 “getTrades”，指定股票代码 IBM 和日期 2018.07.09，获得 IBM 在 2018.07.09 这一天的所有交易记录：

getTrades("IBM", 2018.07.09)

6.5 定时作业权限

定时作业是指用户指定在特定的时间，以特定的频率执行一系列任务，多用于批处理类业务场景。

当用户创建定时作业（函数 scheduleJob）时，若作业中包含库/表的读写或修改操作，不需要具备相关的权限也能成功创建。但执行定时作业时，需要具备与对象相关的权限，否则无法执行
系统管理员可以 deleteScheduledJob 删除其他用户定时作业，非管理员用户只能删除自己创建的定时作业
```
login("NickFoles","AB123!@")  
def readTable(){
	read_t1=loadTable("dfs://db1","t1")  
	return exec count(*) from read_t1  
}
scheduleJob("readTableJob","read DFS table",readTable,minute(now()),date(now()),date(now())+1,'D');
```
不管 NickFoles 有没有读 "dfs://db1/t1" 的权限，"readTable" 任务都能设置成功。

在 "readTable" 任务实际运行时，如果用户 NickFoles 有读 "dfs://db1/t1" 的权限，则成功执行，否则鉴权失败。

6.6 脚本执行权限

SCRIPT_EXEC，TEST_EXEC 权限作用范围为全局。

用户执行 run 函数，或在客户端运行脚本都需要 SCRIPT_EXEC 权限：
```
login(`admin, `123456)
createUser(`user1, "123456");
grant(`user1,SCRIPT_EXEC)
login(`user1, "123456")
run("test.txt")
```
用户执行 test函数，或在客户端执行 unittest 都需要 TEST_EXEC 权限：
```
login(`admin, `123456)
createUser(`user1, "123456");
grant(`user1,TEST_EXEC)
login(`user1, "123456")
test("test.txt")
```
6.7 内存限制权限

grant 指定 accessType = QUERY_RESULT_MEM_LIMIT 来限制某个用户查询返回结果的内存上限和 accessType = TASK_GROUP_MEM_LIMIT 限制发送的批量子查询占用的内存上限，等同于 setMemLimitOfQueryResult 函数和 setMemLimitOfTaskGroupResult 函数，区别在于 grant 只对指定用户生效（暂不支持用户组），setMemLimitOfQueryResult 函数和 setMemLimitOfTaskGroupResult 函数对所有用户生效。

下述脚本限制用户 “AlexSmith” 查询时，查询结果所占用的内存大小不能超过 4 GB：
```
grant("AlexSmith", QUERY_RESULT_MEM_LIMIT, 4)
```
下述脚本限制用户 “AlexSmith” 查询时，发送的批量子查询占用的内存不能超过 4 GB：
```
grant("AlexSmith", TASK_GROUP_MEM_LIMIT, 4)
```
7. 使用HTTPS实现安全通信

DolphinDB 支持使用 HTTPS 安全协议与 web notebook、VSCode 等编辑器进行通信。

7.1 使用 HTTPS 配置

DolphinDB 提供两种配置 HTTPS 的方法：
在控制节点的配置文件中添加 enableHTTPS=true
在启动控制节点的命令行添加 -enableHTTPS true
```
./dolphindb -enableHTTPS true -home master -publicName www.psui.com -mode controller -localSite 192.168.1.30:8500:rh8500 -logFile ./log/master.log
```
7.2 HTTPS 证书设置

DolphinDB 使用服务端证书验证的安全策略。默认情况下，会生成自制证书，客户需要安装服务端的证书，否则浏览器提示不安全连接。在集群环境中，每个节点分布在不同的物理机器上，每台物理 server 需要一份证书，因此控制节点和代理节点需要生成证书，数据节点使用同一个物理服务器上代理节点生成的证书。用户也可购买经过第三方认证的证书。

7.2.1 第三方认证证书

将第三方证书重命名为 server.crt，并且拷贝到控制节点和代理节点的 home 目录下的 keys 文件夹中，若 keys 文件夹不存在，则需手动创建。由于第三方证书经过公认的权威授权机构颁布，所以浏览器默认信任该证书，不需要再手动安装。绝大部分应用场景适合使用此方式。

7.2.2 安装自制证书

在小型封闭集群内部通信时，用户也可以使用自制证书进行 OPENSSL 安全通信，具体过程如下:

1.把 publicName 设置为计算机的域名

在集群控制节点的配置文件(controller.cfg)中加上publicName=www.ABCD.com，或者在命令行窗口启动控制节点时加上 -publicName www.ABCD.com。

2.检查证书是否生成

启动控制节点，并且检查证书文件 server.crt 和服务器的独立密钥 serverPrivate.key 是否存在主目录的 keys 目录下。

3.把自签名证书安装到浏览器的证书颁发机构，例如:

在Google Chrome，选择设置->隐私和安全->安全->管理设备证书->Import，把 server.crt 导入。

在浏览器地址栏中输入 "https://www.ABCD.com:8500/" 连接到 DolphinDB集群管理器，其中 8500 是控制节点的端口。

8. 支持 SSO (Single Sign On)

DolphinDB 的控制节点通过 OpenSSL ticket 为客户端提供安全通信支持。

DolphinDB 提供两个用于 SSO 的 API 函数：
getAuthenticatedUserTicket() 获取当前登录用户的加密 ticket
authenticateByTicket(ticket) 使用上面获取的 ticket 登录系统

DolphinDB 的开发者可以方便安全的使用这些接口来对系统进行扩展。

微信关注我们

原文链接：https://my.oschina.net/u/4865736/blog/10091502

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

某制造企业基于 KubeSphere 的云原生实践

背景介绍随着业务升级改造与软件产品专案的增多，常规的物理机和虚拟机方式逐渐暴露出一些问题：大量服务部署在虚拟机上，资源预估和硬件浪费较大；大量服务部署在虚拟机上，部署时间和难度较大，自动化程度较低；开发人员和运维人员，由于开发和部署服务环境不同，服务不稳定经常报错，产生的隔阂问题较多，效率较低；排查问题原因不便利，开发没权限上生产环境，服务日志和服务监控状态无法定位。在竞争日益激烈和不断变化的市场环境下，公司需要在产品上不停的迭代开发，来满足业务的需求，快速进行响应变化，所以解决上述问题变得愈发迫切。选型说明我们调研了两款开源产品。经过综合评估和比较，我们最终选择了 KubeSphere。KubeSphere 的定位是以应用为中心的容器平台，提供了简单易用的操作界面，一定程度上降低了学习成本，同时集成了原生 Istio 等功能，更加符合开发的使用习惯。实践过程加快开发对应用需求的响应，快速交付价值，快速响应变化。敏捷开发是用短的迭代周期来适应更快的变化，而且保持增量的持续改进的过程，Kubernetes + Docker 是 Dev 和 Ops 融合的一个桥梁，反过...

2023-07-28

777

Hadoop 上云：存算分离架构设计与迁移实践

一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。在过去几年中，我们按照每 1 到 2 年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。为了解决包括扩容周期长、计算存储资源不匹配以及高昂的运维成本等这些问题，我们决定对数据架构进行改造，并将数据迁移到云端，采用存算分离的结构。在这个案例中，我们将为大家介绍 Hadoop 上云的架构设计、选型的思考、组件评估以及数据迁移的整个过程。目前，基于JuiceFS 我们实现了计算和存储分离的架构，总存储量增加了2倍；性能方面的变化无明显感知，运维成本大幅降低。在案例的末尾还附上了针对阿里云 EMR 以及 JuiceFS 的一手运维经验，希望这个案例能为其他面临类似问题的同行提供有价值的参考 01 旧架构及挑战为了满足业务需求，一面数据抓取了国内外数百个大型网站的数据，目前数量已经超过 500 个，并积累了大量的原始数据、中间数据和结果数据。随着我们不断增加抓取的网站数量和服务的客户群，数据量也在快速增长。因此，我们着手...

2023-07-28

841

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。