首页 文章 精选 留言 我的

精选列表

搜索[水平可扩展],共10000篇文章
优秀的个人博客,低调大师

Agent 权限管理与审计日志实践:从「知道要最小权限」到「能落地、可回放、可告警」

第一处,权限挂在谁身上说不清。 传统权限模型里,权限授给人。Agent 不是人,它没有岗位、没有工龄,也不会自己想起来"我该收敛一下"。给 Agent 配权限时,团队常见做法是照着人的岗位复制一份——结果就是权限长期虚高,而且永远没有回收时机,因为没有人会为 Agent 办离职。

优秀的个人博客,低调大师

FauxPilot —— 可本地托管的 GitHub Copilot 服务

这是一个本地托管版本的 GitHub Copilot。它在英伟达的 Triton 推理服务器中使用了 SalesForce CodeGen 模型和 FasterTransformer 后端。 前提条件 Docker docker-compose >= 1.28 一台计算能力大于 6.0 的英伟达 GPU,以及足够的 VRAM 来运行你想要的模型 nvidia-docker curl 和 zstd,用于下载和解包模型 Copilot 插件 你可以配置官方 VSCode Copilot 插件来使用你的本地服务器。只要编辑你的 settings.json 来添加。 "github.copilot.advanced": { "debug.overrideEngine": "codegen", "debug.testOverrideProxyUrl": "http://localhost:5000", "debug.overrideProxyUrl": "http://localhost:5000" } 设置 运行设置脚本以选择要使用的模型。 这将从 Huggingface 下载模型,然后将其转换为与 FasterTransformer 一起使用。 $ ./setup.sh Models available: [1] codegen-350M-mono (2GB total VRAM required; Python-only) [2] codegen-350M-multi (2GB total VRAM required; multi-language) [3] codegen-2B-mono (7GB total VRAM required; Python-only) [4] codegen-2B-multi (7GB total VRAM required; multi-language) [5] codegen-6B-mono (13GB total VRAM required; Python-only) [6] codegen-6B-multi (13GB total VRAM required; multi-language) [7] codegen-16B-mono (32GB total VRAM required; Python-only) [8] codegen-16B-multi (32GB total VRAM required; multi-language) Enter your choice [6]: 2 Enter number of GPUs [1]: 1 Where do you want to save the model [/home/moyix/git/fauxpilot/models]? /fastdata/mymodels Downloading and converting the model, this will take a while... Converting model codegen-350M-multi with 1 GPUs Loading CodeGen model Downloading config.json: 100%|██████████| 996/996 [00:00<00:00, 1.25MB/s] Downloading pytorch_model.bin: 100%|██████████| 760M/760M [00:11<00:00, 68.3MB/s] Creating empty GPTJ model Converting... Conversion complete. Saving model to codegen-350M-multi-hf... =============== Argument =============== saved_dir: /models/codegen-350M-multi-1gpu/fastertransformer/1 in_file: codegen-350M-multi-hf trained_gpu_num: 1 infer_gpu_num: 1 processes: 4 weight_data_type: fp32 ======================================== transformer.wte.weight transformer.h.0.ln_1.weight [... more conversion output trimmed ...] transformer.ln_f.weight transformer.ln_f.bias lm_head.weight lm_head.bias Done! Now run ./launch.sh to start the FauxPilot server.

优秀的个人博客,低调大师

PoCL 3.1 发布,可移植的 OpenCL 库

Portable OpenCL (pocl) 是一个高效的 OpenCL 标准实现,提供易移植的 OpenCL 实现。该项目另外一个目的是通过编译器优化实现性能的提升,减少人工优化的步骤。 目前 PoCL 3.1 发布了,此版本带来如下改动: 提供与 LLVM/Clang 15.0 版本的兼容性 所有通过 POCL_DEVICES 控制平台设置的设备名称都改为小写 自定义设备驱动程序(以前称为 Accel,现在称为 AlmaIF)的重大返工,支持更多实现 AlmaIF 的设备类型 大大改进了 SPIR-V 对 CPU 和 CUDA 驱动程序的支持 改进了在 WIP Vulkan 驱动程序中实现完整 API 的步骤 cl_khr_command_buffer 的基本实现 PoCL Vulkan 驱动程序依赖于 libvulkan 和 clspv,目前已经针对开源 Mesa Vulkan 驱动程序进行了测试。该驱动程序目前实现了大部分 Vulkan 1.2 API,但 OpenCL 图像支持、命令缓冲区无缓存和其他缺失元素尚未处理完毕。 完整的变更可查看 Change Logs 。

优秀的个人博客,低调大师

Google 开源 Paranoid,可识别加密漏洞

Google 近日正式开源了 Paranoid ,这是一个用于识别加密制品(cryptographic artifacts)中常见漏洞的项目。 Paranoid 支持测试多个加密制品,其中包括如数字签名、通用伪随机数和公钥,以识别由编程错误或使用弱的专有随机数生成器造成的问题。 根据 Google 官方公布的信息显示,Paranoid 可以检查任何制品,甚至是那些由未知实现的系统(Google 将其称之为 “黑盒子”,其源代码无法被检查)生成的制品。 一个制品可能是由黑盒子生成的,它不是由我们自己的工具(如 Tink)生成的,也不是由我们可以使用 Wycheproof 检查和测试的库生成的。虽然不够安全,但不幸的是,有时我们最终会依赖黑盒子生成的制品 Google 已经使用 Paranoid 检查了 Certificate Transparency(CT)中的加密制品 —— 其中包含超过 70 亿个已签发的网站证书,并发现了数千个受关键和高严重性 RSA 公钥漏洞影响的证书。这些证书中的大多数已经过期或被吊销。 Google 将该库开源,不仅是允许其他人使用,也是为了增加透明度,并接受来自外部的贡献。希望研究人员发现并报告加密漏洞后,将检查添加到库中。这样一来,Google 和其他使用者就可以快速应对新的威胁。 Paranoid 项目包含 ECDSA 签名以及 RSA 和 EC 公钥的检查,并由 Google 安全团队积极维护。该项目还旨在减轻对计算资源的使用。检查的速度必须足够快,以便针对大量的制品运行,并且必须在现实世界的生产环境中有意义。 项目地址:https://github.com/google/paranoid_crypto

优秀的个人博客,低调大师

FauxPilot 开源,可本地运行的 GitHub Copilot

GitHub Copilot 是 GitHub 去年 6 月推出的人工智能模型,这是一个利用机器学习技术为开发者提供代码建议和代码补全的工具,能够帮助开发者更快完成编程任务。但由于 GitHub Copilot 训练使用的数据集,以及该工具如今成为了一款向开发者收费的商业性产品,GitHub Copilot 也引发了一些争议。 那有没有一个能够替代 GitHub Copilot 的工具呢? 近日美国纽约大学计算机科学和工程系助理教授 Brendan Dolan-Gavitt 开源了一个名为 FauxPilot 的项目,根据介绍,这是 GitHub Copilot 的替代品,能够在本地运行并且不会上传用户的数据,如果开发者使用的是自己训练的 AI 模型,也无需再担心生成代码的许可问题。 GitHub Copilot 依赖于 OpenAI Codex,后者是一个基于 GPT-3 的自然语言转代码系统,使用了存储在 GitHub 上的 "数十亿行公共代码" 进行训练。而 FauxPilot 并没有使用 Codex,为了方便开发者使用它依赖了 Salesforce 的 CodeGen 模型,CodeGen 同样也是使用公共开源代码进行训练的。 目前 Salesforce CodeGen 提供了 3.5 亿、20 亿、60 亿 和 160 亿参数的模型,但在 FauxPilot 这边只看到 3.5 亿、60 亿和 160 亿的模型,暂时没有 20 亿模型可用,这就对训练模型需要使用的 GPU 提出了较高的要求。因为 3.5 亿参数的模型仅需要 2GB VRAM;而稍高一个档次的 60 亿参数模型所需要的 VRAM 就大幅上涨到了 13GB,这就需要至少 RTX 3090 的显卡才能跑,就更不用说 160 亿的模型了。 由于 CodeGen 模型同样是通过公共代码训练的,因此给出的代码建议可能仍然存在版权/许可方面的问题。开发者 Dolan-Gavitt 表示,有足够计算能力的公司或开发者可以使用自己专有的代码库或使用特定协议的开源代码库(如只含 GPL 协议的代码仓库)训练模型,将训练好的模型导入 FauxPilot 即可正常使用,这样也无需再担心产生的代码会有许可问题了。这就是 FauxPilot 可以在本地运行的好处,它也能够为企业提供一种在内部运行人工智能辅助软件的方式。 FauxPilot 的另一个特点是对于隐私方面的考虑,它不会读取公司或开发者编写的代码,也不会将这些信息共享给第三方。 FauxPilot 在 GitHub 上的地址如下:https://github.com/moyix/fauxpilot

优秀的个人博客,低调大师

PoCL 3.0 发布,可移植的 OpenCL 库

Portable OpenCL (pocl) 是一个高效的OpenCL标准实现,提供易移植的开源实现。该项目另外一个目的就是通过编译器优化实现性能的提升,减少人工优化的步骤。 PoCL 3.0发布了,该版本支持最小的 OpenCL 3.0 功能集,提供了最初的 OpenCL 3.0 支持意味着 POCL 可通过 LLVM 在 CPU 或其他后端执行,例如针对 AMD HSA、NVIDIA GPU 和其他加速器。 除了解决 OpenCL 3.0 之外,PoCL 3.0 还添加了 LLVM/Clang 14.0 API 兼容性、改进的跟踪和可视化、支持生成专门的工作组函数、修复了 SPIR-V printf 支持以及其他修复/改进。 更多内容可在更新公告中查看。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册