首页 文章 精选 留言 我的

精选列表

搜索[构建系统],共10000篇文章
优秀的个人博客,低调大师

使用Spark SQL构建批处理程序

前言 今天介绍利用 StreamingPro 完成批处理的流程。 准备工作 下载StreamingPro README中有下载地址 我们假设您将文件放在了/tmp目录下。 填写配置文件 实例一,我要把数据从ES导出到HDFS,并且形成csv格式。 gist 启动StreamingPro Local模式: cd $SPARK_HOME ./bin/spark-submit --class streaming.core.StreamingApp \ --master local[2] \ --name test \ /tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar \ -streaming.name test \ -streaming.platform spark \ -streaming.job.file.path file:///tmp/test.json 访问 http://127.0.0.1:4040 可进入Spark UI 集群模式: cd $SPARK_HOME ./bin/spark-submit --class streaming.core.StreamingApp \ --master yarn-cluster \ --name test \ /tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar \ -streaming.name test \ -streaming.platform spark \ -streaming.job.file.path hdfs://cluster/tmp/test.json 这里需要注意的是,配置文件并蓄放到HDFS上,并且需要协商hdfs前缀。这是一个标准的Spark 批处理程序

优秀的个人博客,低调大师

Fiber - 基于 Fasthttp 构建的 Go Web 框架

Fiber是一个受Express启发的Web 框架,它建立在Fasthttp之上, Fasthttp 是Go 语言中最快的HTTP 引擎。Fiber 的设计初衷是简化快速开发,零内存分配,并注重性能。 Fiber v3 目前处于测试阶段,并正在积极开发中。虽然它提供了一些令人兴奋的新功能,但注意,它可能并不稳定,无法用于生产环境。建议在关键任务应用程序中使用最新的稳定版本 (v2.x)。如果选择使用 v3,需做好应对潜在错误和重大更改的准备。 Fiber 需要Go 版本1.24或更高版本才能运行。 入门示例 package main import ( "log" "github.com/gofiber/fiber/v3" ) func main() { // Initialize a new Fiber app app := fiber.New() // Define a route for the GET method on the root path '/' app.Get("/", func(c fiber.Ctx) error { // Send a string response to the client return c.SendString("Hello, World 👋!") }) // Start the server on port 3000 log.Fatal(app.Listen(":3000")) } Fiber 已针对高性能进行了优化,这意味着从fiber.Ctx返回的值默认情况下并非不可变,并且会在多个请求之间重复使用。根据经验,你只能在处理程序中使用上下文值,并且不得保留任何引用。从处理程序返回后,从上下文获取的任何值都将在未来的请求中重复使用。访问文档了解更多信息。

优秀的个人博客,低调大师

LangChat,快速构建企业级 AIGC 项目

LangChat是Java生态下企业级AIGC项目解决方案,在RBAC权限体系的基础上,集成AIGC大模型能力,帮助企业快速定制AI知识库、企业AI机器人。 支持的AI大模型:Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。 网站文档:http://langchat.cn/ 后台地址:http://backend.langchat.cn/ 前台地址:http://front.langchat.cn/ 特性 多模态:支持集成国内外数十家AI大模型 动态配置:支持再页面上可视化动态配置大模型参数、Key等信息,无感刷新、无需每次重启服务 知识库:支持向量化知识库文档,定制化Prompt对话场景 高级RAG:支持Embedding模型,从知识库中精确搜索;集成Web Search等RAG插件 Function Call:支持定制化Tool工具类,实现本地函数调用,从第三方加载数据并提供给LLM 多渠道发布:计划封装Web SDK,将AI智能客服快速嵌入任意第三方Web应用中;计划支持微信、飞书、钉钉等消息通信渠道(待完善) Workflows:计划开发可视化LLM流程设计器,高自定义机器人执行流程(待完善) 提供AIGC客户端应用,快速管理客户端数据 支持动态配置Embedding模型和向量数据库 支持不同的知识库关联不同的模型和向量数据库 更多特性...

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册