首页 文章 精选 留言 我的

精选列表

搜索[快速开发平台],共10000篇文章
优秀的个人博客,低调大师

Windows下Hadoop eclipse开发平台搭建

Hadoop 在Windows环境下的搭建教程 搞了一个下午,在Linux和Windows下都成功了,步骤相差不大。一些小问题,google一下就能解决。但还是推荐在linux下搭建,很容易切稳定。 1.必要条件 Cygwin :我的版本是目前最新的2.774 java JDK hadoop 0.20.2 迅雷连接(有可能已经失效):thunder://QUFodHRwOi8vZGwuY3IxNzMuY29tLy9zb2Z0My9oYWRvb3AuemlwWlo= eclipse 2. java安装 具体参考百度。。。。。 3.Cygwin的安装 可以按照默认的提示安装到自己需要存放的位置,但是在安装时需要注意下面几点: Net 下的:openssh,openssl Base 下的:sed (若需要Eclipse,必须sed) Devel 下的:subversion(建议安装) 不同的版本可能有所不同,但是基本操作没有变化。。。。 CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。 4.启动SSH服务 以管理员权限运行Cygwin,并输入 SSH-HOST-CONFIG 接下来,系统会提示以下信息 should privilege separation be used ? 回答:no if sshd should be installed as service? 回答:yes the value of CYGWIN environment variable 输入: ntsec 成功的话,会有下面的提示 Host configuration finished. Have fun! 不要高兴太早,我们还需要在Windows服务中,开启Cygwin服务。 还有活要干。。。 在Cygwin下操作: 输入ssh-keygen,回车直到完成输出 进入~/.ssh,cd ~/.ssh 复制,cp id_rsd.pub anthorized_keys 退出,exit 如果没有任何问题的话,应该是完成了。 输入ssh localhost开启SSH服务。(PS:这里我一直都是错误的,不知道为啥我重启下了电脑,好了) 5.hadoop安装 下载hadoop,解压缩到Cygwin下,修改名称为hadoop,方便使用。这里只部署在一个机器上。 需要我们首先修改一些Hadoop的配置信息(这里的端口9000和9001确保没有被占用,也可改变为其他): hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml //打开hadoop/conf/hadoop-env.sh文件 export JAVA_HOME=/usr/lib/jvm/java //打开conf/core-site.xml文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> //打开conf/mapred-site.xml文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> //打开conf/hdfs-site.xml文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 可以启动hadoop了,激动~~ 1.创建Logs日志目录 mkdir logs 2.格式化namenode,创建HDFS(这要进入hadoop文件夹内操作) bin/hadoop namenode -format 3.启动hadoop bin/start-all.sh 4.执行JPS 完成启动~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 输入网址:http://localhost:50030 6.配置eclipse Hadoop自带eclipse插件,在hadoop\contrib\eclipse-plugin中。 具体配置步骤如下: hadoop-0.20.2-eclipse-plugin.jar放入eclipse的插件文件夹中,开启eclipse。 window->Preference->Hadoop Map/Reduce,输入hadoop文件夹位置。 window->Show View,选择Map/Reduce Locations。 点击屏幕右下方新建一个Location. 编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml),高级的我设置了Hadoop.tmp.dir 这时,打开Project Explore,刷新。 接下来,你可以new一个MapReduce程序了,找到hadoop的例子试试去吧。 对了,编译这里要配置一下。 选择Run Configurations->Java Application->Arguments,这里要填入为两个文件,分别为输入文件和输出文件。 主要参考:http://blog.csdn.net/johnnywww/article/details/7378284 http://blog.csdn.net/ruby97/article/details/7423088 本文由cococo点点创作,采用知识共享 署名-非商业性使用-相同方式共享 3.0 中国大陆 许可协议进行许可。欢迎转载,请注明出处: 转载自:cococo点点http://www.cnblogs.com/coder2012

优秀的个人博客,低调大师

DataWorks数据分析模块全新发布,快速的数据智能洞察平台

DataWorks数据分析概述 数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。凭借简单易用的操作界面,使数据变化所见即所得,可视化完成数据的修改和分析、报表的搭建和分享,支持电子表格、可视化报表、维表三种分析形式。 DataWorks数据分析产品入口 通过DataWork功能入口-全部产品-数据分析即可进入数据分析模块首页 DataWorks数据分析核心功能 1. 电子表格编辑明细数据,支持加减乘除基础运算、函数套用、分类汇总等多类型数据加工方式。 在线协同编辑可邀请小伙伴们共同完成表格内容的编辑 透视分析可选择不同的列进行分类汇总;可按条件展示不同格式 2.可视化报表自助完成可视化探索和报表制作,无需写SQL代码,所有过程均可通过鼠标拖拽、点选完成。 18+种控件丰富的控件选择,可以满足多种分析场景 按权限分享分析结果可进行权限设置,分享给特定的人 3.维表表格式建MaxCompute表、编辑数据,无需SQL即可一键生成、多人协作修改,为您的数据工作添砖加瓦 表格式建表无需编写 DDL/Insert 语句,MaxCompute表行列数据所见即所得 转存表电子表格的编辑数据可一键转存为MaxCompute表 DataWorks数据分析功能示例 1. DataStudio搜索结果直接透视在DataStudio/数据分析工作台等DataWorks的研发模块执行select语句获取一个或多个表的查询结果,直接对结果数据开始透视分析。 2. 数据源透视直接选择MaxCompute表或已有的MySQL数据源中的表,然后开始透视分析 3. 本地Excel文件导入透视支持将本地Excel文件上传后,编辑修改、分享给其他人协同编辑或透视分析数据分布等。 更多功能介绍请查看DataWorks数据分析帮助文档:https://help.aliyun.com/document_detail/119756.html如果您有任何使用问题,欢迎您加入DataWorks数据分析用户钉钉群:23341214

优秀的个人博客,低调大师

gfast 快速开发框架全新版本 V3.4.1 发布

本次更新内容: 1.更换全新前端UI样式 2.登陆页交互滑块验证码弹层显示,验证通过后自动提交登陆数据 3.新增AI模型配置,知识库、MCP服务、智能客服基座 一、模块总览 后台菜单 路由 功能 大模型管理 → 大模型配置列表 /llm/config 管理接入的 LLM/Embedding/Rerank 模型 大模型管理 → mcp服务器配置列表 /llm/mcp 管理 MCP 工具服务器(SSE) 大模型管理 → AI对话 /llm/chat 与模型对话(可调用 MCP 工具) 智能客服 → 知识库管理 /kb/knowledge 创建知识库(绑定模型、分块参数) 智能客服 → 文档管理 /kb/docs 上传文档 → 解析 → 分块 → 向量化入库 智能客服 → 客服对话 /kb/chat 后台在线问答(RAG 检索增强) 智能客服 → 流程编排 /kb/flow 可视化编排客服 SOP 流程 智能客服 → 应用管理 /kb/app 应用/凭证管理,对接 C 端开放 API 与网站挂件 链路关系:知识库 = 知识 + 向量化模型 + 对话模型;文档喂给知识库 → Qdrant 向量化;客服对话用「检索 + 大模型」回答;流程编排把上述能力编排成 SOP。 二、模型接入协议(5 种) 通过数据库 lm_config.model_class 区分(值与字典 lm_protocol 一致): 协议 model_class 值 说明 OpenAI 兼容 openai_compatible 智谱/Kimi/腾讯混元/MiniMax/MiMo/火山方舟/Gemini 兼容端等,通用性最强 Anthropic anthropic Anthropic Claude Messages API DeepSeek deepseek DeepSeek 原生协议(deepseek-reasoner 可输出思维链) 阿里百炼 qwen DashScope 原生 SDK 协议(Embedding 也用此协议) Ollama ollama 本地模型(默认 http://127.0.0.1:11434) 三、MCP 服务器配置 MCP(Model Context Protocol)让大模型能调用外部工具(查天气、查订单、建工单等)。 入口:大模型管理 → mcp服务器配置列表(/llm/mcp) 关键字段:服务器名称、SSE 地址(如 http://服务端/mcp,需服务端实现 SSE 端点) 保存后,AI 对话发送时会自动拉取该服务器暴露的工具列表,模型按需调用 四、AI 对话 4.1 使用方式 选择模型(下拉:左侧模型名、右侧提供商小徽章) 输入问题 → 发送。采用真流式打字:WebSocket chat 事件逐字推送正文,chatThink 事件推送思考过程 历史消息通过 lm_chat_list / lm_chat_message 持久化 五、智能客服(知识库 RAG) 基于「检索增强生成」:上传文档 → 切分 → 向量化入 Qdrant → 问答时检索最相关内容 + 大模型生成,回答标注引用来源。 5.1 前置条件(重要) Qdrant 向量库可用:配置 manifest/config/config.yaml kb: qdrant: address: "http://192.168.0.214" # Qdrant HTTP 地址 grpcPort: 6334 # Qdrant gRPC 端口 apiKey: "" # 可选 若 address 为空,知识库功能不可用 go-client 与 Qdrant 服务端版本必须匹配(主版本一致、次版本差 ≤1),否则向量「假写入」(Upsert 返回成功但实际 0 点),本机 go-client 升级后请同步升级 Qdrant 至 1.19.x TextEmbedding 模型:在大模型配置列表新增一条 TextEmbedding 类型配置(如百炼 text-embedding-v4),知识库创建时选择它 对话模型:至少一条启用状态的 LLM 配置 5.2 知识库管理 字段 说明 名称 / 描述 向量化模型 TextEmbedding 配置(决定向量维度) 对话模型 客服回复用的 LLM MCP 配置 可选,客服 Agent 可调用工具 分块大小 / 分块重叠 文档切分粒度(如 300 / 50) 检索条数 topK 每次问答检索的分块数(默认 5) 状态 停用后该库不可问答 每个知识库对应 Qdrant 一个独立 collection(命名 kb_{id},Cosine 距离)。 六、流程编排(SOP Workflow) 让客服按预设「标准作业程序」处理多步骤任务:意图识别 → 条件判断 → 路由 → 查询/转人工 → 回复。 核心技术:DSL(JSON)→ 后端用 eino compose.Graph 动态构建执行引擎;前端用 vue-flow 可视化画布编辑 DSL。 4、多语言支持(多语言采用「前端持久化语言 → 请求头传递 → 后端中间件注入 ctx → 输出边界统一翻译」的整体方案,数据库内容(菜单标题/字典标签/网站配置文案)在响应时翻译,前端静态 UI 用 vue-i18n 渲染。) 5、全新安装方式(安装器是一个独立于主程序的 Web 程序(install/install.go),通过浏览器分步完成全部配置。) 演示地址 http://v34.g-fast.cn/sys 账号:demo 密码:Demo123 文档地址 https://doc.g-fast.cn/docs/gfast_v34

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册