首页 文章 精选 留言 我的

精选列表

搜索[快速],共10000篇文章
优秀的个人博客,低调大师

阿里云上线视频云剪辑 快速产出PGC短视频不再是问题!

中国网络视频已经进入黄金发展时期,数据研究机构骨朵传媒发布的《2016年网生内容产业发展研究白皮书》中显示,截至2016年12月,我国网络视频用户规模接近5.5亿,市场总规模可达600亿元。可以预见的是,在2017年这个数字也一定会持续走高。 如此大的市场规模,一定需要海量的、优质的、多元的内容来支撑。 从内容生产的角度来看,视频可以分为UGC(用户生产内容)、PGC(专业生产内容)、OGC(职业生产内容)。OGC大部分为长视频,比如电影、剧集、综艺、动漫等,网站或APP通过版权购买和用户付费观看的模式来经营,偏向于头部效应;部分意见领袖通过精心的策划、专业的制作所产生的腰部内容,则被称为PGC,这类视频可以用来补充OGC内容,提升平台内容可看度,形成兴趣群体和粉丝;而移动端兴起,素人用户在通过短视频APP的随拍随传,则产生了大量的U

优秀的个人博客,低调大师

三大运营商将发力物联网 行业需求迎快速扩容

在今日举行的2016年中国互联网大会上,三大运营商发言人都认为,物联网和家庭市场IPTV将是运营商转型发力的重中之重,物与物的联接是一个更大的市场,比互联网的空间更大,是现在互联网市场空间的千倍万倍。 机构认为,16日NB-IoT标准获得国际组织3GPP通过,国内NB-IoT的行业标准2016年底发布,2017年初可规模商用。未来十年预计将产生百亿量级M2M连接设备数、百亿美元量级芯片市尝千亿美元量级物联网应用市常平台型企业、重点行业应用公司,有望率先受益。 综合券商研报,远望谷的RFID技术产品、东土科技的工业以太网交换机,将受益物联网产业发展。本文转自d1net(转载)

优秀的个人博客,低调大师

机器人快速崛起:5年内消失510万工作岗位

[摘要]世界经济论坛预计,办公室和行政人员今后5年约有5%会失业。 ◆◆◆ 据美国无党派智库经济政策研究所(Economic Policy Institute)估计,在2001至2013年间,美国因为将制造业务外包给中国而损失了240万岗位。 但达沃斯世界经济论坛的一篇最新报告预计,今后5年,机器人将导致全球范围内的510万人失业,数量约为中国令美国丧失的制造业岗位的两倍,而时间却缩短了一半。 由此看来,机器人的效率的确更高。 世界经济论坛将这种机器人与人类争夺工作岗位的现象称作“第四次工业革命”。(第一次工业革命指的是18世纪中叶至19世纪中叶期间机器工具的发明;第二次指的是规模化工厂的推出;第三次指的是1990年代至2000年代初期的科技工业革命。) 世界经济论坛共对13个世界最大的经济体的366家公司进行了调查,这些公司共聘用了13

优秀的个人博客,低调大师

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统

安装环境 先看看都需要安装什么软件包 ruby 运行Kibana 必须, rubygems 安装ruby扩展必须 bundler 功能类似于yum JDK 运行java程序必须 redis 用来处理日志队列 logstash 收集、过滤日志 ElasticSearch 全文搜索服务(logstash集成了一个) kibana 页面展示 192.168.18.240 logstash index,kibana,JDK 192.168.18.241 logstash agent,JDK 192.168.18.242 redis 192.168.18.243 ElasticSearch,JDK 先安装redis (192.168.18.242) # wget http://redis.googlecode.com/files/redis-2.6.12.tar.gz # tar zxvf redis-2.6.12.tar.gz # mv redis-2.6.12 redis # cd redis # make -j24 # make install # vi /root/soft/redis/redis.conf 修改level为 loglevel verbose # redis-server /root/soft/redis/redis.conf & 看看 redis服务的状态 # lsof-i:6379 安装 elasticsearch (192.168.18.243) elasticsearch会依赖于java # vi /etc/apt/sources.list deb http: //ftp.debian.org/debian/ squeeze main non-free deb-src http: //ftp.debian.org/debian/ squeeze main non-free # apt-get update # apt-cache search sun-java # apt-get install sun-java6-jdk sun-java6-jre # java -version # wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.20.6.zip # unzip elasticsearch-0.20.6.zip # mv elasticsearch-0.20.6 /usr/local/share/elasticsearch # cd /usr/local/share/elasticsearch/bin/ # ./elasticsearch -f 在 logstash index上安装基础的软件环境: (192.168.18.240) # vi /etc/apt/sources.list deb http: //ftp.debian.org/debian/ squeeze main non-free deb-src http: //ftp.debian.org/debian/ squeeze main non-free # apt-get update # apt-cache search sun-java # apt-get install sun-java6-jdk sun-java6-jre # java -version 开始安装logstash ( 其实logstash就是一个java脚本,不需要安装...下载即用 ) # wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar # vi /root/soft/redis.conf input { redis { host => '192.168.18.242' data_type => 'list' port => "6379" key => 'logstash:redis' type => 'redis-input' } } output { elasticsearch { host => '192.168.18.243' port => "9300" } } # java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf -- web --backend elasticsearch:///?local 现在可以通过浏览器访问一下 http://192.168.18.240:9292 看看logstash是的页面是个什么样子 配置logstash的agent (192.168.18.241) 安装sun-java6-jre sun-java6-jdk # wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar # vi /root/soft/redis.conf input { stdin { type => "stdin-type" } file { type => "linux-syslog" # Wildcards work, here :) path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog" ] } } output { redis { host => '192.168.18.242' data_type => 'list' key => 'logstash:redis' } } # java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf & OK,最后就是 Kibana了 ,我把Kibana装在了 logstash index上面 下载地址为http://kibana.org/intro.html # apt-get install ruby rubygems # gem install bundler #bundleinstall ( /var/lib/gems/1.8/bin/bundle install ) 以上为ruby运行环境 wget https://github.com/rashidkpc/Kibana/archive/v0.2.0.tar.gz #tar zxvfKibana-0.2.0.tar.gz #cdKibana-0.2.0 直接安装就好了,非常简单,因为之前咱们已经安装好了bundle 编辑配置文件,指定elasticsearch的位置 [192.168.18.240 root@nodec:/soft/Kibana-0.2.0] #vimKibanaConfig.rb ..... Elasticsearch="192.168.18.243:9200" KibanaPort=5601 KibanaHost='0.0.0.0' ..... 主要是这几个参数 启动的话需要ruby [192.168.18.240 root@nodec:/soft/Kibana-0.2.0] #/usr/bin/rubykibana.rb& [192.168.18.240 root@nodec:/soft/Kibana-0.2.0] #==Sinatra/1.3.5hastakenthestageon5601fordevelopmentwithbackupfromThin >>Thinwebserver(v1.5.0codenameKnife) >>Maximumconnectionssetto1024 >>Listeningon0.0.0.0:5601,CTRL+Ctostop 如果ruby的东西都不缺的话,启动会很顺利,ok现在看看5601端口的状态 [192.168.233.128root@nodec:/soft/Kibana-0.2.0] #lsof-i:5601 COMMANDPIDUSERFDTYPEDEVICESIZENODENAME ruby3116root5uIPv428947TCP*:esmagent(LISTEN) 访问一下 试试看http://192.168.18.240:5601尝试搜索一下php的错误日志,比如mysql 呵呵,要的就是这个效果,日志会实时的汇总到 logstash index 上供我们查询,当然这只是开始使用logstash的第一步而已,更多的高级功能可以看看官方文档http://logstash.net/docs/1.1.9/

优秀的个人博客,低调大师

【AI 智能运维平台】本周更新:内置AI巡检智能体,简单配置快速使用

Blueking Lite 是一个AI First的轻量版运维产品,具有部署资源要求低、使用成本低、渐进式体验等特点,为运维管理员提供日常运维中的必备工具。 📢 【平台 · 本周更新速递】 🔧 CMDB 1. 新增 Postgres 与 Docker 资产采集能力 2. 支持直接在模型分组下新增模型,优化交互体验 3. 修复配置采集agent端依赖包等版本兼容性问题 📊 监控系统 1. 强化监控策略页面体验,加入指标预览、引用变量 等功能 2. 优化监控视图列表中的 关键指标 展示效果 📌日志系统 1. 更新Vector采集组件,兼容所有Linux发行版(感谢群友 @一路有你 提供方案) 🤖 OpsPilot 1. 内置 PostgresDB 巡检助手、K8s巡检助手、Web应用巡检助手,调整配置即可使用(配置指引下周更新到官网) 2. 优化知识库的训练流程与交互反馈,并完善 OCR 模型权限引导,提升整体使用体验 3. 修复工作台的企微通知异常、节点运行异常等问题

优秀的个人博客,低调大师

用 Apache SeaTunnel 轻松实现数据到 S3 Tables 的快速集成

业务技术背景 在当今数字化转型浪潮下,企业正面临着海量数据的爆炸式增长,尤其在构建数据湖业务、BI分析以及AI/ML数据准备等关键场景中,需要高效、可扩展的大规模大数据存储解决方案。这些场景往往要求数据存储系统不仅能处理PB级甚至EB级的数据规模,还必须支持事务性操作,以确保数据一致性、原子性和隔离性,从而避免数据混乱或丢失的风险。 正因如此,Apache Iceberg作为一种先进的开源数据湖格式,应运而生并迅速崛起。它提供了可靠的元数据管理、快照隔离和模式演化功能,被众多科技巨头如Netflix、Apple和Adobe广泛采纳,已然确立了在数据湖领域的领导地位。根据行业报告,Iceberg的采用率在过去几年内持续攀升,成为构建现代数据基础设施的首选标准。 尽管Iceberg本身强大,但企业在实际部署中往往面临运维复杂性、扩展管理和资源开销的挑战,这就需要托管解决方案来简化操作。 亚马逊云科技在2024年re:Invent推出的S3 Tables特性,进一步强化了Iceberg的托管能力。这一创新功能允许用户直接在Amazon S3上构建和管理Iceberg表,可以将Iceberg表直接构建和管理在云存储上,无需额外的基础设施投资,从而显著降低运维成本和复杂度,同时充分利用云平台的全球可用性、耐久性和无限扩展性,提升数据处理的弹性和性能。这种托管方式特别适用于需要高可用性和无缝集成的场景,为企业提供云原生数据湖体验,确保数据湖在高并发读写下的稳定性。 在众多业务场景中,数据同步尤其是CDC(Change Data Capture)扮演关键角色,它支持实时捕获源数据库的变化并同步到目标系统,如数据湖或仓库。实时数据同步适用于对时效性要求高的场景,例如金融交易平台的欺诈检测、零售库存实时更新或医疗系统的患者记录即时共享,确保决策基于最新数据;而离线(或批量)数据同步则更适合非实时需求,如日常备份、历史数据归档或定时报表生成,避免资源浪费并处理大批量数据。 通过这些同步机制,企业能高效实现CDC数据摄入和批量同步,满足从实时分析到离线处理的多样化需求。 本文将介绍如何使用 Apache SeaTunnel ,一个高性能、分布式的大规模数据集成工具,通过兼容 Iceberg rest catalog 的实现对接 S3 Tables 实现实时和批量数据集成。 架构及核心组件 通过SeaTunnel 支持 Iceberg REST Catalog 对接,SeaTunnel 原生实现对 Apache Iceberg REST Catalog 的接入能力。Iceberg 的 REST Catalog 允许以标准化接口对元数据进行读写和管理,极大简化了客户端与 Catalog 交互的复杂度。 通过对 REST Catalog 的兼容,SeaTunnel 可以直接、无缝地将作业产出的表元数据同步注册到 Iceberg Catalog, 而无需研发自定义插件或手动维护元数据同步流程。这为数据湖的自动化运维和架构解耦创造了技术基础。 云原生数据湖能力:S3 Tables + REST Endpoint ,随着 S3 Tables的发布,S3 Tables 内置提供了 Iceberg REST Catalog Endpoint。SeaTunnel 能够直接对接S3 Tables,无需额外改造,即可将批量或流式数据流动写入到 S3 上的 Iceberg 表,并通过 S3 Tables 的 REST Endpoint 管理元数据和表结构。 这种原生对接极大降低了云上数据湖落地和扩展成本,实现了云原生、Serverless 的数据湖架构,管理和查询端都变得标准化、敏捷和易于演化。 数据与 Catalog 的流转闭环,高效支持 CDC 及全量离线同步,如图所示,数据同步链路基于 SeaTunnel 完成整合:无论是数据库(如OLTP/OLAP)、S3 离线分区还是流式变更(CDC 数据),都先统一接入 SeaTunnel,通过 SeaTunnel Sink 能力实时或批量写入 S3 Table Bucket。与此同时,Iceberg 表的元数据通过 REST Catalog 即时注册到 Data Catalog 服务(如 Lake Formation),实现业务表、元数据、访问权限等一站式协同。 CDC 实时场景下,数据库的变更可以低延迟同步,保证数据的鲜活性;而在批量同步或历史归档场景,也能稳定高效地将数据注入 S3 Table,并由统一 Catalog 发现和管理,适配数据湖/数据仓库混合查询模式。 综上,该架构的核心创新在于,SeaTunnel 通过 Iceberg REST Catalog 标准化了数据与元数据的流转方式,AWS S3 Tables 的 REST Endpoint 实现云原生、托管化部署,而 CDC 与离线数据同步能力让大规模数据湖具备了高效、灵活、实时的一站式数据流通机制。 数据集成演示 离线数据集成 以SeaTunnel 提供的fake 数据源测试批量数据写入 S3 Tables,首先编辑 SeaTunnel任务配置文件,Sink 配置为 Iceberg 连接器的 rest catalog,认证方式选择aws ,配置 rest uri 及 warehouse为 S3 Tables 的 endpoint 。如下示例: env { parallelism = 1 job.mode = "BATCH" } source { FakeSource { parallelism = 1 result_table_name = "fake" row.num = 100 schema = { fields { id = "int" name = "string" age = "int" email = "string" } } } } sink { Iceberg { catalog_name = "s3_tables_catalog" namespace = "s3_tables_catalog" table = "user_data" iceberg.catalog.config = { type: "rest" warehouse: "arn:aws:s3tables:<Region>:<accountID>:bucket/<bucketname>" uri: "https://s3tables.<Region>.amazonaws.com/iceberg" rest.sigv4-enabled: "true" rest.signing-name: "s3tables" rest.signing-region: "<Region>" } } } 启动SeaTunnel 任务 # 以 local model 测试 ./bin/seatunnel.sh --config batch.conf -m local 查看任务运行日志 在 S3 Tables bucket 查看表,在 Athena 进行数据查询 实时 CDC 数据集成 以MySQL cdc 数据源测试流式量数据写入 S3 Tables,首先编辑 SeaTunnel任务配置文件,Sink 配置为 Iceberg 连接器的 rest catalog,认证方式选择aws ,配置 rest uri 及 warehouse为 S3 Tables 的 endpoint 。如下示例: env { parallelism = 1 job.mode = "STREAMING" checkpoint.interval = 5000 } source { MySQL-CDC { parallelism = 1 result_table_name = "users" server-id = 1234 hostname = "database-1.{your_RDS}.ap-east-1.rds.amazonaws.com" port = 3306 username = "" password = "" database-names = ["test_st"] table-names = ["test_st.users"] base-url = "jdbc:mysql://database-1.{your_RDS}.ap-east-1.rds.amazonaws.com:3306/test_st" startup.mode = "initial" # 可选:initial/earliest/latest/specific } } sink { Iceberg { catalog_name = "s3_tables_catalog" namespace = "s3_tables_catalog" table = "user_data" iceberg.catalog.config = { type: "rest" warehouse: "arn:aws:s3tables:<Region>:<accountID>:bucket/<bucketname>" uri: "https://s3tables.<Region>.amazonaws.com/iceberg" rest.sigv4-enabled: "true" rest.signing-name: "s3tables" rest.signing-region: "<Region>" } } } ~ 启动SeaTunnel 任务 # 以 local model 测试 ./bin/seatunnel.sh --config streaming.conf -m local 查看任务运行日志,可以看到 cdc 完成一次快照拉取数据后在监听数据并进行数据摄入 同样可以在 Athena 查看数据 总结展望 随着Apache SeaTunnel对Iceberg和AWS S3 Tables的深度集成,企业数据湖架构将迎来更广阔的应用前景。 未来,在数据湖构建过程中,生产环境可以引入SeaTunnel的监控措施,如集成Prometheus和Grafana进行实时指标监控(包括任务执行状态、数据吞吐率和错误日志),确保及时发现并响应潜在问题。 同时,通过Kubernetes或Docker Swarm的弹性部署策略,实现SeaTunnel作业的自动缩放和故障转移,支持动态资源分配(如基于负载的Pod扩展),从而保证数据ETL流程的稳定性和高可用性。这不仅能减少手动干预,还能应对突发数据峰值,维持生产级别的可靠运行。 此外,结合AWS的高级功能如Athena查询引擎或Glue Crawler的自动化发现,企业可以进一步优化Iceberg表的查询性能,例如启用S3的智能分层存储来降低成本,或集成Lake Formation的安全治理来强化数据访问控制。这些优化将使数据湖在BI分析和AI/ML准备中更具弹性,支持PB级数据的低延迟查询和模型训练。 前述特定亚马逊云科技生成式人工智能相关的服务目前在亚马逊云科技海外区域可用。亚马逊云科技中国区域相关云服务由西云数据和光环新网运营,具体信息以中国区域官网为准。 作者 张鑫,亚马逊云科技解决方案架构师,负责基于亚马逊云科技的解决方案咨询和架构设计,在软件系统架构、数仓和实时及离线计算领域有丰富的研发和架构经验。致力于结合数据开源软件与亚马逊云科技云原生服务组件构建高可用数据架构的实践探索。

优秀的个人博客,低调大师

OpenTiny 体验官实操 | 快速体验 TinyVue 组件库的智能化交互能力

实验简介 通过体验基于标准 MCP 协议的 Web 智能组件库------TinyVue,开发者可以了解 AI 智能体控制 TinyVue 智能组件的各类行为。本次实验主要是在 TinyVue 官网上,开发者能够通过 AI 对话框,以语音或文字方式与网站组件进行互动,并且还能借助 VSCode Copilot、Cursor 等 IDE 工具,Dify、Coze 等智能体平台来操作这些组件。 实验目标 按照操作手册完成体验项目。 通过体验 AI 操作(基于标准 MCP 协议)Web 页面的过程,让 AI 智能体代替人进行页面操作,实现业务目标。 了解 TinyVue 智能组件库的能力。 实验场景 Web 浏览器 基本要求 熟练使用 VSCode 编辑器和 Chrome / Edge 浏览器的调试,具备基本的编程能力。 实战 步骤一:在 TinyVue 官网体验智能组件 打开 TinyVue 智能组件库官网: https://opentiny.design/tiny-vue/zh-CN/os-theme/components/grid 点击页面右下角的智联图标,并将 demo 切换到组合式模式,参考下图: 打开 AI 对话框,可以通过打字聊天来操作表格,比如:请帮我选中公司人员表中员工最多的公司、帮我删除员工数最多的公司数据等等,可以体验通过自然语言对表格进行数据的增删改查操作。 步骤二:在手机端使用语音或者 AI 对话框操控电商演示页面 打开打开一个标准的电商管理演示页面: https://opentiny.design/tiny-vue/zh-CN/os-theme/comprehensive (演示用的临时链接) 在右侧 AI 对话框中使用打字聊天的方式操作电商管理界面,可以对管理界面进行增删改查 点击手机遥控按钮打开二维码弹窗,通过手机微信扫码打开智联遥控器页面(需要在默认浏览器中打开此页面) 通过语音控制器来操控界面 通过综合遥控器来操控界面 步骤三(可选):使用业界通用的 AI 智能体操控电商演示页面 如果有 Coze 账号可以体验使用 Coze 空间来控制标准电商管理演示页面 a. 点击扩展按钮添加自定义扩展 b. 在自定义扩展中添加如下配置: 注意:请将 xxx 替换成你自己的域名,参考链接:https://opentiny.design/opentiny-design/guide/mcp { "mcpServers": { "next-mcp-server": { "type": "sse", "url": "https://xxx/sse?sessionId=[sessionId]" } } } c. 将电商网站的 sessionId 复制到配置中去,打开电商管理演示界面的 F12,然后在会话存储空间中找到 sessionId(注意要删除第一个字符,因为其表示 sessionStorage 存储值的类型) d. 添加此自定义扩展,然后在扣子空间的聊天框中通过聊天的方式操作页面 如果有 Dify 账号可以体验搭建 Chatflow 来控制标准电商管理演示页面 a. 在 Dify 控制台新建 Chatflow 工作流 b. 在开始和结束节点之间添加 Agent 智能体,配置大模型 LLM 和 Agent 策略,配置 MCP 服务配置 c. 点击预览按钮,输入 sessionId(获取方式同 Coze 空间体验方式),然后进行聊天操作界面 总结 通过以上步骤,您已经体验了 TinyVue 组件库的智能化交互能力: 通过 AI 对话框操作组件(如表格、电商管理页面)。 使用手机遥控器进行语音交互。 利用 Coze 或 Dify 平台,实现更高级的自动化与智能化交互场景。 引领 Web 智能开发新范式。 关于 OpenTiny 欢迎加入 OpenTiny 开源社区。添加微信小助手:opentiny-official 一起参与交流前端技术~ OpenTiny 官网:https://opentiny.design OpenTiny 代码仓库:https://github.com/opentiny TinyVue 源码:https://github.com/opentiny/tiny-vue TinyEngine 源码:https://github.com/opentiny/tiny-engine 欢迎进入代码仓库 Star ⭐ TinyEngine、TinyVue、TinyNG、TinyCLI、TinyEditor~ 如果你也想要共建,可以进入代码仓库,找到 good first issue 标签,一起参与开源贡献~

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册