首页 文章 精选 留言 我的

精选列表

搜索[万物智联],共10000篇文章
优秀的个人博客,低调大师

倒计时5天丨智享盛宴,GAITC 2024 会、展、赛共谱精彩篇章

2024全球人工智能技术大会(GAITC 2024)将于2023年6月22日至23日在杭州璀璨启幕。本届大会继续沿袭“会、展、赛”三位一体为核心架构,邀请国内外院士、专家学者、企业代表共同分享和探讨人工智能领域的最新研究成果,为与会者带来一场思想碰撞的盛宴。同期更有科技创新企业最新技术、产品展示,世界各地青年精英的才华和创意比拼,以及“一带一路”倡议下的人工智能可持续发展大会同登大会舞台,共同推动人工智能领域的创新与发展,开创智能科技的新篇章。 产学研合作新篇章 2024全球人工智能技术大会由中国人工智能学会主办,于6月22日至23日在杭州未来科技城学术交流中心、余杭温德姆花园酒店召开。此次盛会共设有7场主题演讲,一场“大手拉小手”院士与中学生对话环节和32场专题活动,20余位中外院士领衔、200多位专家齐聚一堂,他们将在专题研讨中就AIGC应用、大模型与安全、机器人智能感知与决策、智能交互、协同智能、智能大数据、模式识别、智能融合、群体智能与具身智能、AI法律、智能医学、智能驾驶、智能传媒、AI人才培养以及AI伦理等几十项热门议题展开深入探讨,从学术、技术、产业和社会四个层面共同剖析智能时代带来的机遇与挑战,为与会者呈现一场知识丰富、内容充实的智能盛会。 共绘一带一路国际蓝图 2024 IEEE“一带一路”人工智能可持续发展大会由中国人工智能学会联合IEEE China Council主办,CAAI 社会计算与社会智能专委会、CAAI 会员服务工委会承办,于2024年6月22日至23日在杭州未来科技城学术交流中心举办。大会邀请国内外“一带一路”相关国家政府机构代表、科研院所及企业负责人、学术研究机构、社会组织各界嘉宾共同参加,围绕人工智能与新兴技术,大数据平台支撑可持续发展,可持续发展的智能城市和社区,全球减灾和人工智能,人工智能与健康福祉,海洋与海岸带可持续发展,人工智能与人口可持续发展等热点主题探索通用人工智能新路径,旨在携手打造国际化交流平台,构建全球性共创模式,为一带一路高质量、可持续发展凝共识、集众智、聚合力、谋未来。 创新前沿的立体展示 2023年全球人工智能技术博览会由中国人工智能学会主办,CAAI 智能光学成像专委会执行,将于6月22日至25日在杭州未来科技城.国际会议中心和学术交流中心序厅举行,以"技术蝶变 产业焕新"为主题,致力于推动人工智能技术的创新与发展。本届博览会共设十大展区,涵盖智能制造、电子信息、新材料等多个领域。华为、蚂蚁集团、百度、MoPaaS魔泊云、唯精医疗、云迹科技、涿溪实验室等行业前沿代表企业将在博览会上展示人工智能的最新成果和应用前景,带领观众们真切感受人工智能技术的崭新突破和产业变革的磅礴力量。 构建人才交流的新高地 2024全球人工智能技术创新大赛(Global AlInnovation Contest)-算法挑战赛由中国人工智能学会主办,天津大学机器学习与数据挖掘实验室、上海和今信息科技有限公司协办,大赛将于6月21日在杭州未来科技城梦想小镇互联网村19幢举行。本届大赛设置无人机视角下的双光目标检测及无人机视角下的双光人群计数两大赛道,以期立足国际视野,聚焦前沿科技与应用创新,推进人工智能领域的学术交流、人才培养、技术发展以及跨界应用与融合,打造人工智能的人才交流平台与产业生态圈。 区域合作与科创加持共谱新篇 近几年来,杭州未来科技城与中国人工智能学会紧密合作,紧紧抓住人工智能产业的发展机遇。通过不断完善人工智能生态,积极吸引和集聚高水平的创新载体,逐步形成了具备强大区域产业合作和竞争能力的高端人工智能产业集群。此次大会的举办,不仅是对杭州未来科技城及余杭区建设具有全球影响力的人工智能研发与产业高地的有力推动,更是杭州未来科技城在人工智能领域取得卓越成就的又一里程碑。同时,这也是对中国科协“科创中国”项目的深入实践与重要展示。

优秀的个人博客,低调大师

袋鼠云思枢:数栈DTinsight,创新升级,全新出发,驶入数智转型新赛道

在7月28日的袋鼠云2022产品发布会上,基于对现在与未来的畅想,袋鼠云产研负责人思枢正式发布了全新的四大产品体系。 其中的数栈DTinsight,相信大家都很熟悉了,不同于数驹这位新朋友,数栈作为袋鼠云和大家经常见面的“老朋友”,在保持初心的同时,这次也有了一些不一样的变化。 作为袋鼠云打造的一站式大数据开发与治理平台——数栈DTinsight,包括离线数据开发、实时数据开发、数据服务、数据资产四款产品,在数据采集、加工、统一服务的基础上,将全域数据资产汇聚、数据治理融合其中,极大地缩短了数据价值的萃取过程,提高企业提炼数据价值的能力。 以下为思枢演讲全文: 接下来我来为大家介绍一下“老朋友”数栈DTinsight,如何面向数据提供一站式数据开发与治理能力,帮助企业实现数据价值呈现。 一、惊喜变化 数栈全新起航 早期企业在进行数据价值化建设过程中,为了更好的服务上层业务需求,从业务需求出发,驱动后端业务系统及对应数据库建设,这在一定程度上满足了上层业务需求。但随着业务需求的增多,业务复杂性的增加,相关的问题也暴露了出来:如超过TB级以上海量数据的分析能力差,各个业务板块数据进行融合分析难度高,面向多变市场的灵活性业务需求难满足等。 原有的基于业务需求快速迭代开发而形成的烟囱式业务系统,无法满足当下数字化场景需求,迫切需要一个能够处理多源异构数据源、PB级数据存储、强大分析引擎、标准数据规范,且灵活便捷的全新“系统”,而数栈DTinsight也由此而生。 数栈DTinsight,对标一站式数据开发与治理,在面向多源异构数据源时,通过数据汇聚能力实现全域数据打通,而后通过数栈多年经验形成的数据治理方法论,在数据开发过程中,形成数据资产,完成数据治理工作,并通过数据服务能力,将高质量的数据高效共享,为报表分析、决策分析等提供数据支撑,赋能各行各业。 在整个过程中数栈聚焦数据问题,打通数据链路,将全域数据资产汇聚,统一数据治理融合其中,缩短数据价值的萃取过程,增强企业提炼数据价值的能力,为企业提供一站式解决方案。 请大家看数栈的产品架构图: 在数栈整个产品的设计过程中,主要分为四大模块,分别是用于批任务的离线开发平台、用于实时任务的实时开发平台、用于数据治理的数据资产平台、用于数据服务的数据共享服务平台。 整个数栈通过集成自研的数据集成框架ChunJun对接30+异构数据源,包括传统的关系型数据库、NoSQL数据库HBase、文档数据库MongoDB、国产数据库达梦等,将数据统一存储在数驹或其他大数据平台,包括开源Hadoop体系以及商业版CDH、TDH、FI等,也可以存储在数仓引擎中包括GP、TiDB等,而后在这之上开展基于DataOps理念的数据价值化流程。 同时数栈各个板块基于解耦化的设计,能够基于客户需求灵活搭配,如离线+API完成传统数仓体系搭建,离线+资产+API构建数据治理体系,实时+API构建实时数仓等。 在这里也重点讲下数栈在DataOps理念下的实践。DataOps是一种协作式数据管理的实践,致力于改善组织中数据管理者与使用者之间数据流的沟通,集成和自动化。 数据开发同学在完成一个ETL任务的过程中,一般需要经过数据源的准备—数据同步—数据检查—数据处理—数据校验—数据分析这6个步骤。在这过程中: ● 持续开发 数栈提供了SQL IDE、Gitlab等开发工具,来支持敏捷的数据开发任务; ● 连续测试 数栈提供丰富的sql测试集和性能测试,达到保障数据准确性的作用; ● 持续部署 数栈提供一键式测试任务到生产任务的发布和大规模工作流的自动化编排; ● 数据治理 数栈提供元数据的自动化生命周期管理和全链路的数据血缘解析。 二、五大特性 数栈核心理念 说了这么多,接下来重点聊聊数栈的产品特性,主要包含以下几点: ● DataOps 基于DataOps设计理念,数栈实现了数据全生命周期的质量监管和数据开发流程规范,为数据治理保驾护航; ● 数据还原 数栈不仅仅能够实现数据实时同步,也能实现源端数据结构到目的端的实时还原,真正做到数据复现,完整统一; ● 金融级安全 数据的全域打通在加快了数据价值化呈现进程的同时,也放大了数据安全隐患问题。数栈基于系统安全、数据安全、服务安全和行为审计四大维度,实现数据安全管控,操作有迹可循,避免数据泄露,保证数据安全高效地共享服务; ● 全域数据治理 通过打通数据壁垒,建立基于统一数据标准和数据模型,监控数据质量,形成高质量的数据资产,为上层业务提供便捷的数据服务,并能生成质量报告,不断优化数据,持续赋能数字化场景; ● 兼容开放 数栈秉承开放兼容的设计理念,兼容多种底层计算引擎包括开源Hadoop体系、商业Hadoop版本和多种数仓引擎,在国产信创道路上兼容多种国产操作系统、国产数据库、国产服务器以及国产芯片。同时本着基于开源回馈开源的思想,数栈也将核心组件进行了开源,包括数据集成框架ChunJun、百万级调度引擎Taier。 三、赋能业务 数栈应用场景 说完产品特性,接下来通过介绍三个数栈的实际应用场景,以点及面地帮助大家更好得理解数栈。 数栈X金融场景 我们都知道随着移动APP的兴起,我们的金融交易不再局限于银行柜台,通过手机就可以实现各种各样的金融活动,这加大了金融交易的安全隐患,社会上因金融诈骗而被骗取钱财的新闻屡见不鲜。如何保证在海量金融交易过程中,进行金融交易行为的风险评估,保证消费者的权益是时下金融客户急需解决的问题。传统的数据分析模式,因数据标准不统一、数据质量差,导致数据分析逻辑复杂,耗时周期长,无法做到及时反馈结果,等发现时已为时已晚。 袋鼠云帮助金融客户借助数栈一站式数据开发与治理的能力,汇聚金融各种交易数据,构建金融的实时数仓,实现数据分析的毫秒级响应,让消费者在享受金融交易便捷性的同时,无感分析交易风险,避免金融诈骗等高危操作,同时对交易行为进行实时推送、异常行为实时预警,助力安全金融的构建。 数栈X水务场景 我们知道在夏季,一些河流较多的城市容易发生洪涝,一旦降雨增多,还会附带泥石流等灾害因素,对应的各级政府在雨季对于洪涝抢险救灾一向是时刻关注。但传统的监控无法做到精准的灾害预警和灾后的应急响应,造成大量的国家资产损耗,甚至是人员伤亡。 袋鼠云数栈基于河流以及环境监测数据等,制定事前、事中、事后三步走策略,通过事前实时监测,包括降雨、水位等,实时将数据反馈到监控大屏中;然后在事中进行实时预测,包括降雨预测、灾害预警等,将未来可能发生的事情实时展示到大屏中,为灾害做好预防准备,及时通知人群疏散,最大程度避免人员伤亡;最后实现事后响应,对当前灾情进行统计分析,为抢险救灾提供数据决策支撑,合理调配人员安排,最大程度避免国家财产损失。 数栈X集团港口场景 对于一个港口而言,货物吞吐量是衡量港口能力的一个因素,如何最大化提高港口货物吞吐是所有港口一直在思考的问题。传统的港口调度因各个区域的职责所属,无法感知全港口的货物走向,只能基于自身区域进行人员的调配和车辆的调配,实现区域内的“局部最优”,某种程度上提高了港口的货物吞吐量,无法实现“全局最优”。 袋鼠云数栈从全港口角度出发,打通全港口数据信息,感知全港口货物走向,了解各区域货物吞吐速率,针对“拥挤”区域,进行资源倾斜和人员调配,同时感知“未来货物”量,及时做好资源准备,最大程度上提高全港口的人员与车辆调度能力,实现港口货物吞吐量的最大化,让“信息化”港口升级为“智慧化”港口。 四、不忘初心 数栈砥砺前行 从2016年推出数栈算起,一晃眼,数栈已经走过了第六个年头,未来数栈将继续秉持初心,在不断打磨自身的同时,追求更深层次的突破。 未来规划 · 资源分配:从传统的定值设定,到结合任务负载,进行精细化参数调节,实现更加高效的资源利用。 · 数据共享:建立按需共享模式,实现企业内的跨业态、跨部门的经验分享,沉淀企业内的数据知识库,满足更高的数据共享需求。 · 数据监控:实现自动化干预数据,根据每日的任务运行情况等多维度信息建立系统自诊断能力,及早预测、发现、干预数据问题,变被动为主动。 · 数据校验:实现智能化规则创建,自动扫描SQL和表信息,获取不合规因素,自动建立合理的数据校验规则,降低手动配置工作量。 袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

优秀的个人博客,低调大师

鲲鹏展翅·智耀津门 鲲鹏应用创新大赛2020(天津赛区)宣讲会成功举行!

2020年7月29日,由天津信息技术应用创新产业(人才)联盟指导,天津鲲鹏计算产业联盟和华为技术有限公司协办,天津鲲鹏生态创新中心主办的鲲鹏应用创新大赛2020(天津赛区)宣讲会在天津水游城假日酒店成功举行。 为了贯彻落实天津市政府鲲鹏产业发展的战略部署,加快鲲鹏行业解决方案孵化,天津鲲鹏生态创新中心与华为技术有限公司联合面向天津ICT行业启动了鲲鹏应用创新大赛,并希望通过激发创新潜力,培养鲲鹏产业发展所需的基于鲲鹏生态的软件适配、迁移、软件开发、解决方案孵化等研发能力,推动天津计算产业发展,支撑天津政企行业数字化转型升级。 会上针对前期参赛时选手关心的热点问题一一做了解答,答疑环节包括了天津赛区的具体安排、鲲鹏展翅认证的具体流程、技术认证的评审标准,以及如何更高质量地完成测试报告等丰富内容。还分享了华为鲲鹏计算领域围绕 TaiShan 系列服务器推出的鲲鹏展翅伙伴计划,鼓励开发者和初创团队加入鲲鹏生态圈,通过整合华为的技术、品牌资源,与合作伙伴共享商机和利益,助力合作伙伴与华为联合打造基于鲲鹏的联合解决方案,促进商业成功。 会上介绍了鲲鹏凌云认证流程以及华为云围绕鲲鹏云服务(含公有云、私有云、桌面云)推出的鲲鹏凌云伙伴计划。华为云为合作伙伴提供培训、技术、营销、业务的全面支持,帮助伙伴基于华为云鲲鹏云服务进行开发、应用移植,并开辟云市场鲲鹏专区,助力伙伴商业变现。 会上还分析了鲲鹏软件迁移过程中所涉及的Makefile依赖分析、pom依赖分析、xml和setup.py依赖分析的一些方法,并总结了通用的迁移思路,同时还进行了实战案例分享,针对案例做了实际的迁移演示。 2019年中共中央办公厅文件明确提出国产全面替代三年内完成,国内各大软硬件企业被赋予了新时代信息强国的责任和使命,尤其在当前严峻的国际形势下,产业发展必然越来越快。据了解,鲲鹏从诞生之日起就已经在做适配,已经支持所有的国产操作系统。天津的麒麟操作系统以及天津大型数据库厂商的平台性软件都已经做完适配。当前要做的是把上层应用的软件基于鲲鹏基础的环境再做适配,为客户提供全国产化环境的场景和解决方案。 “为了给所有的合作伙伴提供一个解决方案适配、国产化适配的基础环境,天津鲲鹏生态创新中心的基础环境可以免费或者以优惠的形式开放给企业,对于已经在高新区注册的软件企业,还提供额外的销售补贴及资源支持,以助力产业创新发展,推动行业数字化转型。”会上透露的这一利好消息无疑给天津地区鲲鹏生态的发展打了一剂强心剂,让我们拭目以待天津鲲鹏生态的蓬勃未来。 【责任编辑: 张燕妮 TEL:(010)68476606】

优秀的个人博客,低调大师

鲲鹏展翅·智耀津门 | 鲲鹏应用创新大赛2020(天津赛区)宣讲会开讲啦!

2020年7月29日下午两点,鲲鹏应用创新大赛天津赛区宣讲会将准时在线开启。本场宣讲会将重点面对开发者介绍鲲鹏开发者大赛,以及鲲鹏认证流程,并且介绍软件迁移实战案例,帮助参赛选手更深刻地理解鲲鹏,从而提交更优秀的作品。 为了贯彻落实天津市政府鲲鹏产业发展的战略部署,加快鲲鹏行业解决方案孵化,今年7月11日,天津鲲鹏生态创新中心与华为技术有限公司联合面向天津ICT行业启动了鲲鹏应用创新比赛活动。大赛希望通过激发创新潜力,培养鲲鹏产业发展所需的基于鲲鹏生态的软件适配、迁移、软件开发、解决方案孵化等研发能力,推动天津计算产业发展,支撑天津政企行业数字化转型升级。 本赛事主要面向企业参赛者,同一家企业允许多个不同解决方案团队报名参赛。比赛规则也非常直接,就是基于鲲鹏(包括华为云鲲鹏云服务、鲲鹏主板、鲲鹏服务器等)构建面向不同行业,不同场景的软硬件解决方案。在8月15日提交作品最后截止日期前,参赛作品需要完成鲲鹏认证流程的发起和完成兼容性测试并在线输出测试报告,并把测试报告(或兼容性认证证书)与参赛作品一起提交。悄悄地透露一句:如果作品拥有商业实战案例,或者作品正在商用/试商用过程中,将会成为加分项噢! 本次比赛共分为“金融”、“政府”、“大数据”、“ARM原生应用”、“开放赛题”5个赛题,基于天津区域的生态拓展以行业应用为主,面向企业较多。在评选方面,大赛将从“金融”、“政府”、“开放赛题”这三个赛题分别选出一二三等奖各1名,再从“大数据”、“ARM原生应用”这两个赛题选出一名优秀奖,总奖金高达34万! 好啦,关于大赛的情况就先“剧透”到这里,感兴趣的小伙伴们欢迎扫描下方二维码,报名观看天津赛区宣讲会! 【责任编辑: 张燕妮 TEL:(010)68476606】

优秀的个人博客,低调大师

【新智元干货】计算机视觉必读:目标跟踪、网络压缩、图像分类、人脸识别等

网络压缩(network compression) 尽管深度神经网络取得了优异的性能,但巨大的计算和存储开销成为其部署在实际应用中的挑战。有研究表明,神经网络中的参数存在大量的冗余。因此,有许多工作致力于在保证准确率的同时降低网路复杂度。 低秩近似用低秩矩阵近似原有权重矩阵。例如,可以用SVD得到原矩阵的最优低秩近似,或用Toeplitz矩阵配合Krylov分解近似原矩阵。 剪枝(pruning) 在训练结束后,可以将一些不重要的神经元连接(可用权重数值大小衡量配合损失函数中的稀疏约束)或整个滤波器去除,之后进行若干轮微调。实际运行中,神经元连接级别的剪枝会使结果变得稀疏,不利于缓存优化和内存访问,有的需要专门设计配套的运行库。相比之下,滤波器级别的剪枝可直接运行在现有的运行库下,而滤波器级别的剪枝的关键是如何衡量滤波器的重要程度。例如

优秀的个人博客,低调大师

当华为技术团队驻扎一年后,高青这个县开始“智变”了

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 【51CTO.com原创稿件】“智慧城市都下沉到县城了?” 这是大多数人听到记者分享之后的***个反应。 “区区一个县城,上马智慧城市不是大材小用吗?” 这是紧随其后的第二个反应。 “哪个县?” 一座城池一个智慧标杆 山东省淄博市高青县,一个人口只有37万人的普通县城,农牧产品是其主打特色。在智慧高青建设办公室副主任赵新国眼里,高青的特色实在太多太多:高青的西红柿“好吃得和小时候一个味道,春节的时候30元一斤都采购不到”,高青的黑牛肉“煎起来不用一滴油,香得吃不够”,高青的“扳倒井酒”堪称浓香型精品,“窖香浓郁,醇甜绵柔,香味谐调,回味悠长”,高青的大米“从清朝开始就小有名气,又软又粘香喷喷”,高青的天然富锶温泉“饱含负离子,健康又养生”…… 在赵新国看来,拥有这么多的优质资源,更需要通过发展智慧产业,强化善政兴业惠民应用,促产业转型创新发展。他告诉记者,早在一年前高青县十四次党代会上,新一届县委班子就确立了建设生态高青、产业高青、智慧高青、活力高青、幸福高青“五个高青”的总体发展思路,把智慧高青树立为“五个高青”建设的***工程。 在全国2871个县城里,有鲜明农牧特色的县城多如牛毛,为什么华为最终与高青县政府“看对了眼”,投入巨大把高青打造为智慧城市的县级样板?华为EBG中国区智慧城市总工姚健奎透露,其中一个重要因素就在于高青县政府“一把手”的大力支持,以及像赵主任这样拥有20多年信息化建设经验基础的专业团队支撑。 据记者了解,华为组建了一支几十人的技术团队常驻高青,这一年来,华为多条产品线的负责人有条不紊前来“领任务”,生态伙伴也一拨又一拨地前来支援建设,成果非常显著——高青县一举成为“2017智慧城市示范城市”之一。坦白说,这个荣耀,在全国县级范围内也***。 淄博市委常委、副市长杨洪涛和华为轮值CEO郭平率队考察智慧高青数据中心和园区规划 善张网者引其纲 目前在国内,尚没有全地域、全领域、全覆盖、全应用的真正意义上的智慧城市。赵新国表示,他们希望将高青打造成一个“全地域、全领域、全覆盖、全应用、全体系、全协同、全联接”的智慧城市。 说易行难,建设智慧高青是一项非常复杂的庞大工程,高青县政府和华为都意识到这一点。正所谓“善张网者引其纲”,在建设之初,高青县智慧办和华为智慧高青项目部就共同制定了一个建设方略,即“四化+”:复杂工程简单化、简单工程流程化、流程工程标准化、标准工程模板化。赵新国坦言,智慧高青建设,就是要做可运营、可复制、可推广的县域智慧城市标杆,“这个标杆化仅仅依靠高青自己做不了,必须借助华为的力量。” 姚健奎表示,华为完全根据高青的需求来分阶段建设,在最开始做顶层设计和搭建基础平台时,就已经考虑到未来将融合农业、教育、医疗,以及和百姓生活、城市发展、城市治理相关等多类应用的问题。”通过这个开源架构的开放平台,不仅可以满足未来业务拓展的需求,而且可以帮助产业衍生出更大的价值。” 记者了解到,目前高青县已经建成了GIS地理信息云平台、视频和通信融合平台、城市大数据平台、IoT物联网平台,以及eLTE专网、eLTE-IoT物联网和智慧高青综合信息网,部分关乎政府管理和民生服务的智慧应用已经在逐步上线试运行。 华为,为高青所欲为 来跟着记者看看高青县这个智慧城市“试验田”究竟长出怎样的智慧果实吧。 智慧农业让农民的感受最为明显。正如上文中赵新国所言,高青县特色农产品有十几个,那么怎么才能让农民不盲目跟风,理智选择最适合自己的农产品呢?这就是智慧农业的价值,通过贯通产、供、销全产业链全体系的智慧应用,让农民知道自己土地的土质水质,适合种哪些农作物,应该种多少、怎么种、怎么管,在收获时节如何让农民卖得快、卖的好、收入高。“智慧农业把这些环节都掌控起来,同时让消费者知道自己吃的食物是谁种的、怎么种的、谁卖的,这样才能买的便利、吃的放心。”赵新国介绍到。 华为搭建的eLTE专网让政府管理更有效。高青县以前有767个自然村,有800多个传统机械水表。当需要进行供水抄表的时候,自来水公司需要派遣两辆车五六个人,前后跑500多公里十天半月才能完成。而有了eLTE,我们只需将原有水表稍作改造,自来水公司不仅可以实现秒级抄表,而且还可以通过物联网设备发现管网漏洞,及时维修。同样,接入eLTE专网的燃气表,可以让百姓在手机上直接缴费,既省得跑腿又更加高效。 据了解,在华为技术的主导下,高青县的智慧城市已经有了四大成果。一是GIS时空地理信息平台,精度可达3CM;二是视频和通信融合平台,目前高青县所有视频正在逐步接入平台,包含公安、交通、环保、水利、企业、甚至民众的摄影头,实现高青县的视频全覆盖;三是高青把全县划分了243个网格,每个网格有网格管理员,配备eLTE的专用手机,所有的智慧应用都可以落实到网格上;四是高青还在着力打造智慧高青综合信息网,将实现全地域全领域全应用的视频、语音、数据、互联网的四网融合。 在采访***,赵新国表示,之前有一句口号深入民心,那就是“要想富,先修路”,智慧城市建设同样如此,也要先修信息高速公路。现在高青县已经有了3千平米的大数据中心,正在建设1.3万平米T3+数据中心和规划建设6万平的智慧大厦。他强调,通过智慧城市建设,走数字化转型发展之路,他们非常有信心实现智慧高青建设的三个目标:善政、惠民、兴业。 【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】 【责任编辑: 周雪 TEL:(010)68476606】

优秀的个人博客,低调大师

智于技而胜在云:智胜企业互联网大数据系统上云实践

本文正在参加“最佳上云实践”评选,来给我们投票吧:https://yq.aliyun.com/activity/158(编号6) 我们背靠北京大学,业务范围覆盖印刷、传媒、大数据、出版、字库、数字教育等领域,致力于为客户提供先进的信息处理技术、产品、解决方案及增值服务,使最终用户能随时随地通过各种终端设备体会移动互联网时代的信息化生活。自2006年以来,我们一直专注于大数据产品的研发与应用,并取得了大数据相关专利上百余项,拥有强大的技术研发能力。多年来,我们秉承着“技术为本、应用为先”的经营理念,为各行各业的用户提供先进的大数据整体解决方案,有力地提升了政府管理能力、机构决策水平以及企业市场竞争力。截至目前,我们大数据整体解决方案已服务国内外用户超过200家。 智胜企业互联网大数据系统实现对互联网信息进行精准提炼,以事实为依据、用数据说话,帮助企业倾听互联网声音,想(分析)消费者之所想、做(决策支持)企业之所需,以品牌为核心,实现行业趋势、负面舆情感知,危机公关监测和商业情报挖掘分析。 从自建平台到混合云 我们于2003年率先进行信息检索与文本挖掘等基础技术的研究。相继推出互联网舆情监控系统、微博监测分析系统,形成全面成熟的舆情整体解决方案,完成多个大型项目的建设,持续领跑舆情行业。并且在2011年率先尝试以多租户方式(SaaS)服务于不同行业。致力于云计算、大数据技术的研究与应用,完成自有大数据服务中心建设(机房内服务器数量达300台之多),搭建了自己的Hadoop、Spark、Storm等对应的大数据处理平台;在数据库方面,采用MySQL、MongoDB等主流数据库,研制并推出了互联网大数据信息服务平台,为不同行业用户提供大数据应用解决方案。 在2015年,接触阿里云之后,逐渐采用阿里云的产品,从ECS、RDS、OTS到MaxCompute等等,目前我们形成了混合云的模式,既我们的大数据服务中心数据推送+阿里云系统应用部署模式。 云端迁移之路 智胜企业互联网大数据系统中的前端程序基于java语言编写,可直接部署在阿里云的ECS中。此外,前端程序使用的Redis和MySQL服务,可直接替换为阿里云的云数据库Redis版和RDS版,并且不需要定制的客户端连接程序。因此,我们的前端程序直接部署在了阿里云的ECS中,未进行端服务连接方式修改。 由于阿里云RDS兼容MySQL客户端,结构化数据在迁移中未遇到任何困难,非常平滑的完成了迁移。对于非结构化数据,我们将其统一进行格式化之后,存储于阿里云的TableStore实例中。基于TablesStore存取方式,以及我们数据接收、上载程序定义的数据存取接口,快速完成了数据读取操作的过度。 通过阿里云OpenSearch同TableStore配合使用,可直接对存储在TableStore中的海量数据建立全文索引,方便对海量的数据进行搜索操作。 我们基于MapReduce编程模型的机器学习程序,直接部署在了阿里云的MaxCompute大数据开发套件和机器学习平台上,完成舆情数据自然语言处理、聚类、分类等操作。 架构分析 下面是智胜企业互联网大数据系统架构图: 通过智胜企业互联网大数据系统中,将企业用户配置的关键词、微博主等信息,同步到我们的数据中心以及阿里云的公众趋势分析系统后,我们的数据中心会持续向相关的数据推送到指定的阿里云服务器中,并且我们还会定时从公众趋势分析系统中获取数据,完成相关数据的原始积累。原始数据转换为数据上载程序要求的格式,从而开始进行数据上载操作。 数据上载主要任务是,完成数据的预处理过程,比如使用机器学习平台完成自然语言处理、文本聚类、分类等操作,以及数据TableStore保存,历史数据保留指定天数后即删除。 对于热点事件的挖掘、相关事件的发现等功能,由机器学习模块完成。通过对于数据进行自然语言处理、分类、聚类以及情感度分析,可及时发现热点事件以及相关数据,并对此事件进行持续跟踪和数据挖掘。 智胜企业互联网大数据系统的前端模块,通过调用TableStore服务和OpenSearch服务,完成大数据的查询功能。通过MySQL数据库完成业务数据的操作功能,最终以Web交互页面的形式展示给用户,供用户使用。Redis主要完成缓存功能。 微博、微博用户相关的分析功能,通过定时调取公众趋势分析系统的接口,完成数据的获取并存储到MySQL数据库中,供智胜企业互联网大数据系统的前端模块使用。 智胜企业互联网大数据系统目前已接入阿里云市场,我们作为阿里云市场的isv,可通过阿里云市场对用户购买我们产品的付费行为做出响应,以账号的形式供用户使用,而阿里云市场则为我们提供了交易管理界面,方便后续的用户运营等。 目前数据上载每小时处理数据量约1GB左右,TableStore平均写延时在15ms左右,读延时在5ms左右,可以满足需求。MySQL数据库容量使用保持在20GB左右。 目前业务中大量的计算操作集中在数据的统计方面。在目前数据量下,机器学习模块利用已有的数据模型以及算法,可以满足每小时约1GB左右数据量的处理工作。在目前数量下,OpenSearch响应时间约为100ms左右,通过定期将数据导入MySQL进行更加细致的统计操作,以统计结果的形式保存,减少重复检索行为和压力。此外通过对SQL脚本的持续改进,使得系统响应延时基本保持在一个可用范围内,并随时可通过服务器数量的横向扩展,应对访问容量的增加。 上云前后 单从性能上讲一方面阿里云服务器安全和易维护,并且由于基于虚拟化技术和阿里强大的云服务器硬件资源,云主机的磁盘IO性能相比我们自己的大数据中心机房更有优势,能够应付互联网海量数据采集与分析环节频繁的随机读写和连续读写,满足上层数据全文检索和大数据分析等应用。另一方面云服务器硬件配置升级方便,性价比高,另外阿里云BGP多线技术和分发缓存技术,对于互联网大数据SAAS应用,在成本方面优势非常明显,灵活的收费方式可以节约很多成本,同时也为不同细分用户市场提供更加灵活价格区间及应用功能。 最后 由于阿里云操作的便捷性,在上云过程中并未遇到太多的问题,主要时间花费在了各项服务的初始化以及各个系统的部署、调试上。此外,依靠阿里云提供的性能监测、报警功能,方便了运维人员及时发现系统异常,并及时采取措施。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册