首页 文章 精选 留言 我的

精选列表

搜索[开启],共10000篇文章
优秀的个人博客,低调大师

开启数据中心全数字化转型序幕 思科ASAP带你颠覆传统架构

【51CTO.com原创稿件】企业数字化转型早已经是现在进行时,在美国,13万家企业已经开始全数字化转型。全数字化转型的迅猛发展势头正在全球不断蔓延中。为了应对企业客户全数字化转型的迫切需求,思科的技术转型和创新也在不断加快。 从2016年11月推出至今,思科这款名为“ASAP”模式下的全新数据中心服务模式和架构受到了用户极大的肯定,思科顺利以此掀开了全数字化转型的序幕。51CTO记者采访了思科大中华区副总裁、大中华区产品部总经理朱立新,由他来阐述这款思科寄予厚望的ASAP将在未来如何帮助企业实现快速转型。 ASAP诞生背景:摘取王冠上的宝石与权杖 朱立新表示,从客户角度看,追求的目标只有一个——应用为王。那么应用又在演变过程中发生了哪些变化呢? 首先,在未来的全数字化转型当中,应用数据不再像过去大项目中总体进行数据开发,而从化整为零,任何地方、任何时候都会产生数据,并呈现出“实时性”和“分布性”的特征,“到2020年,将有500亿的人、事物、流程、数据都会联接在一起。因此分布式的、实时性的数据将呈超大规模,这需要改变基础架构来适应数据和应用的演变。” 其次,IT部门不再是基础架构的管理层面的主导者,而是由业务部门、DevOps以及应用开发团队通过跨团队合作的形式,共同决定了选什么技术、怎样的投资、怎样的部署。由此带来的变化,就是应用为主,规避了传统IT的管理和资源的分配与应用脱节的问题。 最后,工作负载的地点也发生了变化。越来越多的企业选择了公有云,那么如何使工作负载无论在私有云、公有云、还是在数据中心里,都能够时刻保持资源匹配SLA的一致性,这就需要混合云的架构,通过统一的管理平台让应用能够享受到统一资源服务。 这三个变化对IT提出很大的挑战,也带来一连串的疑问:企业用户应该选择什么样的云?采取什么方式搭建?如何以应用驱动业务发展,实现自动化,提升业务的敏捷性?如何保护企业的信息安全,有效保障合规性与安全性? 朱立新概括道,一切答案仍然要回归应用为王的本质。他强调,数据分析就是王冠上的那颗宝石,基础架构就是王的权杖。因此,思科重点投资的领域,也集中在大数据分析和基础架构这两个方向上。 As Soon As Possible 为了帮助企业用户实现“应用为王”,思科对整个数据中心的架构提出了“ASAP”这个理念。英文里面,ASAP是As Soon As Possible,即“立刻、马上”。思科则做了另外一番解读。朱立新详细解释道,第一个字母“A”是分析(Analyze),正是将王冠上那个宝石放在第一位,未来企业的生命就依靠数据分析给出智能的决策,帮助提高客户体验、提高生产效率、降低成本;第二个字母“S”是简化(Simplify),包括三个层面,一个是基础架构的简化,一个是硬件的简化,另一个是管理的简化;第三个字母“A”代表着动态的自动化(Automate);第四个字母“P”是保护(Protect),确保一切都是在安全的基础上。 记者了解到,思科ASAP数据中心的支柱包括:一是优化基础架构;二是简化操作,实现自动化和统一策略;三是搭建云端应用程序堆栈;四是部署适合客户的混合云,有了云平台以外,还要应用到数据源到最终用户;五是即时分析能力,大数据分析。 朱立新表示,思科ASAP数据中心将分析、简单性、自动化和保护与一致的策略紧密结合在一起,应用于结合了业界领先的数据中心网络、安全性、融合基础设施和软件定义解决方案的混合云。 据了解,ASAP数据中心采用混合 IT 转型,将云的优势广泛融入到以应用为中心的模式,使IT组织可以通过融合本地数据中心和任意数量的云,把应用部署在得以发挥最大效用的地方;同时实现敏捷性和安全性,使IT部门可以持续对环境进行监管,确保合规性,并满足业务部门和应用开发人员对于基础设施的持续需求;帮助企业确保不会出现延迟或服务中断,同时提供一致、可靠的用户体验,从而最大限度地提高应用性能。ASAP数据中心帮助客户在简单的融合平台上共享实时分析,实现运营自动化并作出明智的安全决策,从而持续创新,抓住新机遇。 ASAP最关键的五大组件 朱立新告诉记者,ASAP实际上是思科对过去数据中心演变的一个总结,而且是对未来适应云的发展方向的一个指导框架。思科将数据中心最关键的五个组件提炼成ASAP,让UCS、HyperFlex、融合架构以及ACI等组件形成一个整体架构,把过去孤立的系统变成一个完整的闭环系统、自演进的系统,既有现代化数据中心的基础架构,也有适配云的基础架构,同时还有资源调度、大数据分析,从而实现更好的正确策略进行资源的分配和调度。 UCS(统一计算系统) 图:思科UCS产品家族 目前市场上的超融合产品往往只包含了“计算”和“存储”,而没有包含“网络”和“管理”。思科的超融合在推出时,是业界最完整的超融合,包含了统一的管理平台、计算、存储资源池、网络。目前思科在全国已经有几十个超融合的成功案例,每一个客户都非常理解思科的超融合给他们带来的优势,包括简便维护、简单扩容、灵活扩展。 ACI(以应用为中心的基础架构) ACI实际上就是思科的SDN解决方案,思科的ACI架构具有安全、自动化以及统一策略。目前全球已经有几万家客户部署了思科ACI的数据中心,中国有100多家的ACI客户是把他们的数据中心核心应用和生产网络放在了基于ACI的数据中心上面。 HyperFlex(超融合系统) 思科HyperFlex超融合系统代表着下一代超融合基础设施,是行业首款完整的端到端超融合解决方案。思科在全球推出HyperFlex后不到三个季度的时间里已经有1000多个客户。HyperFlex系统可为最广泛的企业应用简化整个网络、计算和存储的基于策略的自动化操作,可全面满足由微服务、容器、新应用和云组成的当今IT环境的要求。HyperFlex为客户在其数据中心以及偏远和分支办事处部署企业级应用提供了一个理想平台。 HyperFlex可以实现资源的管理,还可以给整个一套IaaS私有云架构提供完全的自动化部署和管理,这个是UCS Director加上HyperFlex,除了可以轻松扩展,还可实现非常自动化的管理,为客户提供整体的这套小的私有云的架构。 当用户去做整个硬件备份的时候,思科的存储服务器S3260可以和现在很多业界通用的备份软件一起去做备份和归档的资源池。 思科CloudCenter 思科CloudCenter在云的架构里的定位是在编排器(Orchestrator)这个层面上。它的最大特点是跨平台,不管是多数据中心,还是私有云、公有云、混合云,思科CloudCenter都可以从应用的生命周期的角度,对各种应用、虚机等资源做统一的自由的调配。 思科Tetration Analytics Tetration Analytics能够收集来自硬件和软件传感器的网络流量数据,并使用高级机器学习技术对信息进行缜密分析。Tetration Analytics可满足关键数据中心操作的要求,包括合规性、应用取证和转移至白名单安全模式等。通过不间断的监控、分析与报告,Tetration Analytics平台能够帮助IT经理深入了解数据中心动态,从而显著简化并提高运营可靠性,安全性,同时轻松可靠地帮助用户保证复杂应用在各种云解决方案之间迁移时的访问一致性。 作者:周雪 来源:51CTO

优秀的个人博客,低调大师

新一代蓝牙5标准开启 会成为物联网的最佳选择吗

在过去,蓝牙在生活中最常见的应用就是键盘、鼠标、音箱和蓝牙耳机,这些传输对频宽要求不高,蓝牙技术的采用不仅节省了线材成本,还增加了产品的灵活性。蓝牙技术联盟(SIG)正式宣布推出新一代标准蓝牙5(Bluetooth 5),其主要优势体现在更远的距离、更高的传输速度和更大的广播数据容量。蓝牙技术联盟研发的蓝牙网状网络Mesh在近期发布,到时蓝牙5.0设备将能实现多对多的连接模式。此外室内定位等多项技术也在研究中,蓝牙5.0在 物联网应用中的地位很快会得到提升。 随着物联网的不断发展,联网设备的数量越来越多,无线技术在物联网中发挥的作用也越来越大。目前国际物联网最常用的无线通用技术标准主要有三种:Wi-Fi、Zigbee和蓝牙,对于何种解决方案是最适合的,业界一直争论不休。 从技术层面看,Wi-Fi,速度快、范围广,但耗电量大;Zigbee,低功耗、速度慢、难兼容、设备普及率低;蓝牙,低功耗、低辐射,其传输距离短、范围小的劣势近期随着蓝牙5.0的发布有了大幅提升。 而从产品量级看,据不完全统计显示,在民用领域以Wi-Fi和蓝牙为通行标准的各类设备占据了全球市场的主要份额,其中采用Wi-Fi的设备2016年出货量约有二十亿台,采用蓝牙的设备2016年出货量达到了三十多亿台。作为工业界常用通行标准,采用Zigbee的设备2016年全球出货量在三四千万台。 蓝牙低耗能、低成本、稳定安全的特点也恰到好处地符合物联网的要求,蓝牙现有设备庞大的市场量级也为物联网的实现提前铺好了通道。蓝牙5标准应用从洗衣机、电冰箱、空调机等家用电器到个人移动设备,甚至共享单车开锁都在使用蓝牙技术, 从智慧家庭、 车联网 、医疗到工业物联网不断扩展。 目前一些芯片厂家已经推出对应的方案。Nordic半导体公司在去年12月份推出了首款支持支持蓝牙5的nRF52840 SoC器件,Skyworks公司推出的SKY66112-11前端模块也已兼容了蓝牙5.0技术,还有TI公司在其CC26XX SimpleLink无线微控制器集成了蓝牙、ZigBee和6loWPAN标准。 随着物联网行业的快速发展,深圳北航物联网研究院(www.buaaiot.org)认为蓝牙5的未来应用空间将会越来越大。万物互联时代生活变得更加智能化,如室内定位帮助购物者快速找到商品位置,医院能通过可穿戴设备对病人进行远程监控,工厂所有设备需要连接网络,通过物联网追溯到产品生产进度和设备运行状况,还需要利用数据分析提升生产效率等等。

优秀的个人博客,低调大师

云计算和IoT平台之争开启“下半场”,边缘计算竟成“主阵地”

因为云计算这块大饼,亚马逊、微软、谷歌都使出浑身解数,撕累了。资料显示,亚马逊、微软和Alphabet(谷歌母公司)在2016年的资本支出和资本租赁共计为315.4亿美元,比2015年同比增长22%。每家公司都将云计算列为主要投资领域。 由于对云计算的扩张越来越激进,且险些走进“囚徒困境”。这三家公司似乎打起了价格战,纷纷降低了部分云产品的价格,甚至引起了由于价格持续下滑,可能造成利润过低的担忧。 在这个由亚马逊、微软和谷歌引领的1.0模式通用云基础设施服务市场中,对于后来者已经没有机会了吗?未必,2.0模式云计算+边缘计算的新玩法方兴未艾,巧妙地成为了云计算避开“囚徒困境”的拐点。 再看IoT平台的争夺战,由于IoT正在逐渐影响着生产、制造、生活的方方面面,IoT平台作为战略重心,这几年犹如雨后春笋般,数量暴增。无论是阿里、腾讯、百度、京东等互联网巨头;还是华为、中国移动、中国电信、中国联通等运营商、通信大鳄;抑或IBM、微软、思科等传统IT企业;以及机智云、Ablecloud、庆科、博联等新型物联网企业,都想在IoT平台这块大蛋糕中分得一块三角。 虽然都叫IoT平台,但是内涵和实质差异不小,如果不能下与底层设备、上与产业应用打通,切实为行业合作伙伴赋能,IoT平台只能沦为伪命题。 无论是亟待升级的云计算之争,还是“杀红了眼”的物联网平台战役,下半场都指向了同一个主阵地:边缘计算。 边缘计算并非再造概念、硬拗人设 硅谷风投大佬A16Z合伙人Peter Levine曾说边缘计算是云计算的“终结者”。这一说法未免有为搏眼球夸大其词之嫌,不过云计算与边缘计算共生的现实,成为了云计算和物联网从业者们对未来的主流预判。 从技术定义来说,边缘计算是在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的开放平台,就近提供边缘智能服务,满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。 边缘计算并不是个新鲜事物,也不是物联网人自吹自擂再造概念,而是一次“由来已久”的物联网分布式计算的逆袭。 分布式计算的特征是每个节点都有计算功能,缺点是每个用户都需要管理自己的节点、硬件、软件。因此后来出现了云计算,把大量的数据处理交给“云”去做。这个云计算实际上是一个集中计算,这种做法解决了用户对中央计算的管理烦恼。 到“云”为止,我们完成了从分布计算到集中计算的转变,然而现在我们发现,碎如鸡毛的不同物联网场景,单纯依靠集中式的云计算往往并不是最佳策略。边缘的“速算”能力,对物联网应用来说显得尤为重要。 巨头率先转身拥抱“边缘计算” 根据IDC的预测,到2019年,IoT创建的数据将有45%通过边缘计算被存储、处理、分析和操作。“大物若智”,便是边缘计算的“入世”之道,而这次逆袭的引领者,由各大巨头和主流势力带队。 就在本周召开的微软Build2017开发者大会上,首席执行官萨蒂亚·纳德拉宣布:微软遇见了新世界:一个智能云(IntelligentCloud)+智能边缘(IntelligentEdge)的世界。 微软在Build大会上发布了Azure IoT Edge服务,一个为物联网准备的云服务。它会有各传感器和小型计算设备追踪工业场景中的数据,然后由微软的云和AI工具分析。通过这项功能将计算能力由云推向边缘。 这些举动也就是指明了计算能力要到边缘去,因为物联网终端数据越来越多,会要求更多的计算能力下沉,这也意味着更加分布式的AI和分布式的计算。 亚马逊这个全球最大的云服务提供商,也正在指望通过IoT边缘计算来推动云平台的发展。就在最近一次的AWSre:Invent大会上,亚马逊宣布推出AWS Greengrass。 AWSGreengrass是一种允许用户以安全方式为互联设备执行本地计算、消息收发和数据缓存的软件。借助 AWS Greengrass,互联设备可以运行AWS Lambda函数、同步设备数据以及与其他设备安全通信,甚至无需连接互联网,最大程度地降低将IoT数据传输到云端的成本。 今年4月,Linux基金会发布开源物联网边缘计算项目:EdgeXFoundry。EdgeX Foundry并不是一项新标准,而是统一标准和边缘应用的一种方式,它的主要目的是:打造并推广EdgeX这种面向物联网的通用开放标准;围绕可互操作的即插即用部件/组件打造一个生态系统;对EdgeX部件/组件进行认证等。 同样是4月,网络巨头思科和商业智能公司SAS宣布已经开发了全球第一个用于物联网分析的边缘计算平台,该平台将思科的边缘计算产品与SAS的高级分析功能相结合。 SAP公司则连续收购了两家物联网边缘计算初创企业:意大利的PLAT.ONE和挪威的Fedem Technology。并购完成后,SAPHANA云平台可以在整个企业的范围内支持IoT业务应用,无论在云端,还是在边缘。 戴尔也在积极拓展边缘计算平台产品与行业应用,追加发布专门针对工业应用边缘计算产品。最近,戴尔推出的边缘网关3000系列,拥有实时智能化处理能力,占用空间小,适应恶劣环境,丰富了戴尔边缘网关5000系列和嵌入式箱PC3000/5000系列等边缘计算产品线。 国内的通信巨头华为,也是边缘计算的积极推动者,参与联合倡议发起了国内的边缘计算产业联盟(Edge Computing Consortium,缩写为ECC)。 就在本周,还有一项进展值得关注,初创企业Neurala宣布深度学习取得重大进展,不需要云服务器,能够在边缘学习增量对象。这也就意味着人工智能也正在快速进行从云端到边缘的进化:自动驾驶汽车可以为每个车主或特定的区域进行个性化设计;父母可以教一个玩具去识别他们的孩子,而无需担心侵犯隐私;工业级的机器可以为特定的任务进行自主升级。 借助MDC完成从云端到边缘的转变 由传感器产生的实时数据在形式和作用方面都与传统的企业数据有很大的不同,无论是从联网汽车中产生的千兆字节数据,还是来自工业机器人装配线的控制数据,边缘计算都必须比过去所开发的任何云端技术更敏捷、更自主、更可靠。 在使用物联网系统之前,很多人没有意识到大量的物联网数据可能永远都不会被传送到云端,只适合就地进行处理,如果没有被实时处理,数据价值也将不复。 有些数据的“保鲜期”很短,处理一旦延误,就会迅速“变质”,数据价值呈断崖式跌落。因此不是所有数据都必须上传到云平台,何况关键信息还有可能在传送过程中延误或者受到干扰,尤其是那些通过LPWAN(低功耗广域网)传输的信息。 我们必须对这些关键数据快速响应以做出决策,要么在短时间内就采取行动,要么就眼睁睁的看着最佳时机溜走。 边缘计算的崛起也意味着巨头们必须放弃完全控制或主导IoT市场的梦想,而是专注于跨越多层数据架构开展广泛合作。作为一种迭代升级之后的理念,边缘计算也将重新定义云、管、端之间的关系。 那么对于行业应用来说,什么才是推进边缘计算的最佳方式呢? 有些人试图自己做,探索各种新技术,希望将它们组合成一个可行的解决方案。不过也有人找到了现成的,采用比如微型模块化数据中心(MDC)等边缘计算方案。 MDC已经存在一段时间了,它是一套用来实时采集、并报表化和图表化车间的详细制造数据和过程的软硬件解决方案。随着物联网的发展,需要使用更小的MDC,也就是“微型MDC”,快速将这些模块配置到边缘场景,实现计算能力的部署。 在微型MDC的选型过程中,过来人建议需要综合考虑以下5点: 确保灵活:由于各种应用场景千变万化,微型MDC需要考虑足够的灵活性,一体化的解决方案并不一定是最好的选择,往往针对不同环境进行微型MDC优化的步骤是必不可少的。 开放基础:在IT方面,需要寻找可扩展和可管理的解决方案,以便将更多的处理能力分配到边缘。这给IT部门提出了极大的挑战,为了实现服务敏捷性,拥有开放敏捷的底层基础架构,可以按照需求自动扩展资源配比变得异常关键。 赋权分析:处理边缘的数据是一回事,分析边缘的数据是另一回事。微型MDC应该具有就地进行分析的能力,越靠近生成数据的高速设备或传感器越好,以便迅速提供业务洞察。 快速使用:不仅微型MDC应具备灵活配置的运算、存储、网络、电源和冷却等选项,还应以准集成的解决方案提供,这将确保微型MDC的快速安装使用和快速价值创造。 统一管理:边缘计算的解决方案大多比较分散,做到统一管理并不容易。为了做到这一点,设备提供者需要具备综合集成和管理能力,能够从同一入口管理来自世界各地的各个微型MDC、相关的数据中心、IT设备以及传感器。 本文转自d1net(转载)

优秀的个人博客,低调大师

迎接下一个风口 中兴通讯即将开启智能家居战略

中兴通讯宣布将于9月22日召开“极智生活 慧聚未来”智能家居战略发布会,并发布杀手级神秘新品。这是自2014年涉足智能家居领域以来,中兴通讯首次明确提出智能家居战略,也意味着中兴在智能家居领域实现了质的突破。 从单品到开放性平台,实现质的飞跃 中兴通讯是全球知名的综合通信解决方案提供商,深耕通信领域三十余年,对ICT行业有着敏锐的感知能力。2014年,当谷歌、苹果、三星、阿里、腾讯等国内外巨头竞相试水智能家居市场时,中兴通讯也觉察到智能家居产品未来之于物联网的重要性,果断选择以更简单有效的单品竞争策略切入智能家居市场。 针对智能家居上市门槛较低带来的用户体验差这一关键问题,中兴通讯充分发挥其多年积淀的强大研发与应用能力,快速推出了第一款单品小兴看看智能摄像头,凭借丰富而实用的功能与超高性价比,迅速在智能摄像头这一细分市场站稳了脚跟。 尽管小兴看看售价不足200元,甚至推出硬件免费的销售模式,中兴通讯却极为重视不断为它进行软硬件升级,致力于打造具有市场号召力的单品爆款。随后中兴又陆续推出智能无线路由器、智能家居安全套装等几款产品,在细分市场都占据了主流地位。 随着云计算、大数据、物联网等新技术的迅速发展,让海量智能家居终端快速联网成为了可能,也加快了中兴发展智能家居业务的步伐。中兴通讯依托自身强大的研发能力,如大数据、云计算等专业技术,提供统一、安全、开放的云端、终端、APP等多维度接口和服务,共享架构、开放接口,灵活实现第三方集成和对接,用开放性平台促进产业链整合。 今年8月,中兴通讯与国内智能家居领先品牌博云物联达成战略合作协议,在安全、平台、产品和服务等多个层次和领域全面展开合作,迈出从单品到多个单品联动的产品群,再到开放性平台的关键性一步,也将中兴原本的单品竞争策略上升为全方位重点拓展的智能家居战略。 构建智能家居生态圈,迎接下一个风口 目前,我国智能家居市场仍处于启动期,不少研究机构预测,随着物联网、人机交互技术、人工智能等技术的快速发展,智能家居是下一个亿万级的市场,中兴通讯又从中敏锐捕捉到智能家居多维智能控制的未来发展趋势。 通过将语音、体感以及各类传感器,打造更加简单、易用的使用方式,并自动感应、智能化控制灯光、空调等设备,为不同家庭成员提供不同的服务,这就是中兴未来想为消费者带来的智慧家居体验,也是中兴认定的智慧家居未来发展大趋势。 目前,中兴已率先将语音互动引入到智能家居产品中,实现了从监视器前的控制,到摄像头前的语音主动唤醒这一技术飞跃。未来将继续探索语音或手势等多元化人机交互方式,与此同时,重点通过联盟、交互协议完善互动形式,让普通厂家的设备能够互联,让设备能够自主感知与智能化互动。 而要想达到这种效果,需要整合芯片厂商、模组厂家、系统厂商、终端厂商、各类服务提供商等上下游产业链企业,使之成为一个相互依存与互补的生态圈,每个厂商发挥各自的专业优势,形成智能家居行业的分工大生产,促进产业链各个环节的快速发展与成熟。 打造智能家居生态圈,从提前发给媒体的邀请函中,已经隐约可看出中兴通讯的这一步战略。当天不仅将发布涵盖云平台、用户端APP、智能网关、智能终端等端到端的全新解决方案,还会有多位服务运营商、物业公司等战略合作伙伴到场,一起启动中兴通讯的智能家居战略。基于真实产品与解决方案上的产业链整合,也预示着智能家居领域将进入一个行业细化分工、协作大生产的全新阶段。 本文转自d1net(转载)

优秀的个人博客,低调大师

安卓定制系统IUNI OS开启公测 仅支持三星S4

2月17日上午消息,由金立投资的移动互联网品牌IUNI今日正式宣布启动IUNI OS公测,这是一款基于Android系统二次开发的手机操作系统,界面清爽,第三方应用零预装,将于24日提供下载,首批仅支持三星I9500机型。 IUNI OS是一款基于Android定制开发的ROM,该系统界面简洁、色彩清新淡雅,扁平化风格浓重。为了保证界面风格统一,首批设计了1000个第三方应用图标。同时,设计团队也为IUNI OS设计了诸多转场动画,包括每一次点击等待。 IUNI OS界面主要以横向分页屏组成,不过也隐藏了所有程序列表,在底部Dock区域从从右往左滑动可以调出“全部APP”的界面,以首字母A-Z排序,支持检索功能。同时,引入类似iOS控制中心的上拉界面,集成了诸多功能开关快捷键以及后台程序列表。 另外,在现场体验搭载IUNI OS的三星GALAXY S4手机时,我们也发现IUNI虽然是第三方ROM,但是兼容性表现不错,保留了三星部分特色功能,如智能屏幕、屏幕模式、省电模式等。 而该系统在去年首次露面时提出“生来纯净”的概念,系统第三方应用零预装,以保证应用的选择权完全在用户手里。IUNI科技经理何骁军表示,目前市场上大量的第三方应用预装,从本质上只是厂商自身商业图利行为,更消费者的需求无关。 IUNI OS此前已经推出五个内测版本,前期有200多位用户参与测试,而在本月24日开放下载后,将会经历大规则的用户考验。目前,首个公测版仅支持三星I9500,未来将适配包括小米3以及三星GALAXY Note 3的热门安卓手机。 除此之外,在此次发布会上也有消息透露,搭载IUNI OS的IUNI手机将于3月正式发布。 IUNI是由金立投资的独立互联网品牌,其产品主要以系统及手机终端为主,号称“以小米反小米”,将复制小米的互联网模式,渠道以电商和网络商城为主,据悉团队规模约100多人,均拥有互联网背景。 文章转载自 开源中国社区 [http://www.oschina.net]

优秀的个人博客,低调大师

玲珑商店社区版 2.0 时代开启 !支持十余款发行版玲珑环境自动安装

如意玲珑应用商店社区版2.1.1已正式上线! 由Linyaps Simple Store SIG团队打造的如意玲珑应用商店社区版2.1.1 版本正式发布。这是 2.0 系列的成熟稳定版,从内到外全面升级——Tauri 框架、性能优化、安装包精简、全新UI……一句话总结:更快、更轻、更好用。 2.0 系列核心亮点:不只是升级,是蜕变 全新UI重构,颜值与体验双在线 告别老旧界面,2.0 系列带来了现代化的视觉设计。更清晰的布局、更流畅的动画、更直观的操作逻辑——浏览、搜索、安装,一气呵成。 Tauri 框架加持,体积更小、性能更强 从 Electron 迁移到 Tauri 框架,这是一次技术架构的飞跃: 安装包体积大幅精简,下载更快、占用更少; 启动速度显著提升; Rust底层保障,安全性更高; 跨平台能力更强,为更多发行版适配打下基础。 功能全面升级,细节见真章 新增应用详情截图——安装前先看图,告别盲装; 新增应用启动功能——商店内一键启动已安装应用; 安装应用指定版本——版本轻松切换,一目了然; 基础设置与应用管理——查看进程、缓存清理、版本管理尽在掌控。 7000+ 应用等你探索 目前已收录超 7000个多场景玲珑应用,覆盖办公文档、游戏娱乐、开发工具、网络应用、AI工具……无论你是办公、开发还是娱乐,这里都有你想要的。 王炸功能:装商店 + 装环境,一次搞定 重点来了!2.0 系列最炸裂的功能——自动安装玲珑运行环境。 什么意思? 以前,想在非 deepin 系统上用玲珑应用,你得先手动安装玲珑环境,步骤繁琐还容易踩坑;现在,只需要安装玲珑应用商店社区版 2.0 系列,它会帮你自动搞定玲珑环境! 支持哪些发行版? 目前已支持自动安装 10+主流 Linux 发行版的玲珑运行环境(包括 X86 和 ARM 架构): 注意:1. UOS 20(1070)安装时需打开“开发者模式”;2. 以下两个发行版仍需要手动安装玲珑环境。 NixOS:需要手动配置,参考NixOS官方文档; 银河麒麟 V10:需要手动安装,请关闭安全中心对应用安装的限制。 部分发行版的玲珑环境由玲珑跨发行版 SIG的开发者们维护,感谢他们的贡献! 如你也对玲珑发行版移植感兴趣,欢迎加入他们: https://linyaps.org.cn/linyaps-generic-linux-sig 安装有多简单?推荐使用安装器 一条命令,全自动安装玲珑应用商店社区版(玲珑格式)+ 如意玲珑运行环境: curl-fsSLhttps://gitee.com/hanplus/linglong-installer/releases/download/latest/linglong-store-installer.sh * LLI_PREFER_PKEXEC=1 bash 安装器会自动检测系统环境和架构,下载安装对应版本的玲珑运行环境和玲珑商店。 多种传统格式安装包,总有一款适合你 deb / rpm 格式安装也会自动下载安装玲珑运行环境: 具体安装介绍可查看玲珑社区官网 玲珑商店社区版安装说明 https://linyaps.org.cn/linyaps-appstore 提示:因 Tauri 2.0 框架对系统 glibc 版本要求较高,glibc 版本较低的系统(如UOS 1070)请使用安装器安装,玲珑版本的商店已针对性地解决了 Tauri 框架的依赖与 glibc 兼容性的问题。 项目地址 GitHub:https://github.com/SXFreell/linglong-store Gitee:https://gitee.com/Shirosu/linglong-store 如意玲珑商店极速版 另外,如果你的电脑性能巨差,或者你就是追求极致的速度,也可以安装由 SIG 开发者@mozixun 独立维护的如意玲珑商店极速版,同样支持 deb、rpm 两种格式、X86 及ARM 架构的下载: 下载地址:https://gitee.com/LFRon/Linyaps-Store-Minimalist/releases/latest

优秀的个人博客,低调大师

【Xinference v0.13.1 正式发布】一键部署 AI 模型,开启智能推理新纪元!

Xorbits Inference(Xinference)是一个 性能强大且功能全面的 分布式 推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地 一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。 Xinference的功能和亮点有: 🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中! 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐! ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。 🌐 集群计算,分布协同: 支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。 🔌 开放生态,无缝对接: 与流行的三方库无缝对接,包括 LangChain, LlamaIndex, Dify,以及 Chatbox。 🎉 Xinference v0.13.1 正式发布! - 新增内置支持模型 📦 - glm4-chat gguf格式 📝 - 新功能 🚀 - 注册自定义模型接口可支持指定worker_ip。现在配合launch模型接口的worker_ip参数,可以在分布式场景下仅在一个worker上传模型文件,然后部署使用 🌐 - Launch模型接口支持download_hub参数,以最高优先级控制从哪里下载模型 📥 - 全新 Flexible 模型,支持部署任意模型(文本分类,情感识别等等),下个版本将发布相关使用文档 📚 - 移除对chatglm-cpp的支持,移除chatglm chatglm2 chatglm3的ggmlv3老模型格式的支持。glm系列推荐使用glm4。后续将持续移除一些ggmlv3的老模型 🗑️ - 移除对LLM模型create_embedding的支持 ❌ - BUG修复 🐛 - 修复chatTTS的若干问题。现在直接使用chatTTS自身的依赖,更加可靠 🔧 - 修复GPU docker镜像中无法安装最新版llama-cpp-python的问题。目前仅CPU docker镜像中因其自身问题仍保持旧版llama-cpp-python 🐍 - UI相关 💻 - 修复记忆上一次launch参数功能的一些问题 📝 - 修复一些模型页面上无法显示是否已cache的问题 📊 - Launch页面可选配置中可以选择模型下载来源 🔄 我们感谢每一位参与的社区伙伴对Xinference的帮助和支持,也欢迎更多使用者和开发者参与体验和使用Xinference。 欢迎您在https://github.com/xorbitsai/inference 给我们一个 星标,这样你就可以在GitHub上及时收到每个新版本的通知。

优秀的个人博客,低调大师

云原生✖️ AI 时代的微服务架构最佳实践—— CloudWeGo 技术沙龙·上海站报名开启

活动介绍 CloudWeGo 开源两年多以来,社区发展迅速,生态日益丰富,落地企业用户已超过 40 家,涵盖 AI、电商、金融、游戏 、互联网等多个行业。同时,随着云原生技术和 AI 技术的持续蓬勃发展,我们发现企业用户也面临着越来越多性能、成本和稳定性方面的挑战,系统需要支持弹性伸缩和潮汐流量下的稳定性,因而也越发需要一套高性能、易扩展、功能丰富的微服务架构。 诚挚邀请企业用户和开发者共同参与 CloudWeGo 技术沙龙。活动将于2024年5月25日(周六)在上海举办,邀请广大技术同仁共同探讨在 云原生 xAI 浪潮之下,企业如何构建云原生微】服务架构,来支持产品的快速迭代与发展。 时间:2024年5月25日(周六)14:00-17:00 地点:上海 · 漕河泾中心D栋F2 议题简介 本次活动分享议题将聚焦 CloudWeGo 相关技术功能实现,以及如何借力 CloudWeGo 开源项目帮助企业构建微服务等议题,将携手 CSDN 、infoQ、稀土掘金、火山引擎开发者社区、字节跳动技术团队作为合作伙伴同步进行宣传和直播。多位 CloudWeGo 社区 Maintainer 和 Committer 将分享包括微服务框架的对比和落地实践,以及基于 cwgo 代码生成工具的工程化实践等主题。另外我们还邀请了多位 CloudWeGo 的用户代表进行分享他们基于 CloudWeGo 的落地实践经验等精彩话题。最后我们也会围绕微服务相关热点话题进行圆桌讨论,和现场观众进行互动。 主题演讲:微服务框架对比、测试与迁移 讲师:周启恒,CloudWeGo-Kitex Maintainer;李纪昀,CloudWeGo-Web&Doc Reviewer,CloudWeGo-Hertz Committer 大纲: CloudWeGo 提供了高性能、高可靠的 Go 语言 RPC 框架 Kitex 以及 HTTP 框架 Hertz,助力用户高效搭建完备的企业级微服务架构。本次分享中,我们将从功能和性能多方面对比 CloudWeGo 微服务框架与开源框架 ,展示 Kitex 与 gRPC,Hertz 与 Gin 的差异与优势。此外,我们将分享关于框架迁移的操作实践和迁移的真实收益。 主题演讲:基于 Hertz 的微服务落地实践 讲师:初泽良,字节跳动西瓜视频研发工程师 大纲: Hertz 是一个 Golang 微服务 HTTP 框架,具有高易用性、高性能、高扩展性等特点。在本次演讲中,我们将介绍西瓜视频基于 Hertz 的微服务落地实践。我们将介绍西瓜视频微服务架构设计、Hertz 框架介绍、西瓜视频迁移 Hertz 过程及踩坑经验、落地 Hertz 后的收益。 主题演讲:从0到1基于 Kitex + Istio 的微服务系统建设 讲师:Jason,Construct 服务端总监 大纲: 在本次演讲中,我们将展示如何使用 Kitex 和 Istio 从0到1构建微服务架构,探讨技术栈和架构选择的理由及其实施细节。内容将包括系统兼容性策略、自动化流程、泳道以及通过监控和分布式追踪技术确保微服务可观测性和稳定性。 主题演讲:基于 cwgo 代码生成工具的工程化实践 讲师:王鑫, CloudWeGo-Hertz Committer;鹿瑞超, CloudWeGo-Hertz Reviewer 大纲: cwgo 是 CloudWeGo All in one 代码生成工具,整合了各个组件(hz,kitex)的优势,以提高开发者的体验。在本次演讲中,我们将从代码生成能力和工程化实践两方面介绍cwgo,了解如何通过使用 cwgo 简化代码生成过程和提高开发效率,实现工程化开发体验的提升。 圆桌讨论 主持人:罗广明 圆桌嘉宾:初泽良、Jason、周启恒 大纲: 微服务框架和中间件技术选型关注哪些方面? - 浅谈开源框架的易用性和其带来的研发效率在业务团队的价值 - 浅谈 AI 对微服务框架演进和业务研发带来的影响 - 现场 Q&A 立刻报名 访问[活动页面]即可报名注册,参与现场互动还有机会获得社区精美周边礼品。了解更多 CloudWeGo 项目相关信息请访问 www.cloudwego.cn 或 github.com/cloudwego 期待您的参与! 重磅,由字节跳动服务框架团队联合 CloudWeGo 开源社区出品的 《CloudWeGo 技术白皮书: 字节跳动云原生微服务架构原理与开源实践》 现已正式对外发布!本书总结了字节跳动自 2018 年以来的微服务架构演进之路,讲述了字节微服务架构的难点、编程语言的选择和开发框架的演进,以及流量激增后的流量治理模式和服务网格全面落地。白皮书中还详细介绍了电商、AI、金融、游戏相关行业的落地案例,同时探讨了在降本增效压力下微服务的性能提升和成本优化解决方案。下载地址: https://www.cloudwego.cn/zh/ https://www.cloudwego.io/zh/

优秀的个人博客,低调大师

KCD 2023 杭州站报名通道开启!聚焦云原生供应链、AI 基础设施

KCD 首次来杭,现已开放报名通道! 在现场,你可以亲眼见证云原生技术的变革!现场学习干货满满的技术分享!与各路技术社区达人交流!battle 共话「AI/云原生」新命题~ 10 月 21 日 14:00,KCD 2023 杭州站等你来! KCD 2023 活动介绍 KCDKubernetes Community Days(KCD)由云原生计算基金会(CNCF)发起,由全球各国当地的 CNCF 大使、CNCF 员工以及 CNCF 会员单位联合组织。目前 KCD 正在全球各个国家活跃地组织进行中,KCD 聚集了来自云原生领域开源社区的最终用户、贡献者和技术专家,这一系列的活动有助于提高 Kubernetes 社区的活跃度并完善其发展潜力,使更多用户能接触到云原生信息,也推动云原生技术在不同行业中更广泛的传播。 KCD 杭州 杭州是中国东南沿海中心城市之一、浙江省省会。美丽的西湖成就了“上有天堂,下有苏杭”的千古美誉。而今天,这张名片,似乎已经被“电商之都”所取代。杭州凭借着互联网电商经济成为了炙手可热的新一线城市,同时也吸引了很多大型互联网公司,并且具有浓厚的技术氛围。本次也是 Kubernetes Community Days 首次来到杭州,由 CNCF、蚂蚁开源、龙蜥社区、Dragonfly 社区、Harbor 社区联合发起。希望能够在这座充满活力的城市进一步推广云原生相关技术。 KCD 杭州站主页:https://community.cncf.io/e/myjve4/ KCD 2023 活动报名中如果你想与社区大佬、技术大牛线下交流,欢迎扫码提前报名抢位~ 也可点击🔗https://www.bagevent.com/event/8715561直达报名通道! 活动日程 时间:2023 年 10 月 21 日 14:00 地点:浙江省杭州市滨江区网商路 699 号阿里巴巴 2 号楼 2F AI 基础设施论坛 云原生供应链论坛 KCD 2023社区伙伴持续招募中 杭州站社区共创伙伴火热招募中,邀您共同推动全球云原生技术发展与传播,成为科技浪潮中的助推手和受益者。合作方式多样,欢迎来咨询哦~社区合作请联系:13167455321(微信同) 主页持续更新中……

优秀的个人博客,低调大师

LFX Mentorship 2023年第一期实习开启:构建云计算的未来基石

新年快乐,兔飞猛进! 根据最近 CNCF 对2000多名 IT 专业人士的 2022 年度调查,WebAssembly 将成为云原生技术栈的一个关键部分。 该调查主要发现 容器是新常态,而WebAssembly是未来的趋势。 WasmEdge 项目是一个开源的 WebAssembly 运行时,为云原生应用场景进行了优化。已经与 Docker Desktop 和 Fedora / Red Hat Linux 集成并分发。通过带薪的 LFX / CNCF 实习计划为 WasmEdge 做出贡献,为你的简历和技能加上闪亮一笔! 通过 LFX Mentorship 计划为像 WasmEdge 这样的CNCF托管的项目做贡献,你将获得: 丰厚报酬。金额从3000美元到6600美元不等,取决于你的所在地区 通过一对一的指导学习新的开发技能。如果你被选中,将分配到一个来自 WasmEdge 项目的经验丰富的 Mentor。 有机会获得顶级软件公司的工作机会 加入繁荣的开源社区,获得自豪感和成就感 现在就申请加入 WasmEdge 的 LFX Mentorship 计划,在开源领域做出成绩,并获得从3000到6600美元不等的报酬! WasmEdge 简介 WasmEdge 是一个WebAssembly 运行时,特别为服务器端和云原生应用优化。它提供了许多独特的功能,对云计算至关重要。例如,支持 完整的 WebAssembly 规范,以及新兴的规范,如线程、GC 和组件模型。 Advanced networking 如 HTTP/S 客户端和服务器,数据库连接,消息队列连接。 基于流行框架的AI推理,如 Tensorflow,OpenVino,PyTorch 高级语言应用,包括 JavaScript、Python、PHP和 Ruby。开发者可以运行完整的node.js应用程序。 多种 APIs 用 Rust, Go,C/C++, JavaScript 创建 Wasm 应用。 多种 SDKs,将 WasmEdge 嵌入到现有的以其他语言编写的应用程序。 此外,WasmEdge 提供了一个灵活的插件架构 允许开发者为其添加更多功能,并通过广泛的开源合作伙伴充分发掘众多集成和分发渠道。通过我们的技术亮点发现 WasmEdge 的全部潜力。 WasmEdge 得到了云原生生态中主要开发者工具和部署平台的支持。例如,WasmEdge 与 Docker Desktop 集成并分发,覆盖超过 1000 万开发者。 Fedora、Red Hat Linux 和 OpenShift 容器平台上的默认 WebAssembly 运行时。 加入我们,共建云原生技术栈的未来! LFX Mentorship 项目 (2023 年 3 月至 5 月) 这次我们有四个 mentee 空缺。 为了更好地协作,每个申请者需先完成预测试,本次预测试的截止时间是2月20日。 1. Stream data processing with WasmEdge 这个项目中,你将使用 WasmEdge Rust SDK 将 WasmEdge 嵌入到用 Rust 编写的 Fluvio 项目中。这是两个很棒的开源项目之间的合作。我们寻找的 mentee 需了解 Rust 和 WebAssembly Rust SDK 。 详情 | 预测试 | 申请链接 2. A Rust library crate for mediapipe models for WasmEdge NN AI 训练和推理等计算密集型任务始终适用于 Rust 和 WebAssembly。WasmEdge 希望构建一个 Rust 库 crate,从而在 WasmEdge 应用程序中轻松集成 Mediapipe 模型。在这个项目中,你应该为Mediapipe的每个模型建立至少一套库函数。每个库函数都接受一个 media 对象并返回推理结果。我们寻找的 mentee 需要有 Rust 知识和一些机器学习经验。 详情 | 预测试 | 申请链接 3. WasmEdge C++ SDK 这个项目中,你将帮助添加基于 WasmEdge C API的 WasmEdge C++ SDK。WasmEdge C++ SDK 让开发者能轻松地将 WasmEdge 嵌入到他们的 C++ host app 里。我们寻找的 mentee 需要有 C++ 和 WebAssembly 的知识。 详情 | 预测试 | 申请链接 4. Unified WasmEdge tools 命令行是开发软件最常用的工具,WasmEdge 提供了两个工具供开发者使用:wasmedgec 和 wasmedge。可是提供太多的工具会导致使用起来比较麻烦。因此在本项目中,你需要使用 wasmedge 帮助统一 WasmEdge 工具。这项工作将影响所有 WasmEdge 用户。他们将使用你开发的命令行来运行 Wasm 应用程序。我们寻找的 mentee 需要有 C++ 和 WebAssembly 的知识。 详情 | 预测试 | 申请链接 下一步是遵循mentee 指南,在2023年2月14日前完成申请并在2月20日前完成 pretest。 期待你的加入! 如有问题可公众号后台留言或者加入我们的 Discord。 同时,可以加入2月7日的 WasmEdge 社区会议,议题之一是 LXF mentorship 答疑。 延伸阅读 了解 sonder-joker's journey on WasmEdge LFX mentorship 了解 gusye1234's journey on WasmEdge LFX mentorship

优秀的个人博客,低调大师

众安保险 x StarRocks | 全新实时分析能力开启数字化经营新局面

作为国内⾸家互联⽹保险公司,众安保险是一家以技术创新带动⾦融发展的⾦融科技公司。区别于传统保险公司的运营模式,众安保险业务流程全程在线,全国均不设任何分⽀机构,完全通过互联⽹进⾏承保和理赔服务。目前已服务超5亿用户,2021 年总保费突破 200 亿元,同比增长 21.9%。 由“保险+科技”双引擎驱动,众安保险专注于应用新技术重塑保险价值链,围绕健康、数字生活、消费金融、汽车四大生态,以科技服务新生代,为其提供个性化、定制化、智能化的新保险。 在科技赋能保险的同时,众安保险将经过业务验证的科技对外输出,海外合作伙伴包括日本历史最悠久的财产保险公司 SOMPO、东南亚领先的 O2O 平台Grab、新加坡最大的综合保险机构 Income 等知名企业。 近年来,众安保险致力于加速数据价值向业务价值转化,促使数据要素带来业务的提质增效。这既需要专业技术团队+成熟的数字化体系,还需要技术具来提供智能化解决案。 本文将以众安集智平台基于极速 MPP 分析型数据库系统 StarRocks 的应用实践,讲解集智平台如何解决极速查询和高并发等数据问题,提升整体的数据支持能力。 行业背景 在传统的保险售卖场景中,保险公司主要通过承保利润和投资收益两部分获得盈利,⽽保险⾦融的⾏业特殊性致使保司对公司整体的数据、安全、⻛控等持有⾼度敏感性,因此一款保险产品从市场投放到销售、核保及理赔,每个环节都需要严格监测业务⾛向和数据变化。 并且随着时间的沉淀和业务拓展,保司所涉及和积累的相关数据越来越多,其中既包含保司⾃营的业务数据,也有合作渠道的电商销售、医疗健康等数据以及第三⽅的信贷评级、核保⻛控等数据。在⽇益激烈的市场竞争和技术变⾰这两⼤背景下,基于⼤数据、⼈⼯智能等技术的商业模式创新,以及数字化转型升级已经成为保险机构的必然选择。 因此在以上背景下诞⽣了专门针对保险⾦融⾏业的相关技术和产品,通过⼤数据、⼈⼯智能等相关技术加持,保障保司在每个业务环节中做到费⽤可控数据可经营的⽬的。常⻅的例如营销场景中的渠道投放、⽤户触达、活动监控;信贷场景中的授信、⽀⽤、还款、防⽌逆选择⻛险等场景。 当然⾯对保险⾦融⾏业如此⼤的数据量和业务复杂度,既有挑战也有机遇,但需要将这些数据进⾏充分整合并有效利⽤,才能更好地使其转换为企业⾃⼰的数据资产,从传统的运营⽅式过渡到数字化在线经营。让数字反映出真实的运营状况,及时控制产品⻛险和策略调整,以实现保费收⼊的正向利润,达到精细化运营。 ⽽众安作为全球⾸家以技术创新带动⾦融发展的互联⽹保险公司,在互联⽹+保险⾦融的双轮驱动下,全程通过互联⽹进⾏承保和理赔服务。在以上双重背景下诞⽣了数字化转型中专门针对业务数据管理和分析的系统产品——集智。 本⽂将以集智基于 StarRocks 全⾯升级数字化经营能⼒的真实使⽤场景为例,讲述集智如何通过 StarRocks 解决极速查询和⾼并发等数据问题,提升集智平台整体的数据⽀持能⼒和市场竞争⼒。 集智平台介绍 集智是众安的一款可视化智慧经营分析平台产品,集成了⼈⼯智能+商业智能+可视化数据仓库技术,智能整合来⾃不同场景的数据,规范企业数据池,完成繁杂的数据治理和智能决策环节。 集智秉着“助⼒企业实现智慧经营”的愿景和“从数据到价值,从看⻅到预⻅”的理念,依托丰富的可视化图表组件以及底层的⼤数据处理能⼒,实现零代码拖拽式分析与亿级数据的秒级响应,帮助企业战略规划⼈员、财务企划⼈员、销售管理⼈员、业务运营⼈员及数据⼈员等全⾯提升信息效率、资源效率及决策效率。 ⽬前在众安内部,数字⽣活、健康险、⾦融、直营、⻋险各个业务线,以及 HR、运管、⻛控等中后台部门,超过3000⼈都在使⽤集智平台,平均⽇活可达2000+,提升超过50%的数据分析效率,降低了公司40%的⼈⼒成本。 业务背景 一款好的数据分析产品离不开底层的数据引擎,集智平台的⼏⼤使⽤场景对底层的数据架构提出了不同的要求 可视化分析→需要有丰富的函数库⽀持不同类型图表的数据计算; 交互式分析→需要分析结果的快速响应来保障⽤户流畅的分析思路; 多维透视分析→需要⼤数据量的明细数据来⽀撑不同维度的筛选和下钻; 实时数据分析→需要⽀持数据的实时写⼊、实时查询。 针对上述的⼏个需求,我们在平台建设的初期选⽤了 ClickHouse 作为底层统一的 OLAP 引擎,数据链路如下: 离线的数据会通过 DataX 统一采集到 MaxCompute 或 Hive 数仓,在离线数仓内部完成数据 ETL 的⼯作,数据加⼯完成之后,再次经由 DataX 输出到 ClickHouse 中,ClickHouse 中的数据直接提供给看板或者第三⽅系统做数据查询。 实时的数据会通过 Binlog 监听或者⽇志采集⼯具同步到 Kafka,再经由 Flink 完成实时的数据 ETL,最终落到 ClickHouse 中。值得一提的是,这⾥为了应对一些业务场景中数据需要实时按主键更新的需求,我们采⽤了 ClickHouse 的ReplacingReplicatedMergeTree引擎。由于 ClickHouse 对数据更新操作的⽀持还不够成熟,因此在使⽤ Replacing 引擎的过程中遇到很多问题,这也是我们寻求新的 OLAP 技术选型的主要原因。 平台现状 集智上线后采⽤的是 ClickHouse,并且已经伴随业务运⾏了一段时间,但随着使⽤平台的⽤户⽇渐增多,业务⽅需要查询的数据量也越来越⼤,业务场景变得复杂后,很多特定场景 ClickHouse ⽆法满⾜,⾯对不同⼈员⾓⾊的需求时也遇到一些瓶颈。同时我们分别从业务⽤户的⾓度,以及平台运维的⾓度发现了以下问题: 从⽤户⾓度 一⻚分析看板上往往有 6-8 个图表,这些图表的查询请求都是同时发给 ClickHouse 的。但是在多并发的场景,ClickHouse 的查询性能下降的很快,平时一个 1-2s 左右的查询,在 8 个并发下就可能把 CPU 吃满,平均响应时间退化 4 倍左右,降到 8-10s,对看板的⾸⻚加载时间,以及交互分析的体验影响都⽐较⼤; 平台⽀持数据表的关联查询,但是 ClickHouse 的多表关联查询性能⽋佳,涉及 Join 的查询往往都需要 10s 以上,数据量⼤的查询甚⾄直接超时⽆法返回结果。 从运维⾓度 ClickHouse不⽀持事务性的 DDL 与 DML 操作,⽽且多副本模式的元数据管理强依赖于 ZooKeeper,表结构变更时常常出现不同副本之间元数据不一致的问题,往往定位到最后都是 ZooKeeper 的原因,排查、运维的成本都⽐较⾼; 随着数据量的增多,集群需要扩容时,ClickHouse缺少⾃动的 Resharding 机制,横向扩容时需要借助第三⽅⼯具或者⼿动 Reshard,成本⽐较⾼。 针对前⾯提到的实时场景,我们在使⽤ ClickHouse 的 Replacing 引擎中也遇到一些痛点: 查询慢,Replacing 引擎使⽤的是 Merge-On-Read 的模式,数据写⼊时保存多个版本,在查询时需要指定 FINAL 关键字进⾏去重取出最新版本的数据。这导致对于 Replacing 引擎表的查询,SQL 中的谓词⽆法下推,同时在低版本的 ClickHouse 中,对于 FINAL 语义的查询也不⽀持多线程处理,⼏乎每次查询都需要单线程扫描全表数据,涉及 Replacing 引擎的查询响应时间往往在 10s 以上; Replacing 引擎只⽀持数据的更新,并不⽀持数据的删除。对于 Delete 操作,当前的做法是通过额外字段来标记当前数据是否已经被删除,同时借助 TTL 功能来定时清除已经被删除的数据。这样一⽅⾯需要额外的定制处理,另一⽅⾯新增的标记字段进一步拖慢了查询的性能; Replacing 引擎只能对同一分⽚上同一分区的数据去重,这意味着我们在设计表分区时,以及写⼊数据时,都需要做⼩⼼的处理,增加了开发的成本。 上⾯描述的问题中,有一些涉及 ClickHouse 底层的缺陷,有一些场景利⽤ ClickHouse 提供的其他引擎或者 MaterializedView 等特性可以做一些定制的优化,但是掣肘于平台分析查询场景的多样性,我们很难做一些通⽤性的优化。基于这样的情况,我们决定需求新的 OLAP 技术选型。 StarRocks comes to the rescue StarRocks 是新一代 MPP 型 OLAP 分析引擎。我们通过调研发现,对于许多遇到的痛点,StarRocks 都提供了对应的解决⽅案: ⽀持多并发查询,部分场景可以达到1 万以上 QPS; ⽀持 Shuffle Join,Colocate Join 等多种分布式 Join ⽅式,多表关联性能更优; ⽀持事务性的 DDL 与 DML 操作,兼容 MySQL 协议; FE、BE 架构简单,不依赖外部组件,运维更加简单; 数据⾃动均衡,集群随业务增⻓⽔平扩展⽅便。 对于实时的场景,StarRocks 在 1.19 版本发布了Primary Key模型。对⽐ ClickHouse 的 Replacing 引擎与 StarRocks ⾃⾝的 Unique Key 模型,Primary Key 模型通过在内存中维护主键索引,⽀持频繁实时更新的同时,保证同一个主键下仅存在一条记录,解决了 Merge-on-Read ⽅式读取时在线合并,并且谓词⽆法下推和索引失效的问题。通过牺牲微⼩的写⼊性能和内存占⽤提升了查询的性能,⾮常符合我们实时数仓的场景。 调研之后,我们也对 StarRocks 和 ClickHouse,使⽤SSB数据集做了相应的性能对⽐测试。一共使⽤到四台 8c32g 的机器:StarRocks 1FE/4BE 混部,ClickHouse 两分⽚双副本。StarRocks 使⽤的版本是 2.1.0,ClickHouse 使⽤的版本是 21.9.5。测试中为了屏蔽掉系统缓存的影响,对于⽆并发的场景,每次查询前都会通过往 drop_cache ⽂件中写⼊来清除缓存。 测试的结果验证了 StarRocks 在多并发与多表关联场景下强悍的性能,同时也发现了⽬前 StarRocks 不⾜的一些地⽅: 单表⽆并发的场景,除个别 SQL 外,StarRocks 的查询速度与 ClickHouse 基本持平,但是 StarRocks 的 CPU 负载偏低,是 ClickHouse 的 25%~50%; 单表多并发的场景,除个别 SQL 外,StarRocks 的平均查询速度⽐ ClickHouse 快1.8倍; 多表关联⽆并发的场景,StarRocks 平均⽐ ClickHouse 快1.8倍; 多表关联多并发的场景,StarRocks 平均⽐ ClickHouse 快8倍; 数据实时写⼊实时查询的场景,不同的查询场景下,StarRocks 的 Primary Key 模型查询速度⽐ ClickHouse 的 Replacing 引擎快3~10倍,且查询性能较 ClickHouse 更加稳定(Replacing 引擎由于后台不断地 Merge 操作,查询的性能会随底表数据量的起伏对应地波动); 数据批量导⼊的场景,我们⽐较了不同批次⼤⼩下的写⼊性能,StarRocks 的写⼊速率平均⽐ ClickHouse 要慢20%~30%左右。 基于上述的⼏点考虑与测试的结果,我们决定在平台的 OLAP 架构中引⼊ StarRocks,并优先在实时数仓的场景落地应⽤。 在集智平台的实时数仓⾥,业务库的 Binlog 数据与⽇志、事件数据会⾸先经由采集⼯具发送到 Kafka ⾥,中间通过 Flink 完成初步的数据清洗、转换,再次输出到 Kafka 做为 DWD/DIM 层。这一层的数据再次经过 Flink 处理,完成数据的关联、聚合,最后在 DWS 层⽣成不同主题的多维度明细宽表与指标汇总宽表。DWS 层的宽表会同时实时同步在 OLAP 引擎⾥,通过实时看板提供给业务同学查询。 实时数仓的场景对 OLAP 引擎提出了许多挑战,也是之前我们基于 ClickHouse 架构遇到的一⼤难题场景 业务同学需要根据实时看板随时调整投放策略,要求看板数据实时更新,快速响应; 实时看板的查看频率⽐离线看板普遍⾼出 3~5 倍,并且查询结果⽆法做缓存处理; 为了联合查询不同主题的数据,DWS 层的宽表之间往往还需要在 OLAP 层做关联操作; 为了满⾜多维分析的需求,落在 OLAP 层的是明细数据,数据量⼤; 为了保障数据的可维护性与数据快速修正的能⼒,这些明细数据需要⽀持按主键更新。 本就不擅⻓多并发与多表关联查询的 ClickHouse,再叠上 Replacing 引擎的 Debuff,导致许多实时的看板常常需要⼗⼏秒才能返回查询结果,不能很好地满⾜业务的需求。同时给集群的 CPU 负载也造成了不⼩的压⼒,有时会造成集群整体查询性能的波动。 为此,我们计划使⽤ StarRocks 的 Primary Key 模型来替换 ClickHouse 的 Replacing 引擎,针对线上的实时看板,我们模拟了真实的场景,选取了一个 4 张宽表关联的复杂查询,对两种不同的引擎做了对⽐测试,结果如下: 从结果中可以看到,在没有并发的场景下,StarRocks 的查询速度是 ClickHouse 的 2 倍左右,在多并发的场景下,StarRocks 的查询速度是 ClickHouse 的 3~3.5 倍左右。 除了查询性能提升之外,Primary Key 模型也可以⽀持数据的删除,并且不⽤数据开发额外地维护分⽚与分区的写⼊规则,降低了数据开发的成本。 集智平台集成 StarRocks 的功能应用 为了提升集智在查询加载⽅⾯的性能,同时将StarRocks极速查询及⾼并发相关能⼒更好的赋能给业务同学,集智在产品侧深度集成了StarRocks,⽤户可以在平台上快速完成一站式的实时看板搭建。 在集智平台中,搭建一个分析看板前需要先创建数据模型,当数据开发同学⾯对业务⽅较为复杂或查询量较⼤的分析需求时,可在创建数据模型时选择 StarRocks 的优化⽅式,除了基础的索引字段、数据分布字段以及时间分区等字段外,还可选择对应的模型引擎以及填写数据保留的时⻓。 实时模型创建成功后,⽤户可以在模型的详情⻚拿到对应的StarRocks表连接信息,以及⾃动⽣成的Flink SQLSink语句。 之后,⽤户可以在平台的数据 ETL 模块新建一个实时 Flink 任务,往对应的实时模型中写⼊数据。 数据写⼊模型之后,⽤户就可以在搭建看板时使⽤了,可以在模型上做一些字段的数据格式调整、字段编辑、基于原始字段新增复合字段等操作,以及图表样式的调整,满⾜业务⽅不同场景下的业务⼝径与展⽰需求。 看板搭建完成后可以进⾏发布操作⽣成一个固定链接,就可以提供给业务同学使⽤啦。 集成 StarRocks 对于业务的提升 以保险产品中线上渠道投放场景为例,当保险产品开始对外发售前后,市场⼈员会将产品投放到多个渠道进⾏推⼴曝光,通过经营的核⼼报表实时核算每个渠道的投放成本以及其对应的 ROI,根据数据表现情况实时调整投放策略,控制渠道营销流程中的获客单价和投放费⽤。 因此数据反馈的快慢也会决定业务⼈员在定位问题、调整策略等事件上是否占据最佳时机。 ⽽集智使⽤ StarRocks 的模型作为实时报表的底层数据⽀撑后,在业务场景中的数据查询表现会怎么样,以下为真实场景测试结果: 1)在报表数据加载速度⽅⾯:过去业务⽅打开报表需要加载10s+,常常因为打开速度过慢致使业务偶尔在关键节点上⽆法及时得到事故反馈,导致投放成本难以控制,严重影响后续的投放策略; ⽽使⽤ StarRocks 后加载速度只需3s左右,超强的响应速度让业务同学可以很快抓准业务实时的变动节点,及时对活动策略做出调整优化。 2)在查询数据量⽀持⽅⾯:过去使⽤ ClickHouse 的实时更新模型只能⽀持千万级数据量,更⼤数据量的实时更新+查询常常超时,严重影响业务进展,也会因此错过一些关键时机; ⽽使⽤ StarRocks 后可⽀持近亿级数据量,能够适配更多⼤数据量下的业务场景,同时也能更好的维持业务稳定性,增加了业务同学对平台的信任和粘性,极⼤的提⾼了⽣产效率。 总结与规划 从以上的调研和测试结果来看,StarRocks 的单表查询性能和 ClickHouse 不相上下,在多并发与多表关联查询的场景下性能明显优于 ClickHouse,特别是针对实时数仓的⾼频更新场景,StarRocks 的 Primary Key 模型能很好地解决 ClickHouse 的 Replacing 引擎遇到的一些痛点。此外,StarRocks 的 DDL/DML和数据导入具备事务保证,兼容 MySQL 协议,集群相对 ClickHouse 也更容易运维,对于研运同学来说更加友好。 之后除了在实时数仓场景的应⽤落地之外,众安也计划在其他场景中逐步推进 StarRocks 的应⽤,例如以下场景: 离线场景的数据也逐步接⼊ StarRocks,⽤统一的 OLAP 引擎完成全场景,批流一体的数据分析; 探索 StarRocks 作为轻量级数仓,以及统一查询引擎的能⼒; 探索 StarRocks 在⽤户⾏为数据分析、⽤户画像等其他业务场景中的应⽤。 更多场景分享会持续更新,可关注“众安科技”公众号进⾏订阅,对集智感兴趣的同学也可加产品经理企微沟通哦。 4⽉13⽇众安将与 StarRocks 举办一场线上联合直播,直播中会详细讲解在集智平台落地 StarRocks 的过程及经验。 扫描下⽅海报⼆维码,提前锁定直播名额!

优秀的个人博客,低调大师

软通动力 OpenHarmony 师资培训班隆重开启,聚焦高校教师赋能

2021 年 8 月 9 日-13 日,OpenAtom OpenHarmony(以下简称“OpenHarmony”)师资培训班将以线上直播授课的形式展开,诚邀各高校相关专业老师与会参加。 此次 OpenHarmony 师资培训班由 OpenHarmony 项目群工作委员会和北京软通动力教育科技有限公司联合主办,南京小熊派智能科技有限公司协办,开放原子开源基金会作为指导单位。旨在通过加深高校教师对 OpenHarmony 的学习与理解、紧跟行业发展趋势、提高实践教学能力。不断提升高校人才的培养和积累,通过更为深入的校企合作和产教融合,汇聚、培养、共建人才,赋能新技术的生态从诞生到成熟。 OpenHarmony 具备面向全场景、分布式、组件化等特点,是一款面向未来的根操作系统。众多开发合作伙伴将以开源社区为中心,分阶段快速迭代,不断完善系统能力,逐步构建起面向万物互联时代的 OpenHarmony 生态。作为国内自主研发、全新技术生态的全领域下一代开源操作系统,自 OpenHarmony 项目开源上线以来,已经成为国内最受欢迎的开源项目之一,得到了国内众多行业、厂商、高校的高度关注和持续加入。 培训议程 日期 时间 主题 内容 8.9 上午 开场典礼及领导致辞 主持人开场 开放原子开源基金会理事长 杨涛 致辞 软通动力集团副董事长 黄颖 致辞 OpenHarmony 高校开发者生态培育 OpenHarmony 项目群工作委员会成员、 华为HarmonyOS 开源与开发者运营总监 欧建深 演讲 软通教育介绍 软通教育高校人才培养方案介绍 下午 OpenHarmony 生态介绍 ICT 行业发展趋势介绍 OpenHarmony 生态及技术体系介绍 8.10 上午 OpenHarmony 操作系统内核类实验 开发环境搭建以及依赖组件的安装 多线程创建和使用 定时器创建和使用 事件的创建和使用 互斥锁的创建和使用 信号量的创建和使用 消息队列的创建和使用 下午 OpenHarmony 外设基础实验 LED 闪烁 LED 亮灭按键控制 LED 呼吸灯 读取电压 读取 NFC 串口自发自收 8.11 上午 OpenHarmony 驱动实验 烟雾传感器驱动 温湿度传感器驱动 光强传感器驱动 陀螺仪驱动 人体红外传感器驱动 下午 OpenHarmony 物联网基础实验 创建无线热点 无线联网 实现 UDP 客户端 实现 TCP 服务端 MQTT 连接实验 小熊派接入华为云 IOT 平台 8.12 上午 OpenHarmony 物联网案例实验 智慧消防案例 智慧路灯案例 智慧井盖案例 智慧人体感应案例 智慧农业案例 智慧物流案例 下午 物联网应用全场景 物联网体系架构介绍 物联网平台数据流转到消息队列 8.13 上午 物联网应用全场景 应用服务器拉取消息队列数据 客户端对接应用服务器 下午 OpenHarmony 分布式流转特性实验 分布式流转特性介绍 分布式视频播放器开发 培训安排 培训时间:2021 年 8 月 9 日至 8 月 13 日 培训形式:线上直播授课 培训人员:经软通教育及OpenHarmony教育工作组邀请的高校相关专业老师 考核发证:培训期满,经考核合格,颁发由软通教育及开放原子教育联合认证的师资培训结业证书 报名须知:免费线上培训,各位老师自行购买培训所需硬件设备 培训接口人: 梁程 15507710157 chenliangd@isoftstone.com 沈俊 17671606255 junshenj@isoftstone.com 直播路径 开放原子教育培训: https://app3gcjx6qa9693.h5.xiaoeknow.com/v1/course/column/p_610bac92e4b0cce271ba302f?type=3 扫码观看 软通云直播间: https://live.vhall.com/486938553 企业介绍 北京软通动力教育科技有限公司: 软通教育是软通动力集团旗下教育品牌,专注于ICT人才供给与培养,是软通动力进行校企合作、人才供给与发展、人才生态建设的平台。软通教育深耕高校,致力于产教融合,解决产教供需矛盾,弥补现有教育和市场脱节的问题,打通企业用人“最后一公里”。 南京小熊派智能科技有限公司: 南京小熊派智能科技有限公司是南京厚德物联网有限公司旗下全资子公司,“小熊派”是一个开源硬件平台,致力于IoT、5G、AI、OS等新技术领域的技术开源及推广;自主研发的IoT开发套件和HarmonyOS开发套件均销量全国第一;同时开展物联网教学套件研发和定制项目;旗下“小熊派开源社区”专注于为开发者免费提供技术开源资料及教程,服务数百万开发者,拥有数十万小熊派粉丝。 特别鸣谢 “小熊派”对OpenHarmony师资培训班的大力支持,在本次培训过程中每天送出5块小熊派BearPi-HM Nano开发板进行抽奖。 开放原子开源基金会及 OpenHarmony 介绍 开放原子开源基金会是中国首家以开源为主题的基金会,以“一切为了开发者,一切为了全世界”为使命,致力于为全球开发者搭建可持续的开源合作平台,基金会可为各类开源项目提供中立的知识产权托管服务以及战略咨询、法务咨询、项目运营和品牌营销服务。 OpenAtom OpenHarmony(以下简称“OpenHarmony”)是由开放原子开源基金会孵化及运营的开源项目,由开放原子开源基金会的 OpenHarmony 项目群工作委员会负责运作,遵循 Apache 2.0 等开源协议。由华为捐赠智能终端操作系统基础能力相关代码,多家单位及全球开发者共建的开源分布式操作系统。具备面向全场景、分布式、组件化等特点,是一款面向未来的根操作系统。众多开发合作伙伴将以开源社区为中心,分阶段快速迭代,不断完善系统能力,逐步构建起面向万物互联时代的 OpenHarmony 生态。 OpenHarmony Gitee 教育资源仓是高校教育生态的有力抓手,本仓由 OpenHarmony 共享技术文档、教育培训教材、实践解决方案、实验手册、教具方案等内容构成,意在给广大高校单位和个人提供公开平等的学习和贡献的环境,帮助院校进行体系化的人才培养,主动储备产业人才力量。调研数据显示,自从 2021 年 5 月 24 日 OpenHarmony 高校启航闭门研讨会以来,在全国已有 20 多所高校有意向开设 OpenHarmony 课程,希望通过产学研交叉赋能,加快完善 OpenHarmony 高校教育生态。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册