首页 文章 精选 留言 我的

精选列表

搜索[库存盘点],共7325篇文章
优秀的个人博客,低调大师

MySQL 数据脱敏方式盘点

对于企业而言,数据脱敏可以在数据共享或测试时用于保护敏感数据(如信用卡,社保卡,地址等)。通过对敏感数据进行脱敏处理,组织可以最大限度地降低数据泄露和未经授权访问的风险,同时仍能够使用真实的开发,测试和分析目的所需的数据。 有很多方法进行数据脱敏,比如遮挡,替换,洗牌和加密,等等,它们适用于不同场景。本文主要聚焦「遮挡」,用特定符号 (比如 X 或 ) 遮挡敏感数据,这种方法可以在脱敏的同时保持原有数据感观。 MySQL 企业级数据脱敏插件 MySQL 官方这边,数据脱敏只作为插件在 MySQL 企业版中提供 。 MySQL 数据脱敏插件的工作原理是插件中包含了用于进行数据脱敏的语法,例如 mask_inner, mask_outer, mask_ssn 等。 组织里有权限的人员(通常来说是数据库管理员)会首先定义一个显示脱敏数据的视图 (VIEW)。即使用户对敏感数据的访问受限,他们也可以将该视图视为一张表。因此,要访问数据,用户不是直接使用脱敏语法进行直接查询,而是从视图中查询即可。 这种方法很直接,但也有一定限制: 依赖于细粒度的 MySQL 用户账户 / 角色。实际上,大多数 MySQL 实例只有少数几个用户。要采用此插件,需要重新设计 MySQL 中的账户设置。 不同的脱敏规则需要定义不同的视图。随着底层表和变体数量增加,这会越来越难管理。 没有专门的模块来管理脱敏(毕竟只是普通的 MySQL VIEW)。 Percona 数据脱敏插件 Percona 数据脱敏插件 是前述 MySQL 插件的免费开源实现。它也提供了一组用于脱敏数据的函数。 同样,保护原始数据的方法是使用视图 (VIEW)。 然而,Percona 数据脱敏仅适用于 Percona Server for MySQL。如果你使用更主流的 MySQL,那就需要另寻他路了。 Bytebase 动态数据脱敏 不同于前两种,Bytebase 动态数据脱敏 不依赖于底层的 MySQL 视图和用户,而是通过 Bytebase 内部管理脱敏策略和授权管理。当用户通过 SQL 编辑器查询时,会自动应用动态脱敏策略。 Bytebase 动态数据脱敏包括以下组件: 全局脱敏规则:「工作空间所有者」和「DBA」可以批量定义全局脱敏规则。例如,可以将所有名为 email 的列脱敏程度设置为「半脱敏」。这样,修改脱敏策略就无需手动修改数千列了,还节省了维护视图的麻烦。 列脱敏规则:「工作空间所有者」和「DBA」可以将列设置为不同的脱敏级别。列脱敏规则优先于全局脱敏规则。 访问未脱敏数据:对于脱敏数据,「工作空间所有者」和「DBA」可以授予特定用户访问未脱敏数据的权限。 ⚠️「工作空间所有者」和「DBA」均为 Bytebase 的角色。 对比 MySQL 数据脱敏和 Percona 数据脱敏插件的优势在于它们是在数据库本身中实现的。因此,无论以何种方式将查询发送到数据库,都会强制执行数据脱敏规则。对于 Bytebase 动态数据脱敏来说,查询则需通过 SQL 编辑器进行强制执行。 Bytebase 动态数据脱敏的优势在于其与所有 MySQL 发行版的兼容性,丰富的脱敏策略和访问授权。只要团队通过 Bytebase SQL 编辑器来查询数据库,那么 Bytebase 动态数据脱敏可以保障组织敏感数据的安全。 🔧 欢迎跟着教程来试试 Bytebase 动态数据脱敏。 💡 更多资讯,请关注 Bytebase 公号:Bytebase

优秀的个人博客,低调大师

2017移动开发年终盘点

2017年已经过了大半个月,2017年移动端经历了哪些大事件呢,现在总结如下。 Android 技术动态 在今年 Google I/O 大会上,谷歌 CEO Sundar Pichai 宣布谷歌的正在从“移动为首位”转变为“AI 高于一切”,所以与往年的开发者大会相比,今年会议的大部分内容都围绕 AI 展开,如 Google 将开放 Tensor Flow、TPU 等软硬件工具给开发者,还发布了一系列人工智能产品如:Google Lens、Google Asistant、Google Home 等,并提出了 Google.ai 计划,相比之下,Android 的内容就少了很多,这也意味着谷歌正在 Android 的基础上逐渐构建自己的人工智能生态系统。在本次大会上,谷歌宣布 Android 的活跃设备数达到了 20 亿,这意味着 Android 系统已成移动行业的霸主。 1. Android 8.0 发布 今年最受 Android 开发者期待的莫过于 Android 8.0 了,在经过 4 个开发者预览版的洗礼后,北京时间 8 月 22 日谷歌发布了 Android 8.0 的正式版,取名 Android Oreo(奥利奥),简称 Android O,“奥利奥”的名字沿袭了谷歌以甜品取名操作系统的传统。相对上一代版本,Android 8.0 的功能、流畅性和安全性都有了很大地提升,主要表现在以下几个方面: 功能: 画中画:支持将手机的电影屏幕缩小成悬浮窗口,在看电影的同时可进行其他应用程序的操作; Notification Dots:App 在接收通知后,将在图标的右上角生成一个圆形的小点,长安圆点即可显示该 App最近通知,滑动即可清除,无需经过通知栏; 即时应用:这个与微信小程序类似,App 无需安装也可通过点击网址打开 App,不过前提是访问的这个 App 支持这个功能,由于Android Instant Apps 是基于 Google Play 服务构建的,所以国内的 Android 用户暂时无法享用此功能; 智能文字选取:能检测出选取的文字是地址还是电话号码,并会根据选取的文字类型打开对应的应用,如地图或拨号功能。 流畅性:据谷歌透露,Pixel 在 Android 8.0 下的开机速度比上一代系统快了 2 倍;而且针对各种流氓 App 采取严格的控制,不常用的 App 会被强制停止,节省手机耗电量和提高手机流畅性; 安全性:谷歌在 Android 8.0 中内置了 Play Protect 服务,能够自动扫描手机中潜在的恶意 App。 2. Android studio 3.0 发布 10 月 25 日,Android Studio 3.0 正式版发布,此版本将支持 Kotlin 编程语言、支持 Java 8 语言功能、支持 XML 字体预览、支持 Instant App、支持配置和调试 APK 等。其中,开发人员不再需要通过 Android Studio 的插件就可直接在 Android Studio 3.0 中使用 Kotlin,包括重构、自动完成、lint、调试等操作。 3. ARCore 发布 8 月 29 日,Google 了发布构建 AR 应用平台 ARCore,这个项目被看做是 Google 与苹果在 AR 领域上的较量,因为苹果 6 月也推出了 AR 框架 -ARKit,所以 ARKit 也被认定为 ARCore 的对标。而在此之前,谷歌也曾研发过一个 AR 平台 Tango,但由于 Tango 对硬件设备有限制,各方面的性能也比不上 ARCore。在今年 12 月 15 日,谷歌宣布将从 2018 年 3 月 1 日起停止对旗下 AR 平台 Tango 的支持,以后将专注于 ARCore 平台的研究,在 AR 上大展拳脚,不知道将来在 AR 领域的 ARCore 与 ARKit 会不会像现在的 Android 和 iOS 一样各占半壁江山,让我们拭目以待吧。 4. Kotlin 成为 Android 开发一级编程语言 由于 Kotlin 比 Java 更安全——能够静态检测常见的缺陷、更简洁,而且能兼容 Java 等优点,使它能够短短几年在众多竞争中脱颖而出,成为开发者们的香饽饽。尤其是在今年的 Google 在大会上,谷歌宣布 Kotlin 成为 Android 开发的一级编程语言后,江湖上就开始流传 Java 将被 Kotlin 取代的说法,各大论坛的 Java 与 Kotlin 大战由此展开,各类站队的文章也层出不穷,好不热闹。 11 月初,第一届 Kotlin 的专题会议 KotlinConf 在旧金山开幕,会议上 Kotlin 首席设计师 Andrey Breslav 宣布 Kotlin 将要支持 iOS 和 Web 开发,这也被称做 kotlin 与 Swift 在支持全栈开发上的较量,此消息一出,引发了不少开发者的热议,有开发者表示,kotlin 要想拿下 iOS 估计不是那么容易的事情,毕竟苹果对自己的生态有严格的把控,苹果是不会轻易地给 Swift 的竞争对手机会的,也有人认为 Kotlin 应该先把 Android 的坑填完再去扩张,跨步太大容易摔跤。 但是,不管将来 Kotlin 将来能否统一江湖,但是从目前来看,Kotlin 有了谷歌这座靠山,它的前景还是值得期待的! 5. 国内安卓统一推送联盟成立 2017 年 10 月 16 日,安卓统一推送联盟大会在京举办,此次大会由中国工信部旗下的中国信息通信研究院泰尔终端实验室主办,多个互联网企业和手机制造企业出席,并宣布百度、阿里、腾讯、华为、小米、OPPO、vivo、个推为联盟的副理事长单位。 “安卓统一推送联盟”的正式成立标志着安卓手机 App 自启和应用间相互唤醒的毛病将得到改善,国内安卓生态的混乱状态将得到有效解决。未来,安卓手机推送消息时,不必唤醒手机应用,从而保证 App 在未被使用时处于休眠状态,节省手机的内存和电量,安卓用户的体验将更加贴近 iOS。 iOS 技术动态 苹果 WWDC2017 大会何于 6 月 6 日在圣何塞 McEnery 会议中心召开,苹果发布了四大系统 WatchOS 4、macOS High Sierra、tvOS、iOS 11 的更新,每个系统相较上一个版本都有很大的提升。 1. iOS 11 发布 iOS 11 于 9 月 13 日凌晨正式发布,9 月 20 日全球正式开放下载,iOS 11 相对上一个版本主要有以下更新: iMessage: 新的 iMessage 集成了 iCloud 功能,所有的信息都能通过 iCloud同步,可删除本地信息,仅存于云端,优化手机本地内存; Apple Pay: 支持点对点支付,可直接给对方付款,就像微信支付一样方便; Siri:Siri 的发音将更加自然,并加入了男声,Siri 在 iOS 11中已经内置翻译功能,可以将英语翻译成汉语、法语、德语、意大利语以及西班牙语。除了语音之外,在 iOS 11 系统中,用户还可以通过打字跟 Siri 进行沟通; 支持 AR:在 iOS 11 中,还有一个令人期待的功能 AR,iOS 11 带来了 ARKit,这是苹果全新的 AR应用平台,开发者可以使用内置的摄像机、传感器和处理器在 iOS 设备上开发 AR 体验的应用。 此次除了功能上的更新外,根据苹果最新的规定,从 2018 年 1 月 1 日起,iOS 11 将全面停止 32 位应用程序,意味着从 2018 年开始,升级 iOS 11 正式版的系统后,目前 App Store 里的 18.7 万款 32 位的应用将无法搜到或无法打开,而对消费者而言,iPhone 5 和其他仅支持 32 位系统苹果手机将会面临淘汰。 其实早在今年 6 月份,苹果就开始透露了这个消息,而在更早的 2015 年,苹果就向开发者传递了 64 位应用的优势,也暗示着让开发者开发 64 位的应用程序来适配 iPhone 5s 之后的新系统,所以就目前来讲,很多应用基本上都已经有了 64 位的版本,很多仍停留在 32 位的大多都是比较冷门的应用,对用户来说也不是必备的,所以总的来说,影响不会太大。 2. Swift 4.0 发布 Swift 4.0 在 2017 年 9 月 19 日正式发布,最新的版本主要针对语言本身以及标准库的大量改动和更新,最重要的变化包括新增的 String 功能、扩展集合、归档和序列化等。关于Swift 4.0的相关知识,可以查看如下的链接:Swift 4.0中文版 3. 苹果“热修复”门事件 今年苹果在移动法规上最大的新闻估计就是“热修复”门事件了,今年三月,苹果向所有开发者推送警告邮件,宣布将禁用 App 内部的“动态分发”功能,并要求开发者在自家 App 中删除 JSPatch、Rollout 等相关框架,否则 App 将面临下架或禁止在 App Store 上架。 这一动作,意味着苹果对“热更新”判了死刑,对用户而言,未来更新应用都需重新下载完整的新版数据包。对国外的开发者影响不大,因为国外的开发流程很规范,再者,国外的 Google Play 也一直是禁止热修复的, 基本不会用热修复进行迭代,基本都是一次性交付。 但对国内的开发者而言,这却是致命的打击,由于之前的“热修复”可以直接通过服务器推送并进行下载迭代,可以避开苹果的“二次审核”,App 就能早日上线盈利,但从今以后,这样的“福利”再也没有了。 从根本上来说,还是因为“热更新”破坏了 iOS 生态的“安全性”与“可控性”,这对苹果来说,是无法容忍的。 移动开发热门话题 TOP5 2017年移动最热门的话题莫过于:移动 AI、性能优化、移动架构、Kotlin、AR/VR。 移动 AI今年毫无疑问是 AI 年,各种其它领域都羡慕嫉妒恨的想跟 AI 扯上关系,移动也不例外。语音交互的成熟催生了 CUI,另外端上的 AI 也的确是一个趋势,因此有了很多与此相关的分享。 移动电商中的图像算法应用用人工智能来高效测试 App利用 CNN 实现无需联网的智能图像处理对话式交互:从开端到成长基于卷积神经网络在手机端实现文档检测App 如何与 AI 共舞 ---AI 为 App 开发赋能深度学习在手机端的应用移动端设备上的深度学习:Android 设备上 TensorFlow 应用与实现安卓车载系统创新功能轻量级 DNN 网络在 Android 上的视觉应用人工智能技术及在移动端应用足球游戏的 AI 实现深度学习在移动端的应用使用 TensorFlow 搭建智能开发系统,自动生成 App UI 代码移动端全机型传感器的自适应计步算法设计 性能分析与优化:性能优化在移动开发中是一个长盛不衰的话题,移动架构一复杂起来,必然出现性能瓶颈,这时就要去做分析和优化。而在性能分析这一块,APM 越来越受到重视,不少公司都自建了 APM 系统。 iOS App 内存专项实践:封闭系统下的大自由手淘 iOS 性能优化探索Android 系统开机时间优化优化 Android 应用程序的桌面体验360 手机卫士性能提升攻略移动端性能监控方案 Hertz从无到有实现一个性能监控平台是怎样一种体验?移动网络性能优化Android 启动优化 - 异步 dex 加载滴滴出行 iOS 端瘦身实践 移动架构17 年以来,移动架构很少有大的革新,连 Rx 和函数式的分享都少了不少,感觉架构更加像是一个拓荒的工作,一旦稳定,事情就比较少了。不过架构还是很重要的,选错型的话只能流泪跪着走完了。 共享代码衍生多款应用的定制框架之经验分享58 同城 Android 客户端 Walle 框架演进与实践之路豌豆荚的反作弊技术架构与设计美团点评移动端底层架构实践Android DataBinding:MVVM 架构基石,数据驱动 APP 运转美团客户端架构演进之路Atlas: 手机淘宝 Android 架构实践AOP 技术在 APP 架构上的应用一个 5800 行文件的重构历程 Kotlin今年也是 Kotlin 年,在 Google IO 之后 Kotlin 着实风光了一把,开发者对于效率的追求是 Kotlin 如此受欢迎的最大原因,而它的势头也很不错,跨平台的野心让更多人有了使用它的理由,如今看起来,它甚至比 Swift 更有前途。 Kotlin from zero to how can it help me?Kotlin 在 Android 开发中最佳实践探讨开发效率的抉择:将 Kotlin 投入 Android 生产环境中Kotlin 跨平台,还有 Native从 Java 到 Kotlin,当机器人不再喝咖啡后用 Kotlin 定制自己的 DSLAndroid 开发从 Java 到 100% Kotlin 项目实战总结 AR/VR随着 AI 的落地和苹果谷歌的力推,AR 逐渐来到了我们的身边,最常见的就是各种美颜、直播 App 里的贴纸、表情、试妆等,都是 AR 的应用。AR 作为垂直领域已经值得投入了。 AR/VR 的未来技术趋势Introduction to Google ARCore移动互联网时代的 VR 技术之路从 2D 到 3D,AR 发展中的关键技术如何利用 CPU 计算能力实现更沉浸的 VR 体验虚拟现实产业中 Android 的现状、未来和挑战 2017 年移动开发的公开分享明显减少了,原因这里不多说,对于移动开发者来说,真是听一个少一个,向每一个分享者致敬! 在新的一年里,移动开发前线仍会持续关注移动技术动态,也欢迎开发者继续关注移动开发前线。想知道过去一年国内代表性公司在移动开发上都做了哪些工作,以及 2018 年值得你关注的移动技术有哪些?请见下回分解~

优秀的个人博客,低调大师

中国物联网企业盘点

中国物联网产业规模2015年达到7500亿元,“十二五”时期年复合增长率为25%。1日落幕的2016世界物联网博览会上,权威专家和政府部门有关负责人认为,物联网产业爆发式增长已为时不远。 而很多人或许并不知道的是,凭借着相对敏锐的产业嗅觉,中国的物联网发展当下已经处在世界前列。目前已形成了包括芯片和元器件、设备、软件、系统集成、电信运营、服务等较为完善的产业链。物联网在国内,已广泛利用在交通、物流、环保、医疗健康、安防、电网等领域,市场规模已达数百亿元。 近年来,不少“嗅觉灵敏”的企业已经开始布局物联网,将其作为下一阶段的战略发展方向。典型的例子就是阿里巴巴、华为、中兴以及三大电信运营商都把下一阶段重心放在了物联网应用和智慧城市解决方案上。而除了巨头外,国内还有一批物联网领域的代表厂商,同样也是这一庞大市场的强劲玩家。 智能家居物联解决方案——Broadlink、欧瑞博 不同于小米利用自推设备来塑造一个全新智能家居体系的方案,Broadlink的目标是去覆盖存量家电市场,手段主要是红外控制,走同样路线的还包括国内的万能遥控器和国外的罗技Harmony系列。 由于红外码相对开放,数据也容易获得,因此聚合型的红外遥控方案对于用户来说学习成本非常低,这也是Broadlink这家初创公司所重点考虑的原因。不过其受限性也是同样明显的,因为红外信号传递有个非常严重的缺陷在于其是单向信号发送,接收端是否接收到信号以及是否执行指令,Broadlink这一方是无法获得反馈的,而且以红外控制为业务中心,也使得Broadlink更多偏向于一个中控方案提供商。 和Broadlink一样,欧瑞博也是将目光瞄准智能家居市场的物联网企业之一,其曾获得过国内智能家居创业公司中最大一笔融资,主要产品和业务包括智能开关、智能插座、燃气报警器等产品。 作为国内最早加入ZigBee联盟的智能家居企业之一,欧瑞博还与创维、欧普照明、雷士照明等近100家知名电工、电器、照明品牌企业形成智能化方案战略合作,而小米先前也传出将与欧瑞博合作的传闻。 欧瑞博的产品核心在于其认为智能家居的入口并不一定是哪一款设备,而有可能是很多歌微智能单体产品互相配合组成,而欧瑞博产品的最大特色也正是设备可以单独使用,解决用户单个场景的应用需求。这种模式的好处在于用户不一定非要搭建一个体系才能体验到智能家居,微智能单品所提供的低门槛,可以更加便捷的让用户体验到智能家居的吸引力——唯一需要考虑的问题是在巨头入场后,欧瑞博还能否独善其身,凭借着小而精的路线成就自己。 家居物联云平台——艾拉物联、庆科 物联网的打通方式包含芯片平台和各个协议交互平台两种,但是无论是二者哪一方式,都离不开云计算的助力。而在这一领域,国内亦有表现不错的企业,比如艾拉物联与庆科。 艾拉物联成立于2010年,总部位于美国加州硅谷,是全球领先的IoT云平台(B2BPaaS)服务提供商。去年上半年,艾拉成立深圳分公司,正式进入中国IoT市场,其在中国主要客户为智能硬件制造商。 艾拉云平台正拥有高度安全性的端到端解决方案,并采取收费模式,目前,艾拉已经为企业打造了Facebook、QQ、微博等平台的硬件互联,而Google Thread、苹果HomeKit等企业云接入的智能设备,也可以在艾拉云平台转化为同一种语言,接入微信、QQ、Facebook等平台。 而相比较艾拉的泊来性,上海庆科信息技术有限公司则是本土物联网云服务的代表,庆科信息技术有限公司是一家物联网系统解决方案供应商,基于自主研发的物联网操作系统MiCO,MXCHIP为客户提供全方位的智能硬件集成开发服务。庆科云平台(FogCloud)主要服务于MiCO和模块固件的升级,经过2年多的开发,已为中小企业和工业客户提供接入服务能力,包括了设备管理,安全管理,数据管理,统计分析等功能。 除此之外,庆科还推出了“无限亮”、“智慧健康”、“智慧商业”、“智慧城市”等一揽子解决方案,并与阿里巴巴达成了合作。 智能物联云平台——贝美物联、ROOBO 除了智能家居和云服务之外,娱乐物联网近期也被看好。奥飞娱乐、阿里罗火火兔、科大讯飞等近期都在此布局。 近期,阿里罗火火兔宣布与贝美物在智能教育领域进行战略合作,共同推进物联生态在早教娱乐领域布局;同时在今年9月,奥迪双钻的首款智能在线竞技赛车“零速争霸”,也是与贝美物联进行合作的。贝美物联总部位于深圳,是一家专注于智能物联芯片与物联云的科技企业,于2016年推出了业界首个企业界娱乐物联网平台。 在智能芯片领域中,贝美物联与瑞昱联合推出了首款在Cortex-M架构上支持语音微聊、语义识别、在线流媒体播放等功能的物联网芯片,是首个在100RAM基础上实现多功能嵌入的物联芯片,在行业中引起了很大的反响。 另一个玩家叫ROOBO,为北京智能管家科技有限公司旗下注册商标,实力也不容小觑。ROOBO前不久获得来自科大讯飞1亿美金的投资,其致力于打造领先的智能机器人系统、产品和服务相结合的整体生态体系。包括研发与探索最核心的人工智能相关技术,不断设计、开发与规划新奇有趣的智能机器人和其他硬件产品。 Nuance美国近日宣布与ROOBO达成战略合作,ROOBO将利用Nuance Mix NLU开发平台提供的语音和自然语言(NLU)能力,为全球的机器人和设备开发会话及认知接口。ROOBO在发展自身人工智能技术水平的同时,还会不断发掘并扶持一系列有潜力的中小型人工智能企业共同进步,在这一过程中ROOBO逐渐将自身发展成为一家具有“平台”性质的人工智能企业。除此之外,在技术层面上ROOBO的领先之处在于其率先发布了专业适配于智能机器人这一特殊硬件的机器人系统,并宣布在近期将会推出“人工智能芯片”,大大提高了人工智能硬件的运算速度和安全性。 本文转自d1net(转载)

优秀的个人博客,低调大师

盘点数据大牛公司

数据挖掘、海量存储、数据仓库、大数据、商业智能、数据分析、平台……经历过几十年的发展演变后,数据库管理系统已经发展成为一门内容丰富的学科,造就了一个庞大的软件产业。 有关数据管理和分析的新需求推陈出新,对我们所能采取的方法和技术产生着深远影响。现有供应商逐渐成长成熟并战胜竞争对手,与此同时新的初创公司开始生根发芽。 随着数据平台种类越来越多,人们开始提出要通过融合和数据质量保障措施消除数据孤岛,帮助更多用户以更快的速度分享更为精确的数据,借此实现更为完善的决策工作。为了满足这种需求,市面上开始出现能与本地系统一起工作的云平台,借此让企业更自由地专注于业务本身,而无需专注于IT。 数据产品的市场中有很多深耕已久的公司,通过多年发展他们已经具备非常成熟的产品;同时也有最近新成立的公司,致力于通过新方法将大数据、安全、云,以及分析技术的威力结合在一起。 这些公司都是谁?他们有什么产品和服务?能为用户提供怎样的帮助?下文列出了其中一些有代表性的公司,一起来看看吧。 Actian Corp. www.actian.com Actian致力于帮助不同规模的组织将大数据转变为业务价值,该公司提供的分析平台可通过市售硬件实现极高性能,帮助企业克服应用大数据技术时面临的技术和经济障碍。 Aerospike, Inc. www.aerospike.com Aerospike提供的高性能NoSQL数据库可在大规模环境中实现极高速度,专门针对实时事务工作负载进行优化,可为金融服务、广告技术,以及电子商务等行业的关键业务应用和决策工作提供支持。 AgilData www.agildata.com AgilData以为大数据处理和数据建模提供敏捷方法为目标,提供了高性能流处理平台,可帮助组织快速高效地通过飞速生成的数据获得有意义的洞察力。 AgilData提供的解决方案和服务可以帮助用户实现大数据承诺,对复杂的MySQL数据基础结构进行扩展。AgilData为商业智能分析、数据管线编排、数据清洗(Data wrangling),以及事件处理提供了可无缝集成的最佳大数据解决方案。我们与不同公司合作以转型工程实践,缩短开发周期,降低运维工作量,充分利用数据集构建全新的价值流。——AGILDATA公司CEO,Dan Lynn Alpine Data Labs www.alpinedata.com Alpine Data提供的高级分析平台可供组织在一个环境中管理整个分析生命周期,通过帮助用户构建、开发、使用分析应用程序,以敏捷的协作获得洞察力。 Amazon.com, Inc. www.amazon.com Amazon.com通过Amazon Web Services提供计算、存储、数据库、分析、应用程序,以及部署服务,可为Web和移动应用、物联网、游戏开发、数据处理和数据仓库、存储、归档等各类工作负载提供支持。 Attunity Ltd. www.attunity.com Attunity的大数据管理软件解决方案提供了诸如数据复制、数据流管理、测试数据管理、数据变更捕获等能力,可以帮助组织跨越异构企业平台、组织和云环境访问、管理、共享、分发数据。 大数据是一个全新的金矿。但是为了从中获得价值,企业首先必须了解要移动哪些数据,将数据保存在哪里,如何高效管理大量数据。面对繁多的流程,以及数量、种类、速度急速飙升的数据,复杂度必然水涨船高。作为高性能数据管理软件解决方案供应商,将创新技术带到这些领域是Attunity的责任。——Attunity公司主席兼CEO,Shimon Alon BackOffice Associates www.boaweb.com BackOffice Associates是一个信息管控和数据现代化解决方案供应商,专注于帮助客户管理数据这一最为关键的资产,通过不同产品和服务帮助组织快速成长,获得可行的能见度,降低风险。 随着新生成的数据量与日俱增,大型企业必然在数据领域面临复杂的挑战。这些挑战会对组织的数据质量产生直接影响,而数据质量会直接影响到业务绩效和盈利能力。人们对这些趋势的重视程度越来越高,进而开始关注重视数据管理解决方案和创新式的信息管控能力。——BackOffice Associates公司主席兼CEO,David Booth Basho Technologies, Inc. www.basho.com Basho Data Platform将Riak KV、Riak TS,以及Riak S2等产品与Apache Spark、Redis,以及Apache Solr无缝集成,简化了分布式大数据和物联网应用的开发工作,可提供极高的可用性、可扩展能力,以及更为简单的运维。 BDNA www.bdna.com 通过从各类数据源收集有关IT资产的详细信息,将其用于ITAM解决方案以创建报表并进行分析,BDNA解决了IT资产管理(ITAM)方面的挑战。 Birst, Inc. www.birst.com 企业级云商业智能和分析技术供应商Birst提供了以多租户云体系结构为基础构建的网络化商业智能平台,可以帮助商业智能应用以透明的方式连接,在用户本地执行,满足全球管控制度的要求。 ClearStory Data www.clearstorydata.com 致力于为每个人提供数据智能的ClearStory Data公司,其解决方案主要可用于简化内外数据源的数据访问和自动化的数据调谐(Data harmonization),借此促进协作式数据探索,帮助业务更快速获得洞察力。 Cloudera, Inc. www.cloudera.com Cloudera以Apache Hadoop和其他开源技术为基础提供企业级数据管理和分析平台,此外还提供了支持、培训,以及其他专业服务。 Cloudera以Apache Hadoop和最新开源技术为基础提供了现代化的数据管理和分析平台。很多全球领先的组织都在借助Cloudera提供的Cloudera Enterprise这一全球最快、最易用,最安全的数据平台解决业务面临的挑战。——Cloudera公司CEO,Tom Reilly Compuware Corp. www.compuware.com Compuware提供的解决方案可以帮助具备主流技能的IT专家管理大型机应用程序、数据,以及平台操作,借此更充分地利用在大型机领域的投资,从而在数字经济时代获得成功。 企业的很多宝贵知识资本都以数据和业务逻辑的形式存储在大型机中。若要在全新数字化经济时代更高效运转,企业必须能充分利用这些宝贵的知识产权财富。然而随着有经验的大型机从业人员逐渐退休,大型机数据和应用程序的管理任务逐渐开始交给对这一平台根本不熟悉的新一代开发者,企业将面临巨大的挑战。 ——Compuware公司CEO,Chris O’Malley Corvil www.corvil.com 通过理解并分析整个网络中的原始数据流,使其可以轻松地访问、搜索和使用,Corvil帮助组织更全面地了解自己的客户、业务、IT基础结构。 Couchbase, Inc. www.couchbase.com 通过为数字化经济时代的企业提供支撑,Couchbase横跨产品和服务的NoSQL文档数据库平台N1QL通过声明性查询语言为SQL扩展了JSON支持。 Couchbase, Inc.为数字经济提供了全球最高性能的分布式数据库平台。全球开发者都在借助灵活性、扩展能力、性能,以及24x365可用性方面有极佳表现的Couchbase构建企业级Web、移动,以及物联网应用。Couchbase平台包含Couchbase Server、Couchbase Lite(首个移动NoSQL数据库),以及Couchbase Sync Gateway。 ——Couchbase公司总裁兼CEO,Bob Wiederhold Databricks www.databricks.com 由来自UC Berkeley AMPLab的Apache Spark发明人创立的Databricks提供了Spark驱动的托管式数据平台,可以帮助组织通过一个数据平台完成从数据摄入到探索和生产应用等一系列任务。 Data Intensity www.dataintensity.com Data Intensity是一家面向企业应用程序和数据管理领域的分析、商业智能,以及托管式云服务供应商,能够为客户的整个企业数据生命周期提供支持。 DataStax www.datastax.com 致力于满足Web、移动,以及物联网应用的性能和可用性需求的DataStax是一家云应用数据库软件供应商,提供了基于Apache Cassandra NoSQL数据库技术构建的平台。 Datavail www.datavail.com 远程数据库管理服务供应商Datavail专精于Oracle、Oracle E-Business Suite、Microsoft SQL Server、MySQL、MongoDB、DB2,以及SharePoint,提供托管式数据库服务、数据库设计、体系结构设计,以及数据库专业人员。 Datical www.datical.com Datical提供的敏捷数据库自动化解决方案可以帮助组织缩短将应用程序投放市场所需的时间,同时可消除当前所用数据库部署方法可能造成的安全漏洞、错误、数据丢失,以及停机等问题。 DBI (Database-Brothers, Inc.) www.dbisoftware.com DBI为零售业、银行、州政府、保险公司、医疗健康公司、制造业企业,以及其他有着类似需求的行业提供了DB2 LUW Performance 解决方案。 Delphix www.delphix.com Delphix提供的软件可帮助组织针对整个应用程序生命周期提供虚拟化的数据,涵盖开发、测试、报表等环境,进而提高开发者生产力以及本地和云端的数据安全性。 Denodo Technologies www.denodo.com Denodo提供的数据可视化软件通过跨越一系列企业技术、云、大数据、非结构化数据源,以及实时数据服务实现数据集成和数据抽象,帮助用户更快速简单地访问统一的业务信息。 传统数据集成体系结构需要复制所有相关数据,并将其存储在一个中央仓库中。但是大数据几乎不可能复制,而试图将云环境中包含的信息集中存储在一起,无异于试图把海水煮开。对于希望将大数据货币化的财富五百强企业,传统数据集成体系结构可能会让开发和决策工作异常缓慢,虽然坐拥大量数据但全然无法从中获益。企业需要速度更快的数据集成体系结构,数据虚拟化技术满足了企业的需求。 ——Denodo公司CTO,Alberto Pan Driven, Inc.,原名Concurrent www.concurrentinc.com 应用程序开发和性能管理解决方案供应商Driven致力于通过自己的产品让不同规模的企业可以更轻松地创建、部署、监控、管理自己的大数据应用程序。 Empolis Information Management GmbH www.empolis.com Empolis提供的Smart Information Management软件能为不同来源、格式、用户、位置,或设备的业务流程相关信息的创建、管理、分析、处理和供应工作提供支持。 大数据技术为人工智能的“东山再起”奠定了基础,全球很多公司已经开始涉足人工智能领域。但是他们逐渐发现,面对以指数形式增长的非结构化数据,例如文本、业务信息和PDF文档、Web内容、社交媒体、视频、音频、图形,为满足关键业务需求更合理有效地利用这些信息,这个过程开始充满越来越多的挑战。 ——Empolis公司CEO,Stefan Wess博士 EnterpriseDB Corp. www.enterprisedb.com EnterpriseDB基于PostgreSQL提供的RDBMS包含软件、服务、培训,能为关键业务企业应用提供支持。 Entrinsik, Inc. www.entrinsik.com Entrinsik提供的信息管理解决方案包含报表和商业智能解决方案,可以帮助组织连接不同来源的数据,包括Microsoft SQL Server、Informix、Oracle、IBM DB2、MySQL、Microsoft Access、UniData、UniVerse、D3以及Google Docs。 ERwin, Inc. www.erwin.com Erwin是从CA Technologies分拆出的一家独立实体,得到了Parallax Capital Partners的资助和支持,意图打造一家大数据软件公司,该公司的旗舰产品包括Erwin数据建模和大数据解决方案。 ERwin, Inc.开发了业界领先的数据建模解决方案,已赢得多个奖项,目前正被全球六十多个国家超过50,000名数据管理专家使用。借助卓越的数据管理标准,Erwin可以帮助大中型企业对数据,这一最宝贵的资源进行建模和管理,并通过一个信息中枢在整个组织范围内分享数据定义、规则、结构。 ——Erwin公司CEO,Adam Famularo GridGain www.gridgain.com GridGain Systems提供了基于Apache Ignite的企业级内存中数据结构解决方案,可支持极大量事务、实时分析,以及混合数据处理等功能。 GridGain Systems使用内存计算技术让数据密集型应用程序实现一千倍的提速,并能在无需替换现有数据库或重写应用程序的情况下实现大规模扩展。GridGain集群通过扩展可支持数百TB内存中数据。GridGain内存计算层位于你的应用程序和数据层之间,可部署在本地、云端,或混合环境中。 ——GridGain Systems公司总裁兼CEO,Abe Kleinfeld Hortonworks, Inc. www.hortonworks.com 专注于促进Apache Hadoop、NiFi,以及Spark等开源社区技术创新的Hortonworks创建、分发,并支持着多种企业级开放式数据平台和现代化数据应用程序。 Idera, Inc. www.idera.com Idera是一家数据库和基础结构管理软件供应商,最近刚收购数据库管理和应用程序开发软件供应商Embarcadero Technologies,借此成为一家提供数据库管理解决方案全线产品的公司。 IT的工作基础不是网络,而是驱动业务发展的数据和数据库,这一点已经越来越明确了。研究发现88%的应用程序管理者称数据库是影响应用程序性能的最主要因素。作为所有业务活动的基础,数据库是IT基础结构中最重要的组件,需要通过一致、可靠的方法加以管理。 ——Idera公司CEO,Randy Jacops Infobright www.infobright.com 专注于对机器生成的数据进行快速分析的Infobright提供了分析数据库平台,可以帮助应用程序执行交互式的复杂查询,为业务决策工作提供辅助。 Informatica Corp. www.informatica.com 致力于帮助企业充分利用位于本地、云中,或互联网上信息资产的Informatica提供了涵盖大数据管理、数据集成、云集成、数据质量、安全,以及MDM在内的一系列产品。 Innovative Routines International (IRI), The CoSort Co. www.iri.com IRI是一家专精于快速数据管理和以数据为中心的保护技术的独立软件供应商,通过领先的工具和技术帮助组织从自己的数据中获得洞察力。 Jethrodata www.jethro.io 提供SQL-on-Hadoop引擎的Jethro可以帮助客户通过Hadoop获得商业智能能力,加快诸如Tableau、Qlik,以及MicroStrategy等一系列商业智能工具通过包括Hadoop和Amazon S3在内各种数据源快速执行大数据查询的能力。 Jinfonet Software www.jinfonet.com Jinfonet帮助ISV和企业IT将报表和仪表板直接嵌入Web应用程序。借助Jreport分析平台,开发者和用户可以针对任何数据源获得先进的可视化能力。 Kore Technologies www.koretech.com Kore提供的企业集成和数据管理套件可以帮助组织扩展MultiValue系统的寿命和能力,并通过电子商务框架和Web解决方案为大型企业的高事务量提供支持。 我还记得八九十年代大量的ERP软件公司争抢客户的场景,当时每个公司都有自己独特的品牌和侧重的垂直行业。但就像医疗保险、制药、金融机构这些行业一样,只有少数ERP软件公司一直维持到今天。当这些巨头通过不断收购进一步扩大规模后,官僚作风愈加严重,对客户需求的反应速度越来越慢。而用户花在支持和维护服务方面的费用都被用于研发“下一代平台”,而不是用来对你依然在使用的上一代ERP平台进行完善。 ——Kore公司共同创始人兼管理合伙人,Ken Dickinson Looker www.looker.com 致力于通过创建“单一事实”的数据平台,让企业中每个层面的员工都能实现数据驱动的决策工作的Looker所提供的数据平台可以帮助组织中的每个人查找、浏览、理解驱动业务所需的数据。 MapR Technologies, Inc. www.mapr.com MapR提供的聚合数据平台可以将Hadoop和Spark能力与全球规模的事件流、实时数据库,以及企业存储结合在一起,帮助客户从数据中获得更多收益。 MarkLogic Corp. www.marklogic.com MarkLogic专注于为组织提供集成、存储、管理,和搜索更多数据的数据库平台,将NoSQL的速度、规模、灵活性,与企业功能紧密结合在一起,为关键业务应用提供支持。 Melissa Data Corp. www.melissadata.com Melissa Data Corp.提供了全球地址、电话号码、邮件地址和姓名、身份的验证解决方案,通过数据富集技术让商业智能、大数据分析、全渠道营销创新等工作获得最大化效果。 MemSQL, Inc. www.memsql.com 通过提供支持SQL的内存中分布式数据库,MemSQL可以帮助客户获取和查询高价值、高速率的数据,对事务和绩效进行快速分析,并能在数据中心内部或云平台上进行部署和缩放。 Microsoft Corp. www.microsoft.com Microsoft为不同规模企业的云平台和本地环境提供了一系列技术和解决方案,涵盖桌面应用程序、关系型数据库管理技术、操作系统、搜索,以及移动设备。 MicroStrategy, Inc. www.microstrategy.com 作为企业软件平台供应商,MicroStrategy的使命是为云环境和本地环境提供灵活、强大、可扩展、用户友好的分析和身份管理平台。 MongoDB, Inc. www.mongodb.com MongoDB是一种NoSQL数据库,可以使用类似于JSON的文档数据模型为开发团队提供所需灵活性,帮助他们根据应用程序需求的变化快速演化数据模型。 Neo Technology, Inc. www.neo4j.com Neo Technology是一家NoSQL图形数据库供应商,同时也是Neo4j的开发商,这种企业数据库将原生图形存储、可扩展的体系结构,以及基于关系的查询可预见性方面的ACID合规能力结合在一起。 Ntirety, a division of HOSTING www.ntirety.com Ntirety通过包含远程数据库管理即服务、顾问咨询、按需DBA、应用程序和数据库性能即服务,以及云服务在内的各种服务,帮助企业管理自己的整个数据库管控生命周期。 我初次接触Oracle是在三十多年前,当时Oracle的产品才发布到第三版。和当时类似,今天用户也需要通过技术确保数据库以最优状态运行,并且数据库内存储的信息是安全可靠的。在数据库的管理方面,很多企业只雇佣专业的人员或昂贵的顾问,而类似Ntirety这样的托管数据库服务公司正是为了解决这一问题而出现的。 ——Ntirety公司总裁Michael Corey NuoDB, Inc. www.nuodb.com NuoDB为云平台和现代化数据中心提供的NewSQl数据库技术可以将一个逻辑数据库分布保存在多个地理位置,在具备多个主副本的情况下可保障事务的一致性。 Objectivity, Inc. www.objectivity.com Objectivity弥补了物联网时代大数据和快数据之间的缺口,提供了分布式图形数据库InfiniteGraph,以及分布式可扩展的对象管理数据库Objectivity/DB。 OpenText Actuate Analytics www.actuate.com 在社交和移动技术大行其道的世界中,OpenText的EIM战略为用户提供了横跨内容、过程、体验、发现、信息交换,以及分析等各领域全面的集成式产品,借此帮助组织在推动创新提高生产力的同时将风险降至最低。 Oracle Corp. www.oracle.com Oracle为云应用程序、平台服务、综合配套系统提供了软硬件结合的集成式堆栈,能为客户提供灵活的部署方式和诸多收益,包括应用程序集成、高级安全性、高可用性、可扩展能力、更高能源效率、性能,以及更低的总体拥有成本。 Cisco ParStream www.parstream.com 最近被Cisco收购的ParStream平台通过将流数据和历史数据结合在一起,可以帮助用户在边缘位置处理、分析和存储数据。 Paxata www.paxata.com Paxata提供的数据准备应用程序基于源自Hadoop,由Spark驱动的企业级规模的平台之上,可以帮助用户改善管理海量数据的分析生产力,降低数据混乱的风险。 Percona, LLC www.percona.com 在收购了Tokutek以及该公司名为TokuMX的Tokutek发行版MongoDB后,Percona已经可以为ACID合规的NoSQL数据库以及MySQL提供设计、服务、支持,以及远程管理业务。 Pick Cloud, Inc. www.mypickcloud.com Pick Cloud是一家专注于公有和私有云解决方案的MultiValue数据库即服务供应商,通过将MultiValue环境带到云端,可以帮助用户立即部署并开始管理自己的应用程序和工作负载。 Pivotal www.pivotal.io 作为大数据领域开放式协作的支持者,Pivotal提供了大数据产品套件,其组件可部署于市售硬件,预先获得认证的一体机,虚拟化环境和私有云实例,以及公有云中。 Predixion Software www.predixionsoftware.com Predixion Software提供的预测分析解决方案主要针对物联网领域,可嵌入设备、网关,或云平台中。 Progress Software Corp. www.progress.com Progress Software坚信无论任何格式或处于任何位置的数据,基于标准的访问是简化过程的关键。该公司提供的数据连接和集成解决方案支持各种不同类型的数据源和系统,可部署在本地或云中。 Protegrity www.protegrity.com 借助业内专家的丰富知识和经验,Protegrity为大数据集群、云环境、数据库、大型机,以及异构企业环境的不同组件提供了数据安全技术。 Qlik www.qlik.com Qlik提供了从自助服务虚拟化到指导和嵌入式分析在内的一系列产品,可以帮助用户将企业不同领域的数据转变为洞察力。 Qubole www.qubole.com Qubole Data Service平台基于开放的Apache技术,包含Hive、MapReduce、Pig、Oozie,以及Sqoop,借此构建的完整大数据服务可以为数据分析师提供图形化界面、内置的连接器,以及高弹性的云基础结构。 Rackspace www.rackspace.com Rackspace借助遍布全球的数据中心提供了多样化的托管服务,能为所有类型的云工作负载提供支持,其中也包含丰富的数据库即服务产品。 Raytion www.raytion.com Raytion提供了功能丰富、可扩展的高级搜索解决方案,组织可以借助该方案以统一的方式通过异构系统安全地访问信息。 Redgate Software Ltd. www.red-gate.com Redgate为数据库对比、生产力、源代码控制,以及开发者和DBA排错提供了一系列工具,可全面支持Microsoft SQL Server、Azure、Oracle,以及MySQL。 RedPoint Global www.redpoint.net RedPoint Global提供了一整套ETL、数据质量,以及数据集成应用程序,可在传统环境和Hadoop 2.0/YARN环境内部和之间运行。 我们正面临一个临界点,企业的几乎每个决策都是由数据驱动的。因此每个组织都需要尤其注意自己数据的质量。如果数据质量无保障,业务决策就可能出问题。 ——RedPoint Global公司创始人兼CEO,Dale Renner Reltio www.reltio.com Reltio使用数据驱动的应用程序为用户提供了现代化的数据管理平台即服务产品,可以帮助用户通过不同资源分析范围更广阔的信息,并将其存储在本地或云中。 目前的数据管理和分析环境比以往任何时候更复杂。有那么多云技术可以使用,其成本只是本地工具的零头,你可能觉得IT的日子能好过一点,并且企业也可以不再借助各种自助服务的手段获取所需信息。然而IT工作和业务敏捷度之间依然存在“断线”的情况。 ——Reltio公司CEO,Ramon Chen Revelation Software www.revelation.com Revelation借助自己的开发者和用户社区提供了开发工具套件、数据库,以及相关服务可以充分利用领先的计算体系结构和操作环境,确保信息系统和应用程序方面的投资可以得到保护。 Rocket Software, Inc. www.rocketsoftware.com Rocket Software致力于帮助客户预防服务中断,对数据进行保护、存储、分享和可视化。该公司提供的解决方案和产品横跨DBMS和应用程序服务器、大型机、数据迁移、网络管理、虚拟化、企业绩效管理,以及商业智能和分析等诸多领域。 SAP SE www.sap.com SAP SE以下一代应用程序和分析平台HANA广为人知,这是一家全球化的企业应用程序软件供应商,超过291,000家客户正在使用该公司旗下的服务。 SAS Institute, Inc. www.sas.com 为客户提供“知道的权力”的SAS是一家业务分析软件和服务供应商,其解决方案横跨高级分析、商业智能、客户智能、数据管理、风险管理、欺诈和安全智能、Hadoop等诸多领域。 Search Technologies www.searchtechnologies.com Search Technologies专注于企业搜索和大数据应用程序的设计、实现,以及管理。 Sinequa www.sinequa.com 借助完善、高度集成的实时大数据搜索和分析技术通过提供业务洞察力和可行的信息,Sinequa帮助客户更合理地利用自己的大数据并从中获得价值。 Sisense www.sisense.com 通过为大规模或分布式数据集提供包括准备、分析,以及可视化在内的一整套解决方案,Sisense的商业智能和分析软件可以帮助企业用户将多个大型数据集联合在一起,使用数据可视化技术构建智能仪表盘,分享给数千名用户,这一切无需依赖任何程序员、IT人员,或数据科学家的帮助。 SnapLogic, Inc. www.snaplogic.com SnapLogic提供的弹性集成平台即服务产品可以将云应用程序和分散的数据源连接在一起,帮助企业做出更好的决策,并能针对客户、产品和服务提供单一视图。 Snowflake Computing, Inc. www.snowflake.net 云数据仓库公司Snowflake Computing意在革新数据仓库,将所有用户、所有数据、所有数据负载都存储在同一个仓库内。 Software AG www.softwareag.com Software AG提供的大数据、集成,以及业务过程技术可以帮助客户提高运营效率,实现系统现代化,通过更明智的决策和更好的服务实现过程优化。 Splice Machine www.splicemachine.com 通过Hadoop RDBMS为ACID事务提供支持的Splice Machine可以在无需重写应用程序的情况下,使用市售硬件对应用程序进行实时缩放。 Splunk, Inc. www.splunk.com Splunk的软件和云服务可帮助组织搜索、监控、分析、可视化来自网站、应用程序、网络、传感器,以及移动设备,由机器生成的大数据,借此实时获得运营智能。 SQLstream, Inc. www.sqlstream.com SQLStream可以帮助客户从机器不断生成的数据中获得可行的洞察力。该公司的SQLstream Blaze是一种用于运营智能和物联网的可扩展实时数据中枢,基于兼容SQL的数据流处理平台构建。 SQL Sentry www.sqlsentry.com SQL Sentry的软件解决方案可监控并优化Microsoft SQL Server和Windows环境的数据性能。 Syncsort, Inc. www.syncsort.com Syncsort通过涵盖大型硬件和大数据,包括Hadoop、云,以及Splunk等下一代分析技术的平台,帮助组织花费更少资源收集、集成、排序、分发数据。 Tableau Software, Inc. www.tableau.com Tableau提供的一系列交互式产品帮助用户在办公室或移动中快速分析、可视化、分享信息,更轻松快速地获得商业智能。 Talend www.talend.com Talend借助开源领域的创新创建了涵盖大数据、云、应用程序集成,以及主数据管理的企业级解决方案,帮助用户更快速地获得业务价值。 Teradata Corp. www.teradata.com Teradata产品涵盖大数据分析解决方案、集成式营销应用程序,以及横跨云、Hadoop、数据仓库和分析技术的服务,可以帮助组织通过数据获得持续不断的竞争优势。 TIBCO Software, Inc. www.tibco.com 将实时事件处理和洞察力分析结合在一起的TIBCO平台提供的一系列产品和服务可以帮助客户在恰当的时间获得恰当的信息,并快速针对所获信息执行操作以获得竞争优势。 Trillium Software,Harte Hanks旗下公司 www.trilliumsoftware.com Trillium的技术和服务为电子商务、大数据、CRM、数据管控、ERP、供应链管理、数据仓库,以及其他企业级应用程序提供了全球化数据剖析、数据清理、数据富集,以及数据链接等功能,可以帮助客户预测商机,发现风险,做出更明智的决策。 Violin Memory www.violin-memory.com Violin Memory致力于打造下一代数据中心,提供完全基于闪存的存储阵列,该公司最近刚发布一款全新的纯闪存存储系统,可以传统磁盘的成本运行主要存储和归档工作负载。 VoltDB www.voltdb.com NewSQL数据库供应商VoltDB将NoSQL数据库的速度和规模与传统RDBMS的ACID保障、关系型数据模型,以及事务能力结合在一起提供了一种独特的产品。 Yellowfin International www.yellowfinbi.com 通过一个集成式平台提供商业智能功能的Yellowfin提供了交互式仪表盘,并可支持数据探索、协作、数据可视化,以及移动设备访问。 ====================================分割线================================ 本文转自d1net(转载)

优秀的个人博客,低调大师

PieCloudDB Database 多种压缩手段:降低数据库存储成本

随着企业数据规模的不断增长,数据库用户的关键业务系统面临着存储和处理庞大数据量的挑战。这不仅意味着更昂贵的 IT、数据成本,还包括更多的资源消耗和管理复杂性。为了满足企业的需求,云原生虚拟数仓 PieCloudDB Database 通过一系列的创新技术手段帮助企业降低成本并提高效率。 云原生虚拟数仓 PieCloudDB 从产品设计到产品研发,都注重为用户降本增效。PieCloudDB 采用存算分离架构,在冷热数据分析、数据波峰波谷场景下能显著降本增效。PieCloudDB 云上云版的按需付费模式可以保证用户成本效益最大化。除此之外,PieCloudDB 在数据压缩上也做了许多优化,打造自适应压缩方案,显著减少存储空间的需求,从而降低硬件成本。 同时也可以减少数据备份和恢复过程的时间和成本。本文将主要介绍 PieCloudDB 是如何在保证性能的前提下,采用多种自适应压缩与编码技术,为企业降本增效。 PieCloudDB 压缩与编码 1 支持 ZSTD ZSTD(Zstandard)是一种高性能的无损压缩算法,由 Facebook 于2016年开源,算法旨在提供快速的压缩和解压缩速度,并同时达到较高的压缩比。以下是 ZSTD 的一些特点: 高性能: ZSTD 提供了非常快速的压缩和解压缩速度,在许多情况下甚至比其他流行的压缩算法更快。它采用了多级搜索、动态字典、预测模型等优化技术,以实现卓越的性能。 可调节的压缩比: ZSTD 支持可调节的压缩级别,允许你根据需要进行速度和压缩比之间的权衡。较低的压缩级别可以提供更快的速度,而较高的压缩级别则会获得更高的压缩比。 兼容性: ZSTD 的压缩格式是自包含的,这意味着你可以在不同平台和系统上使用压缩的数据,而无需依赖特定的库或工具。 基于以上特点,而且 ZSTD 在压缩率上优于目前 PieCloudDB 的压缩算法,所以我们在 PieCloudDB 中支持了 ZSTD。 1.1 压缩方式选择 PieCloudDB 创建 table 时,可以通过 compresstype 字段选择压缩方式,如果未设置则默认为 ZSTD: CREATE TABLE ctbl_none (s text) WITH (compresstype = 'none'); CREATE TABLE ctbl_pglz (s text) WITH (compresstype = 'pglz'); CREATE TABLE ctbl_zstd (s text) WITH (compresstype = 'zstd'); 1.2 压缩效率对比 对于 500 列的宽表,导入脚本随机生成的 86400 条数据的 CSV 文件(536MB),在不同压缩方式的 table 中所占大小: PieCloudDB 无压缩(集群大小为1): PieCloudDB pglz (集群大小为1): PieCloudDB zstd(3) (集群大小为1): 1.3 测试统计 2 HLL 支持 Sparse 表示 PieCloudDB 的存储系统简墨使用了一种行列混存的格式,每个文件块中都包含了表的部分行数据。为了统计表中每一列的唯一值数量,PieCloudDB 采用了 HLL(Hyperloglog)结构来进行基数估计。过去,HLL 只使用了一种称为"dense"的表示方式,其中一个 HLL 结构占用约 12KB 的空间(一个 HLL 16384个桶,每个桶 6bit),但对于宽表来说,每个文件块中的 HLL 结构就会变得非常庞大。举个例子,如果一个宽表有 1500 列,那么每个文件块的 HLL 部分将占用大约 18MB 的空间。 针对这个问题,考虑到宽表在一个文件块中不会有很多行数据,因此 HLL 中的很多桶都是空的,那么可以采用 RLE(run length encoding) 的方式来作为 HLL 的 Sparse 表示,RLE 的基本原理: 连续序列检测: RLE 首先扫描待压缩的数据序列,检测连续出现相同的数据项。 计数: 对于每个连续序列,RLE 计算该序列中数据项的数量,并将其转换成一个计数值。 编码: RLE 将原始数据序列替换为一组(数据项,计数值)的对,表示连续出现的数据项和其数量。 存储: 最后,压缩后的数据可以按照顺序存储为一系列数据对,以减小存储空间。 2.1 压缩效率对比 对于初始情况下,如果是 dense 表示,就算 HLL 的桶全为空,也需要 12KB 的空间,而对于 Sparse 表示,只需要 2B。这在基数较低的情况下,减少空间是非常明显的。如下对于一个 1500 列的简墨表,插入 100 行数据,HLL 支持 Sparse 表示前后所占空间对比: HLL 未支持 Sparse 表示: HLL 支持 Sparse 表示: 2.2 测试统计 3 Delta Encoding Delta Encoding(增量编码)是一种数据压缩技术,用于存储具有连续性或重复性的数据。它通过记录相邻数据之间的差异来减小存储空间。 基本原理如下: 初始值:选择一个初始值作为基准。这可以是前一个数据点、第一个数据点或任何其他适当的值。 计算差异:对于每个后续的数据点,计算其与前一个数据点之间的差异。这可以使用简单的减法运算来实现。 存储差异:将计算得到的差异值存储起来。通常,差异值会以二进制形式进行编码,并存储在适当的数据结构中(如数组)。 重建原始数据:在需要使用数据时,通过累计差异值和基准值来重建原始数据。从基准值开始,依次加上累积的差异值即可得到原始数据的序列。 3.1 压缩效率对比 Delta Encoding 的优点是能够有效地处理连续或重复的数据,并且在存储空间方面表现出色。它特别适合对时间序列数据、排序的列表或其他具有递增或递减趋势的数据进行压缩。 PieCloudDB 对于变长数据存储,通过 offsets 来存储每个数据的长度。而对于某些类型,如 Decimal,前后数据之间 offset 变化相等,采用Delta Encoding 的方式,可以显著减少 offsets 的存储空间。特别对于 Decimal 这种本身数据就很短的类型,可能就更明显了。 例如 1500 列类型为 NUMERIC(20,10) 的宽表,在未使用 Delta Encoding 情况下为 550MB,使用 Delta Encoding 后为 377MB,结果如下图所示: 3.2 测试统计 4 总结展望 PieCloudDB 将打造自适应压缩,通过支持 ZSTD、HLL sparse representation、Delta Encoding,在通用数据、元数据、字符串类型数据上大幅降低的存储大小。后续,PieCloudDB 会持续优化迭代压缩方法,支持拓展更多的编码方式,例如 Dict Encoding、BIT_PACKED、RLE 等,根据数据类型的不同,选择合适的编码方式,从而达到更好的压缩比。

优秀的个人博客,低调大师

Spring Cloud Gateway 数据库存储路由信息的扩展方案

动态路由背景 ​ 无论你在使用Zuul还是Spring Cloud Gateway 的时候,官方文档提供的方案总是基于配置文件配置的方式 例如: # zuul 的配置形式 routes: pig-auth: path: /auth/** serviceId: pig-auth stripPrefix: true # gateway 的配置形式 routes: - id: pigx-auth uri: lb://pigx-auth predicates: - Path=/auth/** filters: - ValidateCodeGatewayFilter 配置更改需要重启服务,不能满足实际生产过程中的动态刷新、实时变更的业

优秀的个人博客,低调大师

盘点:未来几年行业重点预测

WOT全球技术创新大会2022,门票6折抢购中!购票立减2320元! 2022年潜在网络安全威胁警告 (1) 远程办公 随着新冠疫情持续困扰社会,远程或混合工作的不断变化对IT基础设施的要求越来越高,这也意味着在今年出现的漏洞在未来也会更加严重。 (2) 自然灾害 随着气候异常,自然灾害的增加,推动了越来越多的援助组织进行捐款,这使得越来越多的攻击者伪装成慈善捐赠而进行网络钓鱼攻击。 (3) 赌场 随着美国越来越多的州将体育博彩合法化,网络钓鱼诈骗将针对不断增长的在线赌徒队伍尤其是新进入者进行网络钓鱼尝试。 (4) 数字资产 加密货币去年可以说进入主流视野,而NFT也不甘落后,随着人们越来越接受合法的交易和合法资产类别,这都是攻击的主要目标,并且看上去表面安全,实际非常脆弱。 (5) 基础设施 网络攻击通常寻求破坏或勒索,但很快,国家和非国家行为者将更频繁地将电网、水坝或交通网络等基础设施设为目标。 5G市场预测 Juniper Research一项研究表示,到2026年,5G服务收入将达到6000亿美元。占全球运营商计费收入的 77%。 设备方面:除智能手机外,多设备捆绑订阅将利益最大化。 蜂窝数据方面:到2026年生成的蜂窝数据将达到2900艾字节,较2021年720艾字节相比,增长300%,其中蜂窝物联网设备的数量将达到60亿,将超过全球智能手机数量。 物联网安全市场预测 ResearchAndMarkets报告显示,到2026年网络安全仍将是全球最大的组成部分,物联网安全市场将达到523亿美元,全球最大的部署模式、基于云的物联网安全解决方案将达到303.3亿美元。物联网安全市场驱动因素: IT 和 OT 安全策略的融合,基础设施技术的快速变化,对连接性的需求增加,网络安全政策标准化,保护移动设备和移动应用程序,保护云; 物联网安全市场挑战:物联网业务的多供应商性质,缺乏标准的安全实践,物联网设备已经上市,没有太多安全措施,黑客行为上更加专业,物联网是数据泄露和隐私泄露的软目标,物联网中的数据盗窃和隐私泄露问题易被忽视。 工业网络安全市场预测 ResearchAndMarkets数据显示,到2026年,全球工业网络安全市场将达到223亿美元,分析以6.6%符合年增长率计算。2020 年全球工业网络安全市场估计为 152 亿美元。在对新冠疫情期间经济危机和对行业的影响进行彻底的分析后得出,软件部门的增长重新调整为未来 7 年修正后的 6.3% 复合年增长率。该部分目前占全球工业网络安全市场的 36.1% 份额。 工业网络安全市场驱动因素:政府的重视和资助资金的增加,市场对对防火墙、入侵检测系统和防病毒等高级解决方案不断增长的需求,互联网连接的日益普及、工业物联网的趋势、连接系统的不断进步。 机密计算市场预测 Everest Group 市场研究结果显示,机密计算市场预计将以 90%-95% 的复合年增长率增长,到 2026 年将达到 540 亿美元。主要发现: 机密计算市场预计将以 90%-95% 的复合年增长率增长,直到 2026 年也将以 40%-45% 的复合年增长率增长; 市场的硬件和软件部分将推动大部分采用,而服务部分也将发挥作用; 银行、金融、保险、医疗保健、生命科学、公共部门和国防等受监管行业将主导部署; 隐私法规和网络威胁的发生将推动不同剧院的采用; 多方计算和区块链等新兴技术范式将占据很大的市场份额。 云计算预测 在过去的十年中,云计算已成为交付移动和内容服务的基础以及传统企业计算环境的替代方案。到 2025 年,整个云支出将保持 16.9% 的复合年增长率。IDC 预测“整个云”支出——全球在云服务、支撑云供应链的硬件和软件组件以及围绕云服务的专业/托管服务机会上的总支出——到 2025 年将超过 1.3 万亿美元,同时保持 16.9% 的复合年增长率 (CAGR)。 共享云服务的综合支出 – 基础设施即服务 (IaaS)、系统基础设施软件即服务 (SISaaS)、平台即服务 (PaaS) 和软件即服务 (SaaS) –到 2021 年将达到 3850 亿美元,到 2025 年复合年增长率 (CAGR) 将超过 21.0%,达到 8090 亿美元。专用(私有)云服务,包括托管私有云服务和快速兴起的专用云基础设施即服务 (DCIaaS) 部分,将以 31.0% 的更快复合年增长率增长,但收入基数要小得多2021 年为 50 亿美元。云支出的即服务部分,结合共享云即服务和专用云即服务,将占整个预测期间所有云支出的大部分,从 2021 年的 55.7% 增长到2025 年的 64.1% 。 医疗网络安全市场预测 到2027年,医疗网络安全市场规模预计达到355亿美元。发达地区日益增加的医疗网络安全和监管合规相关问题是刺激市场扩张的主要因素之一。市场细分的几个方面: 由于全球 DDoS 攻击的发生率不断增加,加上对 DDoS 保护解决方案的需求不断增长,医疗网络安全市场中的分布式拒绝服务 (DDoS) 细分市场在 2020 年的市场份额约为 18 亿美元;设备安全在 2020 年占据了医疗网络安全市场份额的 21.5%,主要是市场上根据威胁类型广泛提供了先进的设备安全解决方案,政府为保护医疗行业免受网络威胁而采取的越来越多的举措; 医疗网络安全市场中基于云的部分在 2020 年价值约 89 亿美元,这得益于基于云的软件的广泛使用,因为它增强了可扩展性并降低了数据管理费用。 服务器市场规模预测 ResearchAndMarkets数据显示,到 2028 年,全球服务器市场规模预计将达到 1453.1 亿美元。预计从到 2028 年,复合年增长率将达到 7.8%。服务器市场现状: 从产品来看,机架部门在 2020 年占据了主要的收入份额,预计在预测期内将保持领先地位; 根据企业规模,大型细分市场在 2020 年主导市场;在渠道的基础上,预计直接部门在预测期内将录得最高的基于收入的复合年增长率 9.0%; 在垂直方面,IT 和电信部门在 随着 IT 和通信基础设施的快速发展以及 5G 网络的持续推出,预计亚太地区在预测期内的收入增长最快。2020 年占据市场主导地位,预计在预测期内将录得最高的基于收入的复合年增长率; 随着 IT 和通信基础设施的快速发展以及 5G 网络的持续推出,预计亚太地区在预测期内的收入增长最快。

优秀的个人博客,低调大师

盘点 GitHub 年度盛会|附视频

「Universe 2021」是 GitHub 于今年举办的开发者盛会,本次 Universe 2021 大会采用线上直播模式,为期两天已于上周落下帷幕。 这是 GitHub 举办的一年一度开发者盛会,还会发布一些最新消息,我岂能错过!所以这周我用开源视频下载工具:youtube-dl 下载了开场的主题演讲「GitHub on GitHub」高清(1080p)视频,该视频包含了 GitHub 推出的新产品和功能的介绍,如果想知道 GitHub 有哪些新鲜玩意儿,看这个视频就够了。 但原版视频是英文而且没有字幕,十分影响观看体验。为了方便大家观看,我花了两天时间逐字翻译了 16 分钟时长的视频,并制作出高清+中文字幕的「GitHub on GitHub」视频,翻译过程对我这个英语渣来说实在是太难了,求大家给个一键三连,鼓励一下。 最后,我个人能力有限只能尽力做到最好,如有欠佳之处还望海涵和指正。 点击下方图片观看视频 下面我还将对视频中感兴趣的 GitHub 产品,聊聊自己的看法以及补充申请地址等,也欢迎大家在留言区一起交流、讨论。 一、新的项目管理面板 > 使用地址:https://github.com/features/issues/ 通过它可以更加直观、方便的管理项目进度。它支持 表格和面板 两种展示方式,其中面板和旧版差不多这里不做介绍。下面着重介绍下强大的 电子表格 方式,它支持实时搜索、过滤、分组、排序,以及更流畅的任务跟踪、统计,让你可以更加方便的管理和跟进任务。同时支持字段类型,这就相当于可视化的数据库表格,如果再配上开放的 API,将有更多的遐想空间。我十分期待它后续的更新~ 相信 Notion 的用户对此并不陌生,用 Notion 管理项目?欢迎有此经验的小伙伴在评论区发表你的看法。 二、云端开发环境:Codespaces > 使用地址:https://github.com/features/codespaces(收费) 在线编辑器已经不再稀奇,但是如果是把开发环境全部放到云端还是挺猛的。毕竟部署本地开发环境、测试环境真的让人头疼,如果能够随时随地在 Web 秒起开发环境还不吃本机资源,如此一来只要是带浏览器的设备,是不是就能作为开发设备啦!我用手机接个蓝牙键盘,写程序(非脚本)的梦想貌似越来越近了! 但这个功能是按小时收费配置越高越贵(0.18-2.88美元),如果大家感兴趣的话我可以体验下,然后写一篇测评帮各位踩坑。(我比较担心网络问题) 三、AI 结对编程助手:Copilot > 申请地址:https://copilot.github.com/ 本次大会开放了更多 Copilot 内测名额,可直接通过上面的链接免费申请,基本上申请就会通过。另外支持了除 VSCode 外更丰富的 IDE 和编辑器:Neovim、PyCharm、IntelliJ IDEA 等,之前一直观望的小伙伴,可以放手试一试了! 或许复制/粘贴 stackoverflow 代码即将成为历史,我们将迎来新的时代!为此我要去学习下如何起好函数名、写好注释,然后提高阅读代码的能力,不然看不懂 AI 写的代码以后可咋维护代码啊!要不,我走? 四、快捷键 tips:GitHub 网页上快捷键要在英文输入法下才能生效! 按下 . 进入在线 Web 编辑器 Cmd/Ctrl + k:唤出命令面板 >:命令模式 #:搜索 issues、PR 等 !:搜索项目 @:用户、组织和代码仓库 /:代码仓库中的文件 最后 看完本次的 GitHub Universe 我没有感觉到太多惊喜,毕竟 Codespaces 和 Copilot 这两大产品早些时候已经发布了。但是其中还是有让我眼前一亮的东西,也让我对未来开发方式多了一些畅想,更简单的方式写代码+更轻便的设备,或许以后不用再坐在桌子前写代码,而是真正的移动办公。还有比较欣慰的是 GitHub 在发布功能时,没有忘记我们这群“穷哥们儿”,把免费版安排的明明白白的。 视频中 GitHub 前 CEO 奈特·弗里德曼(Nat Friedman) 说的最后一句话让我深受感动,他说:“不要停止学习,持续创造令人惊叹的东西,我们(GitHub)将处理好剩下的事情。” 从 GitHub 发布的产品,可以看出他们一直在努力改善,从开发、管理、发布、社区交流等每个步骤,使其更加流畅和简单。为开发者更自由而努力着! 以上就是我看完 Universe 2021 后的一些想法,期待明年 GitHub 带来更多的惊喜。致敬每一位为开源事业做出贡献的人。 最后,我想以这句话结尾:GitHub 聚是星河宇宙(Universe),散是满天星辰(Star)! 关注 HelloGitHub 公众号 第一时间收到更新。 还有更多开源项目的介绍和宝藏项目等待你的发现。

优秀的个人博客,低调大师

MySQL中间件方案盘点

首先数据库技术发展的基础还是在业务推动的背景下,能够实现相关的技术保障。业务需求的提升必然会在数据量,访问量等方面有更高的要求,而映射到数据库层面就不是简单的扩容和添加资源了,我们有时候更需要弹性,需要快速实现,需要更高的性能。这些都是摆在我们面前的问题,而不仅仅是DBA团队。 所以早期的很多数据库,从一主一从,一主多从的架构,逐步演变到了读写分离,分库分表,然后就是分布式。而同时从很多层面来说,行业内的方案真是百花齐放,记得前几天还和同事聊,说如果对比一下Oracle和MySQL,让我怎么评价,我说单纯评估单机的性能和功能,MySQL要落后很多,但是从成本,技术把控,定制层面来看,MySQL的简单反而成了其中的一个优势,在这个基础上,它有非常多的开源方案,这些让原本MySQL的应用变得非常丰富起来,你说MySQL能不能做企业级方案,你看看BAT的使用场景,还是能够经受住考验的,注意我在此处说的的使用场景,没有一刀切的场景。 回到正题,MySQL的中间件其实有很多,官方的开源的,我们就来简单来说说,行业里还有很多的方案,有些还没有做调研,就没在文中及时推出来。 先来说说MySQL中间件能够做什么?要回答这个问题,我们可以反向问一个问题,随着业务需求的变化,数据库会有哪些瓶颈,比如: 1.单台服务器无法承载已有的压力 2.数据库单表容量越来越大 3.大量的读写需求无法平衡 4.资源如果扩容,应用改动较大 5. 资源的负载没法拆分,或者不易拆分 所以市面上的很多数据库中间件主要是分担了其中的大部分或者一部分的功能点。 沃趣科技的董红禹总结的这个图不错,我直接拿过来了。 我们基本会讨论下面的几个中间件,有些不在上面的图中,会额外补充一些。 MySQL Fabric, MySQL Router,MySQL Proxy Fabric能提供MySQL的HA和Sharding方案,MySQL Router是一个轻量级的中间件用来实现高可用和扩展性的功能。MySQL Fabric在驱动层面可以实现高可用和扩展功能,需要应用端来适配改造。而MySQL Router中间件的访问协议与MySQL一致,应用不需要做任何的修改,在MySQL官方近期推出的InnoDB Cluster中MySQL Router是作为“三驾马车”来使用的。而落寞的是MySQL proxy,目前已经无法下载了,自从推出以来主要就是测试版本,所以在很多功能上多多少少还是有些问题。 360 Atlas 这是国内360公司推出的一个中间件方案,github地址为:https://github.com/Qihoo360/Atlas 从github的情况来看,星级蛮高,最新的维护是在4天前。它的设计是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。 Mycat 这也是国内的一个中间件方案,业内比较火,官方链接是:http://www.mycat.io/ 还有一本Mycat相关的书《分布式数据库架构及企业实践——基于Mycat中间件》 根据我的了解,他主要是支持MySQL,同时也支持其它的数据库,比如Oracle等等,也是一波好友一起来做得这个事情。 我比较喜欢它的一个原因是因为开源,而且源代码是Java. oneproxy 这是前支付宝的架构师楼总开发,目前支持多中数据库,基于MySQL官方 的proxy思想利用c进行开发的,OneProxy是一款商业收费的中间件,专注在性能和稳定性上,是商业付费的。 DRDS 阿里分布式关系型数据库服务(Distribute Relational Database Service,简称DRDS)是一种水平拆分、可平滑扩缩容、读写分离的在线分布式数据库服务。前身为淘宝 TDDL,再之前还有Cobar,已经不维护了。 该图来自:http://blog.csdn.net/jerome_s/article/details/53966569 Vitess 谷歌开发的数据库中间件,集群基于 ZooKeeper 管理,通过 RPC 方式进行数据处理官方网站很简介: http://vitess.io/ 打开就是一个大V Maxscale MaxScale是mariadb研发的,目前版本不支持分库分表,在其它几个方面都很不错。github链接为:https://github.com/mariadb-corporation/MaxScale

优秀的个人博客,低调大师

热门物联网开发平台盘点

从1999年Kevin Ashton第一次提出这个概念以来,物联网已经经历了迅速的转变。随着近年来连接到物联网的设备在多样性和数量方面出现指数式的增长,物联网已经成为了一种主流技术,在推动现在社会的生活方式方面有着极大的潜力。 在物联网的技术与工程上,硬件与软件平台之间目前仍有明确的界限,其中大多数供应商都将精力放在硬件方面。只有极少数供应商提供物联网软件服务:例如,Mattermark根据所获总投资排名的前100名物联网创业公司中,只有13家提供物联网软件服务。 本文针对现有物联网软件平台,基于我们对IoT供应商进行的详细分析做了一份综合调查。而本文最后选择的物联网供应商,完全是基于这样的标准:这些供应商是否提供软件解决方案,来处理从物联网设备/传感器获取的信息。注意:虽然我们希望尽可能全面,但本文中仍有可能漏掉了一些这些平台的最新改进。 物联网软件平台想要的重要功能 基于最近的几份调查,我们选出了物联网软件平台最关键的功能:设备管理、集成、安全性、数据收集协议、分析类型以及支持可视化,以便对样本功能进行比较。本文的后半段中会对这些特性进行简单介绍。 设备管理与支持集成 设备管理是物联网软件平台所需的重要功能之一。物联网平台应当维护着一堆与之连接的设备,并跟踪这些设备的运行状态;还应当能够处理配置、固件(或其他软件)更新问题,并提供设备级的错误报告和处理方案。每天结束前,设备用户应当能够获得个人设备级的统计。 支持集成是物联网软件平台需要的另一个重要功能。需要从物联网平台上公布的重要操作和数据应当能通过API访问,REST API常用于这一目的。 信息安全 运营物联网软件平台所需的信息安全手段,比普通软件应用和服务所需的要求更高。数百万台设备与物联网平台连接,代表着我们需要处理的漏洞也是相应比例的。一般来讲,为了避免被窃听,物联网设备与物联网软件平台之间的网络连接需要通过强大的加密机制来保障。 然而,在现代的物联网软件平台上,大多低成本、低功率的设备都无法支持这样的高级访问控制措施。因此,物联网软件平台自身需要采取替代措施,以解决这类设备级的问题。例如:将物联网流量划分为专用网络,依靠云应用级的强大安全性,要求定期更新密码并支持验证更新固件,还有签名才能更新软件等等,这些手段都能加强物联网软件平台的安全级别。 数据收集协议 需要注意的另一个重要方面,是物联网软件平台的各个组件之间用于数据通信的协议类型。物联网平台可能需要扩展到数百万甚至数十亿设备(节点)上。应当使用轻量级通信协议,以实现低能耗以及低带宽功能。 注意:虽然我们在本文中将协议作为概述性词汇,不过用以收集数据的协议可分为下面几类:比如应用、负载容器、信息传递和遗留协议。 数据分析 从连接到物联网平台的传感器中所收集的数据需要通过智能化手段进行分析,以获得有意义的见解。 物联网数据分析有四种主要类型:实时分析、批处理分析、预测分析与交互式分析。实时分析:对数据流执行在线(动态)分析。样本操作包括基于窗口的集成、筛选、转换等。 批处理分析:对积累的数据集进行操作。这样,批处理操作会在预定时间段内运行,也许持续数小时或数日。预测分析:基于各类统计与机器学习技术,集中进行预测。交互式分析:对数据流和批数据执行多个探索性分析。最后一个就是实时分析,在任何软件平台都占据较重的份量。 当前的物联网软件平台 对当前的物联网软件平台进行仔细调查后,我们发现上面提到的每个功能都已实现,只是程度不同而已。我们在下面列出了相关的平台,并进行了功能总结对比: 表1 相关平台功能总结对比(标着“未知”的栏目代表相关信息在可用文件中无法找到) 很明显,上面列举的物联网初创公司,其中很多可能还不具备设备管理功能。在这方面,还需要物联网软件平台供应商提供解决方案。 此外在分析生成的物联网数据时,在计算及可视化方面提供的支持相对较少。它们大多支持实时分析——这是任何物联网框架的必备功能。然而,只有极少数物联网软件平台为其他3种分析类型提供支持。而可视化界面大多表现为门户网站这样的简单模式,允许对物联网生态环境进行管理,不过很少提供可视化的数据分析功能。 在不同的物联网软件平台中,还有几个常见功能,包括基于集成的REST API,支持用MQTT协议来收集数据,以及使用SSL进行链路加密。尽管在表一中没有提到,不过单ParStream公司就能达到300万到400万行/秒的吞吐量。 这表明大多数物联网软件平台设计时并未太多考虑物联网部署的系统性能,而在真实情况下这是非常关键的。 需要改进的功能 很明显有若干地方需要改进。在本节中,我们首先提供了一张改进功能列表。在物联网软件平台供应商的努力下,其中一些项目已经实现,还有一些性能等待实现。之后我们提供了一张列表,包括现在尚未实现的这些新功能。 现有功能 数据分析 现在物联网软件平台大多支持实时分析,不过批处理分析和交互式数据分析也许同样重要。 在这一点上,有人可能会争辩:在其他知名的处理平台中包括这类分析功能,想要配置用于分析场景的软件系统也很简单。不过,这谈何容易。用于实时分析(Storm、Samza等)、用于批处理分析(Hadoop、Spark等)、用于预测分析(Spark MLLIB等)、用于交互式分析(Apache Drill等)的知名数据处理系统,并不能直接用在物联网案例中。 基准 物联网软件平台需要有扩展性,还应包含描述和评估系统性能的设备。定义良好的性能指标需要:能够塑造与测量物联网系统的性能,并考虑到网络特性、能耗特点、系统吞吐率、计算资源消耗以及其他运行特征。 边缘分析 需要采取措施以减少传感器设备与物联网服务器之间的大量网络带宽损耗。解决方案之一是使用轻量级的通讯协议。另一个办法就是使用边缘分析法,以减少传输到物联网服务器上的原始数据总量。即便是在简单的硬件嵌入系统中(如Arduino),也可以实现边缘分析法。 其他问题 应当注意:有多个与物联网软件平台相关的其他问题,比如伦理、道德和法律问题,在本文中并未涉及。尽管这些问题也很重要,但在本文中不作讨论。 需要添加的功能 处理无序进程 在任何物联网应用中都有可能碰到无序事件,在传感器所发出的事件流中,元组顺序混乱可能是网络延迟、时钟偏移等原因所导致的。处理无序的物联网事件可能会导致系统故障。处理无序事件时,需要在结果准确性与延迟之间做出权衡。 有四项主要的处理技术:基于缓存(Buffer-based)、基于标点(Punctuation-based)、基于推测(Speculation-based)以及基于近似(Approximation-based techniques)。在物联网解决方案中,应当使用其中的一项或多项来解决无序事件的问题。 支持物联网背景 背景主要由个体、其偏好或过去的行为构成。例如:在移动电话案例中,由于现代移动电话中有很多不同类型的传感器,因此我们能够获得丰富的背景信息。在物联网分析中,这些背景数据应当被纳入考虑。 结论 物联网模式的快速发展需要强大的物联网软件平台,能通过物联网用例满足出现的需求。本文中,我们调查了现有最先进的物联网软件平台的功能,调查集中在这些方面:设备管理、集成、安全性、数据收集协议、分析类型、可视化支持。从这项研究中,像设备管理、物联网数据分析、物联网软件系统可扩展性以及性能这样的领域明显需要物联网平台社区投入特别的关注。 本文转自d1net(转载)

优秀的个人博客,低调大师

主流无线通信技术盘点

今天,无线技术为人们带来了众多便捷体验,人们也常常从无线产品销售人员口中听到无线的各种优势,不过最容易听到恐怕还是无线技术的核心卖点——“无需线缆”。当然,仅此一点,已足以将人们从连接各种设备的纷繁线缆中释放出来了。 Wi-Fi: 在无线通信世界中,Wi-Fi可是目前人们最为常用的无线技术之一。伴随笔记本电脑、手机、平板等设备对Wi-Fi的大量应用,现在就连摄像头、电视、汽车等等也开始广泛地使用Wi-Fi技术。 Wi-Fi技术 据统计,目前的Wi-Fi设备发货量已经超过了100亿台,其中有60亿设备正在使用中。同时,全球有7亿多家庭正在使用Wi-Fi,而预计到2019年,世界上将有90%的家庭都会使用Wi-Fi。 蓝牙(Bluetooth): 仅次于Wi-Fi的便是蓝牙技术了,它通常被用于短距离设备间的交换数据,如键盘、鼠标和蓝牙耳机等等。然而传统的蓝牙标准由于没有Wi-Fi那样快的传输,因此往往被人们所诟病。 蓝牙技术 不过伴随蓝牙标准的不断升级完善,在蓝牙4.0标准中已提出了“低功耗蓝牙”、“传统蓝牙”和“高速蓝牙”三种模式,并针对物联网(Internet of Everything)发展而推出了Bluetooth Smart技术,使其成为能够继续与Wi-Fi保持竞争的又一关键技术。 Zigbee: 随着无线传感器网络技术的发展,无线传感器网络的技术标准也得到了快速的发展,ZigBee就是其中之一。ZigBee是一种低速短距离传输的无线网络协议,底层采用IEEE 802.15.4标准规范的媒体访问层与物理层。其主要特色有低速、低耗电、低成本、支持大量网络节点、支持多种网络拓扑、低复杂度、快速、可靠、安全。 ZigBee技术 今天,ZigBee 3.0已覆盖了广泛的设备类型,包括家庭自动化、照明、能源管理、智能家电、安全装置、传感器和医疗保健监控产品等等。 Li-Fi: Li-Fi则被认为是新一代的无线传输技术,它是利用可见光通讯技术(VLC)来实现互联网的信息传输的。Li-Fi通过各种可见光源作为信号发射源,通过控制器控制灯光的通断,从而控制光源和终端接收器之间的通讯。 Li-Fi技术 目前在商用环境下实测Li-Fi能达到10Gbps的传输速率,远远超过当前Wi-Fi的传输速度。不过,需要注意的是,目前Li-Fi技术还有一定的局限性,包括传输范围有限(3米左右),如果灯光被阻挡或光源一旦消失,网络信号便会被切断等弊端。因此,有业内人士表示,Li-Fi技术的商业化至少还要三到四年的时间。 本文转自d1net(转载)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册