首页 文章 精选 留言 我的

精选列表

搜索[VSCode扩展],共10000篇文章
优秀的个人博客,低调大师

Watson的使用范围将不断扩展 以便更近于人类智能

在World of Watson大会上(拉斯维加斯,2016年10月24日——10月27日),IBM宣布了新的产品功能,旨在让深度学习和人工智能更接近于真正的人类智能。来自建筑行业用户的应用程序能够通过对话管理无人机,在不到五分钟的时间里自动完成屋顶修理及评估。以下是展会上发布的相关内容: 多伦多猛龙队使用Watson 美国国家篮球协会(NBA)的多伦多猛龙队今年使用了IBM的Watson AI进行球员交易决策,此举可能节省了数百万美元,并确保该队在本赛季拥有最好的球队(IBM是这么希望的)。Watson并没有依赖塞满了白板的会议室(这简直像是作战指挥室)和密密麻麻写着大量球员数据的活页夹,而是消化了所有这些信息,并实时为球队做出决定。IBM希望能够将Watson延展到教练、培训、健康和健身领域,但是如果其他的球队为了跟上猛龙的做法,也决定要使用Watson的话,IBM就锁定了胜局。 IBM的总经理David Kenny表示,IBM的Watson Virtual Agent功能将成为让用户深度参与到该公司新的会话代理之中的最前沿。 Watson Virtual Agent 在World of Watson的大会上,IBM还发布了Watson Virtual Agent功能,它能够使用语音和自然语言理解同用户交谈。客户现在可以口头创建代理(有时被成为“聊天机器人”),它们也会接受指示,并且使用自然语言实时汇报结果。 Staples和Autodesk宣布他们已经从测试版过渡到目前的商业版本,因为Watson Virtual Agent拥有的“深层”自然语言理解已经被增加到他们的业务之中。测试版用户报告称他们没有事先经过培训的员工也能够创建代理,并且获得有用的结果(尽管IBM也帮助他们丰富了他们的原型,让它变得更加深入,并且对应用程序更具针对性)。Weather Company(IBM的一家子公司)报告称该公司也使用了虚拟代理提供个性化的天气预报。 Gartner表示相信到2020年,80%新的企业应用程序都将使用他们称之为“聊天机器人”的技术作为主用户界面,而IBM总经理David Kenny承诺“IBM将站在最前线,为用户提供深度参与的会话代理。” IBM还针对市场营销、商务和供应链方面的专业人士发布了一系列新的认知功能,包括IBM Watson Customer Experience Analytics、IBM Watson Content Hub、IBM Watson Order Optimizer和IBM Watson Supply Chain Insights。 IBM副总裁Steve Gold希望其新的“MobileFirst-for-iOS”计划在未来几年内将生产更多的iPhone和iPad应用程序。 MobileFirst for iOS IBM的另一个值得注意的新功能是新的“MobileFirst for iOS”功能,该功能允许几乎任何领域内的专家与IBM合作开发一个应用程序,不仅能够更好、更快地解决他们所面临的重要问题,而且还是通过“会话”语言用户界面实现的。 IBM Watson部门首席营销官及Partner Programs and Venture Capital Investments的副总裁Steve Gold表示,“去年的World of Watson大会以来,全世界的机构已经针对移动设备编写了超过100个应用程序。” Gold表示,“但是随着我们新的‘MobileFirst-for-iOS’的推出,我们希望在未来几年能有更多的人编写应用程序。” IBM描述了作为创建企业应用程序方法的MobileFirst-for-iOS,这些应用程序可以通过现在iOS能够使用的数百条认知例程进行强化,但是有了IBM的帮助,用户就能够更容易地使用语音以及自然语言处理进行交互。MobileFirst-for-iOS并不提供输入和输出,而是允许用户和Watson进行对话来定义问题参数并酌情以口头或图形的方式提出其智能解决方案。 使用Watson并利用IBM新的“MobileFirst-for-iOS”计划构建的iPhone和 iPad应用程序的示例。 MobileFirst for iOS的主要用途是用认知能力、语音、自然语言和对话模式增强现有的企业应用程序。Gold表示,使用IBM构建的企业应用程序和iOS应用程序,Watson的很多API都可以适用于特定的应用程序。 MobileFirst最近还针对最新的iOS 10版本语音功能进行了强化,IBM希望能够为不用手操作对话的iPhone和iPad应用程序带来更深入的洞见和更明智的决策。 IBM给出的一个例子是使用其Find & Fix Watson应用程序帮助现场维修人员,同时又不会占用他们的双手。例如,应用程序可以根据口头计划调整请求自动重新调整当天其他的约定时间安排,以避免手动调整日程安排时经常会出现的“多米诺效应”。它还会根据其他技术人员在以往发现的成功做法提出解决方案的建议。 最后,因为IBM的MobileFirst for iOS是基于云的,因此对核心系统进行的任何升级都将自动提供给在现场使用应用程序的用户。 对于认知计算革命的新手,IBM还将其MobileFirst for iOS作为一个完美的起点,因为它使用经过验证的IBM应用程序加上IBM工程师帮助,在企业现有系统环境中设计、开发并集成iOS应用程序。 原文发布时间为:2016年10月28日 本文作者:李超 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

程超:手把手教你动手扩展分布式调用链

一、说在前面 微服务是当下最火的词语,现在很多公司都在推广微服务,当服务越来越多的时候,我们是否会纠结以下几个问题: 面对一笔超时的订单,究竟是哪一步处理时间超长呢? 数据由于并发莫名篡改,到底都谁有重大嫌疑呢? 处理遗漏了一笔订单,曾经是哪个环节出错把它落下了? 系统莫名的报错,究竟是哪一个服务报的错误? 每个服务那么多实例服务器,如何快速定位到是哪一个实例服务器报错的呢? 现在很多系统都要求可用性达到99.9%以上,那么我们除了增加系统健壮性减少故障的同时,我们又如何在真正发生故障的时候,快速定位和解决问题,也将是我们的重中之重。 在做微服务框架选择的时候,Spring Cloud无疑是当下最火的,但是因为Spring Cloud是近二年的后起新秀,以及在使用方式上面的差别,目前在很多中小企业还是以dubbo为主,不过遗憾的是,dubbo从官

优秀的个人博客,低调大师

颠覆大数据分析之Spark为Shark所提供的扩展

在Spark的RDD上执行SQL查询遵循的是传统并行数据库的三步流程: 查询解析 逻辑计划的生成 将逻辑计划映射为物理的执行计划 Shark使用Hive查询编译器来进行查询语句的解析。它会生成一棵抽象语法树,然后再将它转化成一个逻辑计划。Shark中逻辑计划的生成方式也类似于Hive中的。但两者的物理计划的生成方式则不尽相同。Hive中的物理计划是一系列的MR作业,而Shark中的则是分阶段RDD转换的一个有向无环图。由于Shark的高工作负荷的这个性质(通常在Hive中机器学习及用户定义函数(UDF)都很常见),因此在编译期很难获取到物理查询计划。对于新数据而言的确是这样的(之前还未被加载到Shark中)。值得注意的是, Hive和Shark都经常用来查询这类数据。因此,Shark引入了一个叫部分有向无环图执行(Partial DAG Execution,PDE)的概念。 部分DAG执行 这项技术会基于运行时收集的数据来生成查询语句的执行计划,而不是在编译期就去生成查询的物理执行计划。收集的数据包括分区大小,倾斜检测的记录条数,哪些记录是频繁出现的,以及RDD分区中数据分布的粗略的直方图。Spark在洗牌阶段之前会将map输出存储到内存中——之后reduce任务会通过MOT组件来使用这些数据。Shark的第一个改动是收集了指定分区以及全局环境的数据。另一个修改则是使得DAG可以在运行时根据所收集的数据来进行改变。必须注意的是,Shark是基于单个节点上的查询优化方法来构建的,它使用了PDE的概念来结合本地优化器进行查询的全局优化。 数据收集以及后续的DAG的修改对Shark实现分布式的连接操作至关重要。它提供了两种类型的连接操作:洗牌连接(shuffle join)以及映射/广播连接。广播连接是通过将小表发送到所有的节点来实现的,在这里它会和大表中不相交的分区进行本地合并。而在洗牌连接中,两张表都会根据连接的主键来进行哈希分区。广播连接只有在表比较小的时候才会比较高效——从这读者可以看到,为什么在Shark的动态查询优化中这些数据统计是如此重要了。Shark中数据统计用于优化查询的另一种方式就是通过检查分区的大小来合并较小分区以决定归约器的数量或者说并行度。 列内存存储 Spark中默认会将RDD存储为JVM内存中的反序列化的Java对象。这样的好处就是对JVM而言它们天生就是可用的,这加快了访问的速度。这样做的缺点就是无法在JVM内存中创建大量对象。读者应当时刻牢记,随着Java堆中对象数量的上升,垃圾回收器(GC)收集的时候就会越长。因此Shark(Muthukumar和Janakiram 2006)实现了列存储,所有基础类型的列都会创建一个对象来存储,而对于复杂类型,它会使用字节数组。这极大地减少了内存中的对象数量也提高了GC及Shark的性能。同时和Spark原生的实现相比,它还提高了空间的使用率。[1] 分布式数据加载 Shark使用Spark执行器来加载数据,但会对它进行定制化。每一张表都会进行分区,每一个分区都会由一个单独的Spark任务来进行加载。这个任务会独立决定是否进行压缩(这列是否需要压缩,如果需要的话用何种技术进行压缩——它是字典编码还是游程长度编码[Abadi 等2006])。每个分区还会单独保存压缩后的结果元数据。然而必须注意的是,世系图并不需要存储压缩元数据,这个会在重构RDD的时候进行计算。结果表明,和Hadoop相比,Shark加载数据到内存中的速度要更快,同时将数据加载到HDFS中的吞吐量也和Hadoop的一样。 完全分区智能连接(Full Partition-Wise Join) 正如在传统数据库中所了解到的那样,完全分区智能连接可以通过根据连接列来将两张表分区的方式来实现。尽管Hadoop并不支持这样的协同分区,Shark通过在数据定义中使用”distribute by”子句实现了这点。当连接两张一致分区的表时,Shark会创建Spark的map任务以避免使用昂贵的洗牌操作,从而获得了更高的运行效率。 分区修剪 正如在传统数据库中那样,分区修剪指的是优化器在构建分区访问列表时通过分析SQL中的where和from子句,删除掉不必要的分区。Shark还通过存储在分区元数据中的范围值(range value)和非重复值(distinct value, 对应枚举类型)增强了数据加载过程中的数据统计,以便在运行时指导分区修剪决策——这个过程又被Shark团队称之为映射修剪。 机器学习的支持 Shark的一个关键的独特卖点(Unique Selling Points ,USP)在于它能够支持机器学习算法。之所以能够实现这个是因为Shark允许在返回查询结果的同时还顺便返回代表执行计划的RDD对象。这说明用户可以初始化这个RDD上的操作——这点非常关键,因为它使得Spark RDD的能力可以为Shark查询所用。需要注意的是机器学习算法能够在Spark RDD上实现,Kraska等人所开发的MLbase库或本书的后续章节都会介绍到这点。 [1] 分代GC常用于现代的JVM。一类回收被称为minor collection,它是用来将分区中存活的对象拷贝到存活区(suvivor space)以及持久代中。剩下的对象会被回收掉。另一种是stop-the-world的major collection,它会对老生代进行压缩。 转载自并发编程网 - ifeve.com

优秀的个人博客,低调大师

【Spark Summit East 2017】可扩展性机器学习的特征哈希

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自Nick Pentreath在Spark Summit East 2017上的演讲,主要介绍了特征哈希是用于处理高维特性的一个功能强大的机器学习技术,特征哈希快速、简单、并且节约内存,而且适合在线学习场景,演讲中分享了特征哈希的基本功能,以及如何使用特征哈希在机器学习中的所有功能类型,并介绍了一个在Spark ML管道中使用的更加灵活和强大的转化器。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册