首页 文章 精选 留言 我的

精选列表

搜索[安全加速 SCDN],共10011篇文章
优秀的个人博客,低调大师

特斯拉加速自研 AI 芯片布局

据teslanorth 报道,特斯拉 CEO 马斯克近日在 X 平台披露,公司即将完成下一代 AI5 芯片的流片,并已启动 AI6 的研发工作。 AI5(亦称 HW5)将用于车辆、数据中心及机器人,相较当前 AI4 硬件性能提升最高达 50 倍,预计 2027 年中开始装车,由 TSMC 与 Samsung 在美国量产。 马斯克强调特斯拉拥有多年自研 AI 芯片经验,已部署数百万颗芯片,并计划实现“每年推出一代新 AI 芯片”的节奏。AI6 预计于 2028 年推出,依托特斯拉与三星达成的 165 亿美元合作。Tesla AI 负责人 Ashok Elluswamy 表示,芯片与 Tesla_AI 软件团队深度协同设计,实现毫秒级视频处理能力。

优秀的个人博客,低调大师

用alluxio加速spark数据访问(一)

1.背景信息 1.1 alluxio Alluxio是一个开源的基于内存的分布式存储系统,适合作为云上大数据和AI / ML的数据编排方案。Alluxio可以同时管理多个底层文件系统,将不同的文件系统统一在同一个名称空间下,让上层客户端可以自由访问统一名称空间内的不同路径,不同存储系统的数据。 alluxio的short-circuit功能可以使alluxio客户端直接访问alluxio worker所在主机的工作存储,而不需要通过网络栈与alluxio worker完成通信,可以提高性能。 1.2 spark operator Spark-operator用于管理k8s集群中spark job。通过spark-operator可以在k8s集群中创建、查看和删除spark job。 2.前提条件 本文档的操作依赖如下的一些条件: kubernet

优秀的个人博客,低调大师

Hadoop的加速发动机Impala

应用场景 在使用Hive的过程中,编写了HQL语句,发现HQL执行过程是非常慢的,因为hive采用的是把HQL转化成hadoop的MapReduce任务,然后编译,打包成jar包,分发到各个server上去执行,这个过程会很慢很慢!而impala也可以执行SQL,但是比Hive快很多,而Impala根本不用Hadoop的Mapreduce机制,直接调用HDFS的API获取文件,在内存中快速计算! 但是Impala也并不是完全比Hive好。Impala的容错机制没有Hive好,而且没有Hive那么成熟。 所以一般使用以下方法来决定使用哪个: 如果是ETL任务使用Hive 如果是实时的热查询则用Impala 1. Impala介绍 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。 1.1 Impala的优点 Impala不需要把中间结果写入磁盘,省掉了大量的I/O开销。 省掉了MapReduce作业启动的开销。MapReduce启动task的速度很慢(默认每个心跳间隔是3秒钟),Impala直接通过相应的服务进程来进行作业调度,速度快了很多。 Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式,而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶,因此可做更多的查询优化,从而省掉不必要的shuffle、sort等开销。 通过使用LLVM来统一编译运行时代码,避免了为支持通用编译而带来的不必要开销。 用C++实现,做了很多有针对性的硬件优化,例如使用SSE指令。 使用了支持Data locality的I/O调度机制,尽可能地将数据和计算分配在同一台机器上进行,减少了网络开销。 1.2 Impala的功能 Impala可以根据Apache许可证作为开源免费提供。 Impala支持内存中数据处理,它访问/分析存储在Hadoop数据节点上的数据,而无需数据移动。 使用类SQL查询访问数据。 Impala为HDFS中的数据提供了更快的访问。 可以将数据存储在Impala存储系统中,如Apache HBase和Amazon s3。 Impala支持各种文件格式,如LZO,序列文件,Avro,RCFile和Parquet。 2. Impala VS Phoenix 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。 phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。 但是在生产环境中,不可以用在OLTP中。在线事务处理的环境中,需要低延迟,而Phoenix在查询HBase时,虽然做了一些优化,但延迟还是不小。所以依然是用在OLAT中,再将结果返回存储下来。 Phoenix的团队用了一句话概括Phoenix:”We put the SQL back in NoSQL” 意思是:我们把SQL又放回NoSQL去了!这边说的NoSQL专指HBase,意思是可以用SQL语句来查询Hbase,你可能会说:“Hive和Impala也可以啊!”。但是Hive和Impala还可以查询文本文件,Phoenix的特点就是,它只能查Hbase,别的类型都不支持!但是也因为这种专一的态度,让Phoenix在Hbase上查询的性能超过了Hive和Impala! 所以Impala可以针对文本文件,impala可以操作hdfs,hive,hbase等,而Phoenix只针对Hbase。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册