ND4J的基本操作
一、ND4J的在内存中的存储结构
对于ND4J而言,所有的数据都存储在堆外内存,是一维的连续内存,INDArray 只是指向了这片连续的内存空间,把连续内存映射成张量,ND4J定义了两种排序规则:C order和F order,C order表示行优先,F order表示列优先。下图展示了ND4J的内存存储。
上图可以看出,不过张量是几维,对应的物理存储都是一维的连续内存空间,NDArray在指向这片连续的地址,这正是ND4J强大的地方,对于各种矩阵操作,例如:矩阵转置、矩阵加标量等等操作,都可以轻而易举的实现,而不用花力气去dup一个巨型数组,高性能也表现在这种优雅的设计方式上。
二、ND4J的基本操作
1、加法
INDArray add(INDArray other) :元素对应相加,返回的张量是拷贝出来的
INDArray addi(INDArray other) :元素对应相加,与上面不同的是,返回值不是拷贝出来的新数组,而是用计算结果替换原内存数据
INDArray add(Number n):每个元素加上一个标量
INDArray addi(Number n):每个元素加上一个标量,并覆盖原数组
2、减法
INDArray sub(Number n):每个元素减去一个标量
INDArray subi(Number n):每个元素减去标量,并覆盖原数组
INDArray sub(INDArray other):对应元素相减
INDArray subi(INDArray other):对应元素相减,并覆盖原数组
3、乘法
乘法分两种,对应元素相乘和矩阵乘法
INDArray mul(INDArray other):对应元素相乘
INDArray muli(INDArray other):对应元素相乘,并覆盖原数组
INDArray mmul(INDArray other):矩阵相乘
INDArray mmuli(INDArray other):矩阵相乘,并覆盖原数组
4、除法
INDArray div(INDArray other):对应元素相除
INDArray divi(INDArray other):对应元素相除并覆盖原数组
INDArray div(Number n):每个元素除以一个标量
INDArray divi(Number n):每个元素除以一个标量,并覆盖原数组
5、矩阵转置
INDArray transpose()
INDArray transposei()
总结一下:后面以i结尾的方法,表示in place,也就是会覆盖原内存空间的数据,和”传引用“一个意思
6、张量创建
Nd4j类中定义了很多静态方法,用于创建N维张量,用法例如: Nd4j.zeros(nRows, nColumns)
public static INDArray zeros(int rows, int columns) :创建一个全部元素为0的张量
public static INDArray ones(int rows, int columns) :创建一个全部元素为1的张量
public static INDArray hstack(INDArray... arrs):沿着水平方向接起多个矩阵,矩阵必须有相同的行
public static INDArray vstack(INDArray... arrs):沿着垂直方向接起多个矩阵,矩阵必须有相同的列
public static INDArray rand(int rows, int columns):随机对应形状的张量
public static INDArray rand(int[] shape):随机对应形状的张量
7、张量设置值
INDArray putScalar(int[] i, double value):对应位置设置标量
INDArray putScalar(int row, int col, double value):对应行列处设置标量
INDArray put(INDArrayIndex[] indices, INDArray element):对应维度处设置INDArray
8、其他操作
INDArray reshape(int... newShape):重新定义张量形状
这里只是列举了ND4J的一些常用操作,ND4J还定义了很多对应张量灵活的操作,例如求和、求平均、求最大值、求最小值、BooleanIndexing根据条件替换张量值、常用函数操作(sigmoid、tanh等等),要了解更多的详情,可以深入去看DL4J的example或者单元测试,去体验这个优秀的张量运算库。
---------------------------------------------------------------------------------------------------------
快乐源于分享。
此博客乃作者原创, 转载请注明出处

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
CentOS 8.0 最新构建状态公布,或于数周后发布
虽然红帽已在上个月发布RHEL 8 正式版本,但更多的开发者却是在等待 CentOS 8.0,不过大家再着急也不会改变 CentOS 8 的发布时间。目前看来,发布 CentOS 8.0 仍需等待几周。 关于 CentOS 8 的构建状态页面显示,已经开始构建系统,但作为构建的一部分,需要修复上一步骤中存在的问题。 在另一篇总结当前 CentOS 8 状态的博客文章中,构建传统的 RHEL8 RPM 软件包以及更新的模块/流方面正在取得进展。Koji 用于构建 RPM,而附带 Mbox 的模块构建服务(Module Build Service)正在处理模块。 可以在https://git.centos.org找到构成 CentOS 8 RPM和模块的来源 一如既往地,CentOS 团队表示不会预测 CentOS 8 何时发布 GA 版本,但会在它准备好后立即发布。 一些统计数据如下: 非模块化软件包:2542个 内置软件包:2523个 更新版本:25个 构建失败软件包:17个 模块/流的总数:61个 内置模块:14个 故障模块:0 安全启动填充状态:完成 下一步工作: 完成所有组件构建...
- 下一篇
使用split_size优化的ODPS SQL的场景
使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下: 说明1:split_size,设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的控制。设置语句:set odps.sql.mapper.split.size=256。一般在调整这个设置时,往往是发现一个map instance处理的数据行数太多。 说明2:小文件越多,需要instance资源也越多,MaxCompute对单个Instance可以处理的小文件数限制为120个,如此造成浪费资源,影响整体的执行性能(文件的大小小于块Block 64M的文件)。 场景一:单记录数据存储太少 原始Logview Detail: 可以发现Job只调起一个Map Instance,供处理了156M的数据,但这些数据共有5千多万的记录(单记录平均3个byte),花费了25分钟。 此外,从TimeLine看可以发现,整个Job耗费43分钟,map占用了超过60%的时间。故可对map进行优化。 优化手段:调小split_size为16M 优化之后的logview: 优...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS7安装Docker,走上虚拟化容器引擎之路