DL_WITH_PY系统学习（第2章）-低调大师

DL_WITH_PY系统学习（第2章）

2018-05-24 672

img_03e7b9cbd237c246dc041f4bb59a92dc.jpe

本节提示：

1、第一个dl例子；

2、tensor和tensor操作；

3、DL如何通过逆向传播和梯度下降达到学习目的。

2.1 输入数据集的格式

 
   from keras.datasets 
   import mnist
  
   (train_images,train_labels),(test_images,test_labels) = mnist.load_data()
  
   print(
   'train_image_shape',train_images.shape)
  
   print(
   'train_labels_len',
   len(train_labels))
  
   print(
   'train_labels',train_labels)

train_image_shape (60000, 28, 28)

train_labels_len 60000

    train_labels [5 0 4 ... 5 6 8]
   

2.2训练网络结构

   network = models.Sequential()
  

   network.add(layers.Dense(
   512,
   activation = 
   'relu',
   input_shape = (
   28*
   28,)))
  

   network.add(layers.Dense(
   10,
   activation=
   'softmax'))
  

layers(层）是训练网络的最基本组成部分，它读入数据，输出对于结果来说更有用的结果。

我们这里建立的层是全连接层，注意这里的input_shape用了（28*28，）这种表示方式。最后输出的结果是10选1的结果。

2.3编译模型

  network.compile(
  optimizer=
  'rmaprop',
  loss=
  'categorical_crossentropy',
  metrics=[
  'accuracy'])
 

下一步，为了让DL能够开始训练，我们还需要额外的3个构建：

一个损失函数(a loss function)—用于计算系统训练的准确效果；

一个优化函数(an optimizer)—用于定义优化方法；

在训练的时候的度量—一般都是acc。

2.4处理数据集

在之前的读入的数据中，图片保存在类似(60000,28,28)这样的结构中，不方便处理，这里进行转换

    train_images = train_images.reshape((
    60000,
    28*
    28))
   

    train_images = train_images.astype(
    'float32')/
    255 
   


    test_images = test_images.reshape((
    10000,
    28*
    28))
   

    test_images = test_images.astype(
    'float32')/
    255 
   

一方面是reshape，另一方面是转换成float32结构。这两个都是非常常见的操作。

2.5进行one_hot处理

 
    from keras.utils 
    import to_categorical
   
    train_labels = to_categorical(train_labels)
   
    test_labels = to_categorical(test_labels)

变成这样：

2.6 现在就尝试训练

   network.fit(train_images,train_labels,
   epochs=
   5,
   batch_size=
   128)
  

回顾一下这里输入模型的数据

rain_images 是数量*（长*宽）

train_labes 是onehot格式。这两个部分首先要清楚。

并且进行最后的验证

   test_loss,test_acc = network.evaluate(test_images,test_labels)
  

注意，即使是这里的这些非常简单的函数和数据，如果没有GPU的支持，也可能是需要较长时间才能够运行的。

2.7 什么是tensor

经常看见的tensor这个词，所谓tensor，就是数据的容器（a container for data)

比如

np.array(12)就是一个0D tensor

np.array([12,3,6,14])一个列表，就是一个1D tensor

np.array([12,3,6,14],

[6,79,35,1],

[7,80,4,36,2] )

一个列表的组合，就是一个2D tensor

再往上堆，就是3D tensor，也是比较好理解的

2.8 tensor的组成

主要包括3个部分

维度(rank)比如3D tensor显而易见就是3d的对应ndim

形状（shape)也就是具体填充tensor里面的具体内容对于shape

种类（data type) float32 或者 float64之类对于dtype

具体打印一个数据

 
    import matplotlib.pyplot 
    as plt
   
    digit = train_images[
    3]
   
    plt.imshow(digit,
    cmap=plt.cm.binary)
   
    plt.show()

这里这个两次show令人印象深刻。

2.9实际情况下的图像存储

一套256*256的128 gray的图片集可以保存在(128,256,256,1)的4d tensor中；而一套同样大小的彩色图像可以保持在(128,256,256,3)的tensor中。

如果是video data,往往必须是5维数据。

来自为知笔记(Wiz)

附件列表

目前方向：图像拼接融合、图像识别联系方式：jsxyhelu@foxmail.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/649390

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【文末有福利！】刷脸开锁：背后的技术绝招

安全君在去年向大家介绍了智能语义安全检测的武林（链接：https://m.aliyun.com/yunqi/articles/66859）。今年，有另一大绝招在江湖上兴起：实人认证。 1 且说苦练实人认证绝招的高手中，有一支主流派系，阿里云云盾 · 实人认证，一直靠算法和技术内功行走江湖。他们的武功程度，已能基于深度优化的海量检索引擎，根据采集的人脸在设定的人脸库中迅速找出最相似的一张，或多张人脸。门派信仰可谓充满正义感：除了单纯用于比武，更重要的是可灵活变通，为各行商家、消费者所用，实现“武功赋能”。比如新零售场景，人脸检索可以在智慧门店中使用，达到会员管理、人流统计等需求；在小区中用上人脸检索，可实现人脸出入小区、人脸门禁；在安防监控领域里，通过人脸检索，可以对人流做到黑白名单管理；最终让每一个人出入平安，衣食住行放心无忧。为了让

2018-05-25

981

2018云栖大会武汉峰会新制造专场，由阿里云研究中心高级战略专家王岳带来了以“AI时代的制造业数字化变革”为主题的演讲，谈及数字化比那个能对传统企业产生的影响，介绍了制造业数字化变革模型以及中国制造业的未来发展，最后介绍了阿里云工业大脑及相应的案例。数十款阿里云产品限时折扣中，赶紧点击这里，领劵开始云上实践吧！直播视频请点击以下为精彩视频内容整理：为什么阿里云谈制造？去年双十一的交易额达到170个亿，支付峰值达到了25.6万笔/秒，交易峰值达到了32.5万笔/秒，比2016年提高了一倍，拦截了15.03亿次的网络攻击，95%的客服服务是由阿里小蜜机器人来实现的。这些数字背后涉及了很多的技术。我们发现，相当一部分的电商服务具有平移和复制的能力，比如可以通过算法提升芯片的良率，也可以用来养猪。但是像生产类技术却不能，比如生产汽车的公司

2018-05-27

735

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。