大数据TensorFlowOnSpark安装-低调大师

大数据TensorFlowOnSpark安装

2017-11-12 633

1. 概述

大数据tensorflowonspark 进行安装和测试。

2 .环境

所选操作系统	地址和软件版本	节点类型
Centos7.3 64位	192.168.2.31（master） Java：jdk 1.8 Scala:2.10.4 Hadoop:2.7.3 Spark:2.12.3 TensorFlowOnSpark:0.8.0 Python2.7	Master
Centos7.3 64位	192.168.2.32（spark worker） Java：jdk 1.8 Hadoop:2.7.3 Spark:2.12.3	slave001
Centos7.3 64位	192.168.2.33（spark worker） Java：jdk 1.8 Hadoop:2.7.3 Spark:2.12.3	slave002

3 .安装

1.1 删除系统自带jdk：

 
        # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
       
        rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64
       
        rpm -e --nodeps tzdata-java-2016c-1.el6.noarch

1.2 安装jdk

 
        rpm -ivh jdk-8u144-linux-x64.rpm

1.3添加java路径

 
        export 
        JAVA_HOME=
        /usr/java/jdk1
        .8.0_144

1.4 验证java

 
        [root@master opt]
        # java -version 
       
        java version 
        "1.8.0_144" 
       
        Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
       
        Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

1.5 Ssh免登陆设置

 
        cd 
        /root/
        .
        ssh
        / 
       
        ssh
        -keygen -t rsa 
       
        cat 
        id_rsa.pub >> authorized_keys  
       
        scp 
        id_rsa.pub authorized_keys root@192.168.2.32:
        /root/
        .
        ssh
        / 
       
        scp 
        id_rsa.pub authorized_keys root@192.168.2.31:
        /root/
        .
        ssh
        /

1.6安装python2.7和pip

 
        yum 
        install 
        -y gcc  
       
        wget https:
        //www
        .python.org
        /ftp/python/2
        .7.13
        /Python-2
        .7.13.tgz 
       
        tar 
        vxf Python-2.7.13.tgz 
       
        cd 
        Python-2.7.13.tgz 
       
        .
        /configure 
        --prefix=
        /usr/local 
       
        make 
        && 
        make 
        install 
       
        [root@master opt]
        # python 
       
        Python 2.7.13 (default, Aug 24 2017, 16:10:35) 
       
        [GCC 4.4.7 20120313 (Red Hat 4.4.7-18)] on linux2
       
        Type 
        "help"
        , 
        "copyright"
        , 
        "credits" 
        or 
        "license" 
        for 
        more 
        information.

1.7 安装pip和setuptools

 
        tar 
        zxvf pip-1.5.4.
        tar
        .gz 
       
        tar 
        zxvf setuptools-2.0.
        tar
        .gz 
       
        cd 
        setuptools-2.0 
       
        python setup.py 
        install 
       
        cd 
        pip-1.5.4 
       
        python setup.py 
        install

1.8 Hadoop安装和配置

1.8.1 三台机器都要安装Hadoop

 
        tar 
        zxvf hadoop-2.7.3.
        tar
        .gz -C 
        /usr/local/ 
       
        cd 
        /usr/local/hadoop-2
        .7.3
        /bin 
       
        [root@master bin]
        # ./hadoop version 
       
        Hadoop 2.7.3
       
        Subversion https:
        //git-wip-us
        .apache.org
        /repos/asf/hadoop
        .git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff 
       
        Compiled by root on 2016-08-18T01:41Z
       
        Compiled with protoc 2.5.0
       
        From 
        source 
        with checksum 2e4ce5f957ea4db193bce3734ff29ff4 
       
        This 
        command 
        was run using 
        /usr/local/hadoop-2
        .7.3
        /share/hadoop/common/hadoop-common-2
        .7.3.jar

1.8.2 配置hadoop

 
        配置master
       
        vi 
        /usr/local/hadoop-2
        .7.3
        /etc/hadoop/core-site
        .xml  
       
        <configuration>
       
        <property> 
       
        <name>hadoop.tmp.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp
        <
        /value
        > 
       
        <description>Abase 
        for 
        other temporary directories.<
        /description
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>fs.defaultFS<
        /name
        > 
       
        <value>hdfs:
        //master
        :9001<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        >

配置slave

 
        [root@slave001 hadoop-2.7.3]
        # vi ./etc/hadoop/core-site.xml  
       
        <configuration>
       
        <property> 
       
        <name>hadoop.tmp.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp
        <
        /value
        > 
       
        <description>Abase 
        for 
        other temporary directories.<
        /description
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>fs.defaultFS<
        /name
        > 
       
        <value>hdfs:
        //slave001
        :9001<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        >

 
        [root@slave002 hadoop-2.7.3]
        # vi ./etc/hadoop/core-site.xml  
       
        <configuration>
       
        <property> 
       
        <name>hadoop.tmp.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp
        <
        /value
        > 
       
        <description>Abase 
        for 
        other temporary directories.<
        /description
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>fs.defaultFS<
        /name
        > 
       
        <value>hdfs:
        //slave002
        :9001<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        >

1.8.3 配置hdfs

 
        vi 
        /usr/local/hadoop-2
        .7.3
        /etc/hadoop/hdfs-site
        .xml 
       
        <configuration>
       
        <property> 
       
        <name>dfs.replication<
        /name
        > 
       
        <value>1<
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>dfs.namenode.name.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp/dfs/name
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>dfs.datanode.data.
        dir
        <
        /name
        > 
       
        <value>
        file
        :
        /usr/local/hadoop/tmp/dfs/data
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property> 
       
        <name>dfs.namenode.rpc-address<
        /name
        > 
       
        <value>master:9001<
        /value
        > 
       
        <
        /property
        > 
       
        <
        /configuration
        >

1.9 安装scala

 
        tar 
        -zxvf scala-2.12.3.tgz -C 
        /usr/local/ 
       
        #修改变量添加scala
       
        vi 
        /etc/profile 
       
        export 
        SCALA_HOME=
        /usr/local/scala-2
        .12.3/ 
       
        export 
        PATH=$PATH:
        /usr/local/scala-2
        .12.3
        /bin 
       
        source 
        /etc/profile

2.0三台机器都要安装spark

 
        tar 
        -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C 
        /usr/local/ 
       
        vi 
        /etc/profile 
       
        export 
        JAVA_HOME=
        /usr/java/jdk1
        .8.0_144/ 
       
        export 
        SCALA_HOME=
        /usr/local/scala-2
        .12.3/ 
       
        export 
        PATH=$PATH:
        /usr/local/scala-2
        .12.3
        /bin 
       
        export 
        SPARK_HOME=
        /usr/local/spark-2
        .1.1-bin-hadoop2.7/ 
       
        export 
        PATH=$PATH:$SPARK_HOME
        /bin
        :$SPARK_HOME
        /sbin 
       
        source 
        /etc/profile

修改spark配置

cd /usr/local/spark-2.1.1-bin-hadoop2.7/

vi ./conf/spark-env.sh.template

export JAVA_HOME=/usr/java/jdk1.8.0_144/

export SCALA_HOME=/usr/local/scala-2.12.3/

#export SPARK_HOME=/usr/local/spark-2.1.1-bin-hadoop2.7/

export SPARK_MASTER_IP=192.168.2.31

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.3/etc/hadoop

export HADOOP_HDFS_HOME=/usr/local/hadoop-2.7.3/

export SPARK_DRIVER_MEMORY=1g

保存退出

mv spark-env.sh.template spark-env.sh

#修改slaves

[root@master conf]# vi slaves.template

192.168.2.32

192.168.2.33

[root@master conf]# mv slaves.template slaves

2.1 三台主机上修改hosts

vi /etc/hosts

192.168.2.31 master

192.168.2.32 slave001

192.168.2.33 slave002

4. 启动服务

[root@master local]# cd hadoop-2.7.3/sbin/

修改配置文件vi /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_144/

./start-all.sh

localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

localhost: Error: JAVA_HOME is not set and could not be found.

修改配置文件

vi /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_144/

重新启动服务

sbin/start-all.sh

#启动spark

cd /usr/local/spark-2.1.1-bin-hadoop2.7/sbin/

./start-all.sh

4. 安装tensorflow

 
        前提下先安装cuda
       
        vim 
        /etc/yum
        .repos.d
        /linuxtech
        .testing.repo   
       
        添加内容：
       
        [cpp] view plain copy
       
        [linuxtech-testing]  
       
        name=LinuxTECH Testing  
       
        baseurl=http:
        //pkgrepo
        .linuxtech.net
        /el6/testing/  
       
        enabled=0  
       
        gpgcheck=1  
       
        gpgkey=http:
        //pkgrepo
        .linuxtech.net
        /el6/release/RPM-GPG-KEY-LinuxTECH
        .NET   
       
        sudo 
        rpm -i cuda-repo-rhel6-8.0.61-1.x86_64.rpm 
       
        sudo 
        yum clean all 
       
        sudo 
        yum 
        install 
        cuda 
       
        rpm -ivh --nodeps dkms-2.1.1.2-1.el6.rf.noarch.rpm 
       
        yum 
        install 
        cuda 
       
        yum 
        install 
        epel-release 
       
        yum 
        install 
        -y zlib*  
       
        #软连接cuda
       
        ln 
        -s 
        /usr/local/cuda-8
        .0 
        /usr/local/cudaldconfig 
        /usr/local/cuda/lib64 
       
        Vi 
        /etc/profile 
       
        export 
        LD_LIBRARY_PATH=
        "$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64" 
       
        export 
        CUDA_HOME=
        /usr/local/cuda

 
        更新pip
       
        pip 
        install 
        --upgrade pip 
       
        下载tensorflow
       
        pip 
        install 
        --upgrade https:
        //storage
        .googleapis.com
        /tensorflow/linux/cpu/tensorflow-0
        .8.0-cp27-none-linux_x86_64.whl 
       
        安装好后
       
        #python
       
        >>> 
        import 
        tensorflow 
       
        Traceback (most recent call last):
       
        File 
        "<stdin>"
        , line 1, 
        in 
        <module> 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/__init__.py"
        , line 23, 
        in 
        <module> 
       
        from tensorflow.python 
        import 
        * 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/python/__init__.py"
        , line 45, 
        in 
        <module> 
       
        from tensorflow.python 
        import 
        pywrap_tensorflow 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/python/pywrap_tensorflow.py"
        , line 28, 
        in 
        <module> 
       
        _pywrap_tensorflow = swig_import_helper() 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/python/pywrap_tensorflow.py"
        , line 24, 
        in 
        swig_import_helper 
       
        _mod = imp.load_module(
        '_pywrap_tensorflow'
        , fp, pathname, description) 
       
        ImportError: libcudart.so.7.5: cannot 
        open 
        shared object 
        file
        : No such 
        file 
        or directory

 
        #这是因为lib库不完整
       
        yum 
        install 
        openssl -y 
       
        yum 
        install 
        openssl-devel -y 
       
        yum 
        install 
        gcc gcc-c++ gcc* 
       
        #更新pip install --upgrade pip
       
        pip 
        install 
        --upgrade https:
        //storage
        .googleapis.com
        /tensorflow/linux/cpu/tensorflow-0
        .8.0-cp27-none-linux_x86_64.whl

 
        >>> 
        import 
        tensorflow 
       
        Traceback (most recent call last):
       
        File 
        "<stdin>"
        , line 1, 
        in 
        <module> 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/__init__.py"
        , line 23, 
        in 
        <module> 
       
        from tensorflow.python 
        import 
        * 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/python/__init__.py"
        , line 45, 
        in 
        <module> 
       
        from tensorflow.python 
        import 
        pywrap_tensorflow 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/python/pywrap_tensorflow.py"
        , line 28, 
        in 
        <module> 
       
        _pywrap_tensorflow = swig_import_helper() 
       
        File 
        "/usr/local/lib/python2.7/site-packages/tensorflow/python/pywrap_tensorflow.py"
        , line 24, 
        in 
        swig_import_helper 
       
        _mod = imp.load_module(
        '_pywrap_tensorflow'
        , fp, pathname, description) 
       
        ImportError: 
        /lib64/libc
        .so.6: version `GLIBC_2.15' not found (required by 
        /usr/local/lib/python2
        .7
        /site-packages/tensorflow/python/_pywrap_tensorflow
        .so) 
       
        #这是因为tensorflow 使用的glibc版本库太高，系统自带太低了。
       
        可以使用。

# strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

GLIBCXX_3.4

GLIBCXX_3.4.1

GLIBCXX_3.4.2

GLIBCXX_3.4.3

GLIBCXX_3.4.4

GLIBCXX_3.4.5

GLIBCXX_3.4.6

GLIBCXX_3.4.7

GLIBCXX_3.4.8

GLIBCXX_3.4.9

GLIBCXX_3.4.10

GLIBCXX_3.4.11

GLIBCXX_3.4.12

GLIBCXX_3.4.13

GLIBCXX_FORCE_NEW

GLIBCXX_DEBUG_MESSAGE_LENGTH

放入最新的glibc库，解压出6.0.20

libstdc++.so.6.0.20 覆盖原来的libstdc++.so.6

[root@master 4.4.7]# ln -s /opt/libstdc++.so.6/libstdc++.so.6.0.20 /usr/lib64/libstdc++.so.6

ln: creating symbolic link `/usr/lib64/libstdc++.so.6': File exists

[root@master 4.4.7]# mv /usr/lib64/libstdc++.so.6 /root/

[root@master 4.4.7]# ln -s /opt/libstdc++.so.6/libstdc++.so.6.0.20 /usr/lib64/libstdc++.so.6

[root@master 4.4.7]# strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

[root@master ~]# strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

GLIBCXX_3.4

GLIBCXX_3.4.1

GLIBCXX_3.4.2

GLIBCXX_3.4.3

GLIBCXX_3.4.4

GLIBCXX_3.4.5

GLIBCXX_3.4.6

GLIBCXX_3.4.7

GLIBCXX_3.4.8

GLIBCXX_3.4.9

GLIBCXX_3.4.10

GLIBCXX_3.4.11

GLIBCXX_3.4.12

GLIBCXX_3.4.13

GLIBCXX_3.4.14

GLIBCXX_3.4.15

GLIBCXX_3.4.16

GLIBCXX_3.4.17

GLIBCXX_3.4.18

GLIBCXX_3.4.19

GLIBCXX_3.4.20

GLIBCXX_DEBUG_MESSAGE_LENGTH

这个地方特别要注意坑特别多，一定要覆盖原来的。

pip install tensorflowonspark

这样就可以使用了

报错信息：

报错：ImportError: /lib64/libc.so.6: version `GLIBC_2.17' not found (required by /usr/local/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow.so)

tar zxvf glibc-2.17.tar.gz

mkdir build

cd build

../glibc-2.17/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

make -j4

make install

测试验证tensorflow

 
        import 
        tensorflow as tf 
       
        import 
        numpy as np 
       
        x_data = np.float32(np.random.rand(2, 100)) 
       
        y_data = np.dot([0.100, 0.200], x_data) + 0.300
       
        b = tf.Variable(tf.zeros([1]))
       
        W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
       
        y = tf.matmul(W, x_data) + b
       
        loss = tf.reduce_mean(tf.square(y - y_data))
       
        optimizer = tf.train.GradientDescentOptimizer(0.5)
       
        train = optimizer.minimize(loss)
       
        init = tf.initialize_all_variables()
       
        sess = tf.Session()
       
        sess.run(init)
       
        for 
        step 
        in 
        xrange(0, 201): 
       
        sess.run(train) 
       
        if 
        step % 20 == 0: 
       
        print step, sess.run(W), sess.run(b) 
       
        # 得到最佳拟合结果 W: [[0.100  0.200]], b: [0.300]

 
        确保etc
        /profile 
       
        export 
        JAVA_HOME=
        /usr/java/jdk1
        .8.0_144/ 
       
        export 
        SCALA_HOME=
        /usr/local/scala-2
        .12.3/ 
       
        export 
        PATH=$PATH:
        /usr/local/scala-2
        .12.3
        /bin 
       
        export 
        SPARK_HOME=
        /usr/local/spark-2
        .1.1-bin-hadoop2.7/ 
       
        export 
        PATH=$PATH:$SPARK_HOME
        /bin
        :$SPARK_HOME
        /sbin 
       
        export 
        LD_LIBRARY_PATH=
        "$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64" 
       
        export 
        CUDA_HOME=
        /usr/local/cuda 
       
        export 
        PYTHONPATH=$SPARK_HOME
        /python
        :$SPARK_HOME
        /python/lib/py4j-0
        .10.4-src.zip:$PYTHONPATH

完成实验。

下载地址：http://down.51cto.com/data/2338827

本文转自 cs312779641 51CTO博客，原文链接:http://blog.51cto.com/chenhao6/1974093

微信关注我们

原文链接：https://yq.aliyun.com/articles/433717

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop Hive概念学习系列之hive里的扩展接口（CLI、Beeline、JDBC）（十六）

《Spark最佳实战陈欢》写的这本书，关于此知识点，非常好，在94页。 hive里的扩展接口，主要包括CLI（控制命令行接口）、Beeline和JDBC等方式访问Hive。 CLI和Beeline都是交互式用户接口，并且功能相似，但是语法和实现不同。 JDBC是一种类似于编程访问关系型数据库的编程接口。 1、CLI 在UNIX shell环境下输入hive命令可以启用Hive CLI。在CLI下，所有的Hive语句都以分号结束。在CLI下可以对一些属性做出设置，像是设置底层MapReduce任务中Reducer的实例数。这些信息都详细地记录在在线Hive语言手册中。下面是一些专门针对Hive，并且对使用Hive CLI非常有帮助的属性： hive.cli.print.header:当设置为true时，查询返回结果的同时会打印列名。默认情况下设置为false。因此不会打印。想要开启列名打印的功能需要输入以下指令。 hive > set hive.cli.print.header=true; hive.cli.print.current.db:当设置为tru...

2017-11-12

524

在启动程序的时候，使用jps查看启动进程时出现：jps could not synchronize with target。程序启动完成之后，jps输出正常。后来在网上查了下，如下：用jps看hadoop的启动进程，突然报这个错，后来查到2个sun的bug库里的说明 http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6602355 http://bugs.sun.com/bugdatabase/view_bug.do;jsessionid=f3d4e72c0f3d61519aed6f056ce?bug_id=6637230 If a debuggee is waiting for a connection, jps fails with msg: Could not synchronize with target 用strace jps看到 futex(0xb7406bd8, FUTEX_WAIT, 4176, NULL32433）进程处于futex_wait状态好吧，连接了下debug端口解决。本文转自 zho...

2017-11-12

777

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。