首页 文章 精选 留言 我的

精选列表

搜索[快速入门]，共10000篇文章
优秀的个人博客,低调大师

Hadoop入门进阶课程9--Mahout介绍、安装与应用案例

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为http://www.cnblogs.com/shishanyuan。该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博客边上机实验，课程地址为https://www.shiyanlou.com/courses/237 【注】该系列所使用到安装包、测试数据和代码均可在百度网盘下载，具体地址为http://pan.baidu.com/s/10PnDs，下载该PDF文件 1、搭建环境 部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown–R shiyanlou:shiyanlou /app）。 Hadoop搭建环境： l虚拟机操作系统：CentOS6.664位，单核，1G内存 lJDK：1.7.0_55 64位 lHadoop：1.1.2 2、Mahout介绍 Mahout是Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。AMahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用Apache Hadoop库，Mahout可以有效地扩展到云中。 Mahout的意思是大象的饲养者及驱赶者。Mahout这个名称来源于该项目（有时）使用Apache Hadoop—其徽标上有一头黄色的大象 —来实现可伸缩性和容错性。 Mahout项目是由Apache Lucene（开源搜索）社区中对机器学习感兴趣的一些成员发起的，他们希望建立一个可靠、文档翔实、可伸缩的项目，在其中实现一些常见的用于集群和分类的机器学习算法。该社区最初基于Ng et al.的文章 “Map-Reduce for Machine Learning on Multicore”（见 参考资料），但此后在发展中又并入了更多广泛的机器学习方法。Mahout的目标还包括： l建立一个用户和贡献者社区，使代码不必依赖于特定贡献者的参与或任何特定公司和大学的资金。 l专注于实际用例，这与高新技术研究及未经验证的技巧相反。 l提供高质量文章和示例 3、搭建Mahout环境 3.1部署过程 3.1.1下载Mahout 在Apache下载最新的Mahout软件包，点击下载会推荐最快的镜像站点，以下为下载地址：http://archive.apache.org/dist/mahout/0.6/ 也可以在/home/shiyanlou/install-pack目录中找到该安装包，解压该安装包并把该安装包复制到/app目录中 cd /home/shiyanlou/install-pack tar -xzf mahout-distribution-0.6.tar.gz mv mahout-distribution-0.6 /app/mahout-0.6 3.1.2设置环境变量 使用如下命令编辑/etc/profile文件： sudo vi /etc/profile 声明mahout的home路径和在path加入bin的路径： export MAHOUT_HOME=/app/mahout-0.6 export MAHOUT_CONF_DIR=/app/mahout-0.6/conf export PATH=$PATH:$MAHOUT_HOME/bin 编译配置文件/etc/profile，并确认生效 source /etc/profile echo $PATH 3.1.3验证安装完成 重新登录终端，确保hadoop集群启动，键入mahout --help命令，检查Mahout是否安装完好，看是否列出了一些算法： mahout --help 3.2测试例子 3.2.1下载测试数据 下载一个文件synthetic_control.data，下载地址http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data，也可以在/home/shiyanlou/install-pack/class9目录中找到该测试数据文件，把这个文件放在$MAHOUT_HOME/testdata目录下 cd /home/shiyanlou/install-pack/class9 mkdir /app/mahout-0.6/testdata mv synthetic_control.data /app/mahout-0.6/testdata 3.2.2启动Hadoop 通过下面命令启动hadoop并通过jps查看进程 cd /app/hadoop-1.1.2/bin ./start-all.sh jps 3.2.3使用kmeans算法 使用如下命令进行kmeans算法测试： cd /app/mahout-0.6/ mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job 这里需要说明下，当你看到下面的代码时以为是错的，其实不是，原因：MAHOUT_LOCAL：设置是否本地运行，如果设置该参数就不会在hadoop运行了，一旦设置这个参数那HADOOP_CONF_DIR和HADOOP_HOME两个参数就自动失效了。 MAHOUT_LOCAL is not set, so we don't add HADOOP_CONF_DIR to classpath. no HADOOP_HOME set , running locally 3.2.4查看结果 结果会在根目录建立output新文件夹，如果下图结果表示mahout安装正确且运行正常： cd /app/mahout-0.6/output ll 4、测试例子：运行20newsgroup 4.1算法流程 朴素贝叶斯分类是一种十分简单的分类算法，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率哪个最大，就认为此待分类项属于哪个类别。 这二十个新闻组数据集合是收集大约20,000新闻组文档，均匀的分布在20个不同的集合。这20个新闻组集合采集最近流行的数据集合到文本程序中作为实验，根据机器学习技术。例如文本分类，文本聚集。我们将使用Mahout的Bayes Classifier创造一个模型，它将一个新文档分类到这20个新闻组集合范例演示 4.2实现过程（mahout 0.6版本） 4.2.1下载数据并解压数据 下载20Newsgroups数据集，地址为http://qwone.com/~jason/20Newsgroups/，下载20news-bydate.tar.gz数据包，也可以在/home/shiyanlou/install-pack/class9目录中找到该测试数据文件： 解压20news-bydate.tar.gz数据包，解压后可以看到两个文件夹，分别为训练原始数据和测试原始数据： cd /home/shiyanlou/install-pack/class9 tar -xzf 20news-bydate.tar.gz 在mahout根目录下建data文件夹，然后把20news训练原始数据和测试原始数据迁移到该文件夹下： mkdir /app/mahout-0.6/data mv 20news-bydate-t* /app/mahout-0.6/data ll /app/mahout-0.6/data 4.2.2建立训练集 通过如下命令建立训练集，训练的数据在20news-bydate-train目录中，输出的训练集目录为bayes-train-input： cd /app/mahout-0.6 mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \ -p /app/mahout-0.6/data/20news-bydate-train \ -o /app/mahout-0.6/data/bayes-train-input \ -a org.apache.mahout.vectorizer.DefaultAnalyzer \ -c UTF-8 4.2.3建立测试集 通过如下命令建立训练集，训练的数据在20news-bydate-test目录中，输出的训练集目录为bayes-test-input： mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \ -p /app/mahout-0.6/data/20news-bydate-test \ -o /app/mahout-0.6/data/bayes-test-input \ -a org.apache.mahout.vectorizer.DefaultAnalyzer \ -c UTF-8 4.2.4上传数据到HDFS 在HDFS中新建/class9/20news文件夹，把生成的训练集和测试集上传到HDFS的/class9/20news目录中： hadoop fs -mkdir /class9/20news hadoop fs -put /app/mahout-0.6/data/bayes-train-input /class9/20news hadoop fs -put /app/mahout-0.6/data/bayes-test-input /class9/20news hadoop fs -ls /class9/20news hadoop fs -ls /class9/20news/bayes-test-input 4.2.5训练贝叶斯分类器 使用trainclassifier类训练在HDFS中/class9/20news/bayes-train-input的数据，生成的模型放到/class9/ 20news/newsmodel目录中： mahout trainclassifier \ -i /class9/20news/bayes-train-input \ -o /class9/20news/newsmodel \ -type cbayes \ -ng 2 \ -source hdfs 4.2.6观察训练作业运行过程 注：实验楼为命令行界面，无法观测到该步骤界面，以下描述仅做参考 在训练过程中在JobTracker页面观察运行情况，链接地址为http://**.***.**.***:50030/jobtracker.jsp，训练任务四个作业，大概运行了15分钟左右： 点击查看具体作业信息 map运行情况 作业运行情况 4.2.7查看生成模型 通过如下命令查看模型内容： hadoop fs -ls /class9/20news hadoop fs -ls /class9/20news/newsmodel hadoop fs -ls /class9/20news/newsmodel/trainer-tfIdf 4.2.8测试贝叶斯分类器 使用testclassifier类训练在HDFS中./20news/bayestest-input的数据，使用的模型路径为./ 20news/newsmodel： mahout testclassifier \ -m /class9/20news/newsmodel \ -d /class9/20news/bayes-test-input \ -type cbayes \ -ng 2 \ -source hdfs \ -method mapreduce 4.2.9观察训练作业运行过程 注：实验楼为命令行界面，无法观测到该步骤界面，以下描述仅做参考 在执行过程中在JobTracker页面观察运行情况，链接地址为http://hadoop:50030/jobtracker.jsp，训练任务1个作业，大概运行了5分钟左右： 作业的基本信息 map运行情况 reduce运行情况 4.2.10查看结果 这个混合矩阵的意思说明：上述a到u分别是代表了有20类别，这就是我们之前给的20个输入文件，列中的数据说明每个类别中被分配到的字节个数，classified说明应该被分配到的总数 38100009100010020100300|398a = rec.motorcycles 意思为rec.motorcycles本来是属于a，有381篇文档被划为了a类，这个是正确的数据，其它的分别表示划到b~u类中的数目。我们可以看到其正确率为381/398=0.9573 ,可见其正确率还是很高的了。 4.3实现过程（mahout 0.7+版本） 在0.7版本的安装目录下$MAHOUT_HOME/examples/bin下有个脚本文件classifu-20newsgroups.sh，这个脚本中执行过程是和前面分布执行结果是一致的，只不过将各个API用shell脚本封装到一起了。从0.7版本开始，Mahout移除了命令行调用的API：prepare20newsgroups、trainclassifier和testclassifier，只能通过shell脚本执行。 执行$MAHOUT_HOME/examples/bin/classify-20newsgroups.sh四个选项中选择第一个选项， 执行结果如下： 5、问题解决 5.1使用mahout0.7+版本对20Newsgroup数据建立训练集时出错 使用如下命令对20Newsgroupt数据建立训练集时： mahout org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups \ -p /app/mahout-0.9/data/20news-bydate-train \ -o /app/mahout-0.9/data/bayes-train-input \ -a org.apache.mahout.vectorizer.DefaultAnalyzer\ -c UTF-8 出现如下错误，原因在于从0.7版本开始，Mahout移除了命令行调用的prepare20newsgroups、trainclassifier和testclassifier API，只能通过shell脚本执行$MAHOUT_HOME/examples/bin/classify-20newsgroups.sh进行 14/12/7 21:31:35 WARN driver.MahoutDriver: Unable to add class: org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups 14/12/7 21:31:35 WARN driver.MahoutDriver: No org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups.props found on classpath, will use command-line arguments only Unknown program 'org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups' chosen. Valid program names are: arff.vector: : Generate Vectors from an ARFF file or directory baumwelch: : Baum-Welch algorithm for unsupervised HMM training ....... 本文转自shishanyuan博客园博客，原文链接： http://www.cnblogs.com/shishanyuan/p/4648258.html，如需转载请自行联系原作者
2017-11-08
优秀的个人博客,低调大师

Android JNI入门第三篇——jni头文件分析

一、 首先写了java文件： publicclassHeaderFile{ privatenativevoiddoVoid(); nativeintdoShort(); nativevoiddoArray(Object[]o); nativeintdoInt(inti);//byte,short,int,long,float,double,boolean,char nativeintdoInt(doubled);//byte,short,int,long,float,double,boolean,char nativeintdoInt(Objecto); nativeintdoInt(doubled1,doubled2); staticnativeintdoInt(doubled1,doubled2,doubled3); staticnativeintdoInt(doubled1,floatf,booleanb,char[]c); nativeintdoInt(int[]i); nativeintdoInt(int[]i1,double[]i2); staticnativeintdoInt(int[]i1,double[]i2,Object[]o); publicnativeStringdoString(Strings); publicnativeObjectdoObject(Objecto); publicnativeEnumerationdoInterface(Iteratorit); publicnativeStudentdoStudent(Students); //nativeint[]doInt(int[]i);//byte,short,int,long,float,double,boolean,char publicnativeString[]doString(String[]s); publicnativeObject[]doObjects(Object[]o); publicnativeEnumeration[]doInterface(Iterator[]it); publicnativeStudent[]doStudent(Student[]s); publicnativestaticObjectdoAll(int[]i,String[]s,Student[]student); } java文件中包含了private、public、protect等类型的方法，static 方法和非static 方法，返回类型有基础类型、对象等。 二、下面看一下生成的头文件： /*DONOTEDITTHISFILE-itismachinegenerated*/ #include<jni.h> /*Headerforclasscom_nedu_jni_helloword_HeaderFile*/ #ifndef_Included_com_nedu_jni_helloword_HeaderFile #define_Included_com_nedu_jni_helloword_HeaderFile #ifdef__cplusplus extern"C"{ #endif /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doVoid *Signature:()V */ JNIEXPORTvoidJNICALLJava_com_nedu_jni_helloword_HeaderFile_doVoid (JNIEnv*,jobject); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doShort *Signature:()I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doShort (JNIEnv*,jobject); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doArray *Signature:([Ljava/lang/Object;)V */ JNIEXPORTvoidJNICALLJava_com_nedu_jni_helloword_HeaderFile_doArray (JNIEnv*,jobject,jobjectArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(I)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__I (JNIEnv*,jobject,jint); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(D)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__D (JNIEnv*,jobject,jdouble); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(Ljava/lang/Object;)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__Ljava_lang_Object_2 (JNIEnv*,jobject,jobject); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(DD)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__DD (JNIEnv*,jobject,jdouble,jdouble); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(DDD)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__DDD (JNIEnv*,jclass,jdouble,jdouble,jdouble); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(DFZ[C)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__DFZ_3C (JNIEnv*,jclass,jdouble,jfloat,jboolean,jcharArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:([I)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt___3I (JNIEnv*,jobject,jintArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:([I[D)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt___3I_3D (JNIEnv*,jobject,jintArray,jdoubleArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:([I[D[Ljava/lang/Object;)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt___3I_3D_3Ljava_lang_Object_2 (JNIEnv*,jclass,jintArray,jdoubleArray,jobjectArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doString *Signature:(Ljava/lang/String;)Ljava/lang/String; */ JNIEXPORTjstringJNICALLJava_com_nedu_jni_helloword_HeaderFile_doString__Ljava_lang_String_2 (JNIEnv*,jobject,jstring); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doObject *Signature:(Ljava/lang/Object;)Ljava/lang/Object; */ JNIEXPORTjobjectJNICALLJava_com_nedu_jni_helloword_HeaderFile_doObject (JNIEnv*,jobject,jobject); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInterface *Signature:(Ljava/util/Iterator;)Ljava/util/Enumeration; */ JNIEXPORTjobjectJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInterface__Ljava_util_Iterator_2 (JNIEnv*,jobject,jobject); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doStudent *Signature:(Lcom/nedu/jni/helloword/Student;)Lcom/nedu/jni/helloword/Student; */ JNIEXPORTjobjectJNICALLJava_com_nedu_jni_helloword_HeaderFile_doStudent__Lcom_nedu_jni_helloword_Student_2 (JNIEnv*,jobject,jobject); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doString *Signature:([Ljava/lang/String;)[Ljava/lang/String; */ JNIEXPORTjobjectArrayJNICALLJava_com_nedu_jni_helloword_HeaderFile_doString___3Ljava_lang_String_2 (JNIEnv*,jobject,jobjectArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doObjects *Signature:([Ljava/lang/Object;)[Ljava/lang/Object; */ JNIEXPORTjobjectArrayJNICALLJava_com_nedu_jni_helloword_HeaderFile_doObjects (JNIEnv*,jobject,jobjectArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInterface *Signature:([Ljava/util/Iterator;)[Ljava/util/Enumeration; */ JNIEXPORTjobjectArrayJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInterface___3Ljava_util_Iterator_2 (JNIEnv*,jobject,jobjectArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doStudent *Signature:([Lcom/nedu/jni/helloword/Student;)[Lcom/nedu/jni/helloword/Student; */ JNIEXPORTjobjectArrayJNICALLJava_com_nedu_jni_helloword_HeaderFile_doStudent___3Lcom_nedu_jni_helloword_Student_2 (JNIEnv*,jobject,jobjectArray); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doAll *Signature:([I[Ljava/lang/String;[Lcom/nedu/jni/helloword/Student;)Ljava/lang/Object; */ JNIEXPORTjobjectJNICALLJava_com_nedu_jni_helloword_HeaderFile_doAll (JNIEnv*,jclass,jintArray,jobjectArray,jobjectArray); #ifdef__cplusplus } #endif #endif 三、头文件分析如下： 1、文件的前九行就不用说了，他们是是C、C++的头，应该很好理解。 2、方法的注释部分，每个方法都有它的注释部分，这些都是相似的，对其中一个分析： /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doVoid *Signature:()V */ 注释部分分为三部分Class、Method、Signature。 Class：表示Native方法的类名称。 Method：表示方法名称 Signature：是方法的标识，它是一个标识符，主要供我们在JNI操作java对象的方法使用的。 Signature一般是两部分构成，一个方法的参数，另一个是返回类型。方法参数在括号里面，返回类型在后面， 例如 ()V返回为void，没有参数。 (DFZ[C)I返回为int，参数为double、float、char[] (Ljava/lang/String;)Ljava/lang/String;返回String，参数为String 如果不清楚其中的字符含义，就不能知道其中的意思，其中字符对应有基本类型、对象类型、数组类型。分析如下 1）基本类型的对应关系如下： 2）方法参数或者返回值为java中的对象时，必须以“L”加上其路径，不过此路径必须以“/”分开，自定义的对象也使用本规则，不在包中时直接“L”加上类名称。比如说java.lang.String为“java/lang/String”,com.nedu.jni.helloword.Student为"com/nedu/jni/helloword/Student" 3)方法参数或者返回值为数组时类型前加上[,例如[I表示int[],[[[D表示 double[][][]，即几维数组就加几个[。 看一下例子： 3、方法的声明 JNIEXPORTvoidJNICALLJava_com_nedu_jni_helloword_HeaderFile_doArray(JNIEnv*,jobject,jobjectArray); 从上面的头文件可以看出方法基本有7部分组成。 1、3部分是都是JNI的关键字，表示此函数是要被JNI调用的。 2、表示方法的返回类型 4、为JNI中标识此方法来源于java的标识头 5、方法所在类的包名+类名 6、方法名 7、参数，它们有一个共同的特点，包含JNIEnv *――它是一个接口指针，用于定位函数表中的函数！ 在JNI规范中一般称 为 “Interface Pointer”。看到这儿好像和过程调用很类似了！是的，JNI中 的操作过程，就是面向过程的！后面的jobject是 一个指向该类的指针，类似与C语言中的this。这个 第二个参数是变化的，当该方法为类的实例方法时该参数为jobject；当该方法为类方法（即静态方法） 时该参数为jclass，指向该类的class。 根据不同方法前缀生成的头文件比较如下： 1、static与非static的比较： /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(DD)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__DD (JNIEnv*,<spanstyle="background-co lor:rgb(255,0,0);">jobject</span>,jdouble,jdouble); /* *Class:com_nedu_jni_helloword_HeaderFile *Method:doInt *Signature:(DDD)I */ JNIEXPORTjintJNICALLJava_com_nedu_jni_helloword_HeaderFile_doInt__DDD (JNIEnv*,<spanstyle="color:#000000;background-color:rgb(255,0,0);">jclass</span>,jdouble,jdouble,jdouble); 第一个是非static方法，第二个是static方法，不同点如上红色标记。其中的不同将在以后提到。 2、private、friendly、protected以及public这些方法限制符不会在JNI的头文件中出现。这些访问修饰符只有在其它类 使用这些方法时有效！JNI中不关心此修饰符！ /** *@author张兴业 *邮箱：xy-zhang@163.com *qq:363302850 */ 本文转自xyz_lmn51CTO博客，原文链接：http://blog.51cto.com/xyzlmn/817213 ，如需转载请自行联系原作者
2017-11-07
优秀的个人博客,低调大师

TensorFlow教程之新手入门 1.2下载及安装

本文档为TensorFlow参考文档，本转载已得到TensorFlow中文社区授权。 下载与安装 你可以使用我们提供的二进制包, 或者使用源代码, 安装 TensorFlow. 二进制安装 TensorFlow Python API 依赖 Python 2.7 版本. 在 Linux 和 Mac 下最简单的安装方式, 是使用pip安装. 如果在安装过程中遇到错误, 请查阅常见问题. 为了简化安装步骤, 建议使用 virtualenv, 教程见这里. Ubuntu/Linux # 仅使用 CPU 的版本 $ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl # 开启 GPU 支持的版本 (安装该版本的前提是已经安装了 CUDA sdk) $ pip install https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl Mac OS X 在 OS X 系统上, 我们推荐先安装homebrew, 然后执行brew install python, 以便能够使用 homebrew 中的 Python 安装 TensorFlow. 另外一种推荐的方式是在virtualenv中安装 TensorFlow. # 当前版本只支持 CPU $ pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl 基于 Docker 的安装 我们也支持通过Docker运行 TensorFlow. 该方式的优点是不用操心软件依赖问题. 首先,安装 Docker. 一旦 Docker 已经启动运行, 可以通过命令启动一个容器: $ docker run -it b.gcr.io/tensorflow/tensorflow 该命令将启动一个已经安装好 TensorFlow 及相关依赖的容器. 其它镜像 默认的 Docker 镜像只包含启动和运行 TensorFlow 所需依赖库的一个最小集. 我们额外提供了 下面的容器, 该容器同样可以通过上述docker run命令安装: b.gcr.io/tensorflow/tensorflow-full: 镜像中的 TensorFlow 是从源代码完整安装的, 包含了编译和运行 TensorFlow 所需的全部工具. 在该镜像上, 可以直接使用源代码进行实验, 而不需要再安装上述的任何依赖. 基于 VirtualEnv 的安装 我们推荐使用virtualenv创建一个隔离的容器, 来安装 TensorFlow. 这是可选的, 但是这样做能使排查安装问题变得更容易. 首先, 安装所有必备工具: # 在 Linux 上: $ sudo apt-get install python-pip python-dev python-virtualenv # 在 Mac 上: $ sudo easy_install pip # 如果还没有安装 pip $ sudo pip install --upgrade virtualenv 接下来, 建立一个全新的 virtualenv 环境. 为了将环境建在~/tensorflow目录下, 执行: $ virtualenv --system-site-packages ~/tensorflow $ cd ~/tensorflow 然后, 激活 virtualenv: $ source bin/activate # 如果使用 bash $ source bin/activate.csh # 如果使用 csh (tensorflow)$ # 终端提示符应该发生变化 在 virtualenv 内, 安装 TensorFlow: (tensorflow)$ pip install --upgrade <$url_to_binary.whl> 接下来, 使用类似命令运行 TensorFlow 程序: (tensorflow)$ cd tensorflow/models/image/mnist (tensorflow)$ python convolutional.py # 当使用完 TensorFlow (tensorflow)$ deactivate # 停用 virtualenv $ # 你的命令提示符会恢复原样 尝试你的第一个 TensorFlow 程序 (可选) 启用 GPU 支持 如果你使用 pip 二进制包安装了开启 GPU 支持的 TensorFlow, 你必须确保 系统里安装了正确的 CUDA sdk 和 CUDNN 版本. 请参间CUDA 安装教程 你还需要设置LD_LIBRARY_PATH和CUDA_HOME环境变量. 可以考虑将下面的命令 添加到~/.bash_profile文件中, 这样每次登陆后自动生效. 注意, 下面的命令 假定 CUDA 安装目录为/usr/local/cuda: export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64" export CUDA_HOME=/usr/local/cuda 运行 TensorFlow 打开一个 python 终端: $ python >>> import tensorflow as tf >>> hello = tf.constant('Hello, TensorFlow!') >>> sess = tf.Session() >>> print sess.run(hello) Hello, TensorFlow! >>> a = tf.constant(10) >>> b = tf.constant(32) >>> print sess.run(a+b) 42 >>> 从源码安装 克隆 TensorFlow 仓库 $ git clone --recurse-submodules https://github.com/tensorflow/tensorflow --recurse-submodules参数是必须得, 用于获取 TesorFlow 依赖的 protobuf 库. Linux 安装 安装 Bazel 首先依照教程安装 Bazel 的依赖. 然后使用下列命令下载和编译 Bazel 的源码: $ git clone https://github.com/bazelbuild/bazel.git $ cd bazel $ git checkout tags/0.1.0 $ ./compile.sh 上面命令中拉取的代码标签为0.1.0, 兼容 Tensorflow 目前版本. bazel 的HEAD版本 (即最新版本) 在这里可能不稳定. 将执行路径output/bazel添加到$PATH环境变量中. 安装其他依赖 $ sudo apt-get install python-numpy swig python-dev 可选: 安装 CUDA (在 Linux 上开启 GPU 支持) 为了编译并运行能够使用 GPU 的 TensorFlow, 需要先安装 NVIDIA 提供的 Cuda Toolkit 7.0 和 CUDNN 6.5 V2. TensorFlow 的 GPU 特性只支持 NVidia Compute Capability >= 3.5 的显卡. 被支持的显卡 包括但不限于: NVidia Titan NVidia Titan X NVidia K20 NVidia K40 下载并安装 Cuda Toolkit 7.0 下载地址 将工具安装到诸如/usr/local/cuda之类的路径. 下载并安装 CUDNN Toolkit 6.5 下载地址 解压并拷贝 CUDNN 文件到 Cuda Toolkit 7.0 安装路径下. 假设 Cuda Toolkit 7.0 安装 在/usr/local/cuda, 执行以下命令: tar xvzf cudnn-6.5-linux-x64-v2.tgz sudo cp cudnn-6.5-linux-x64-v2/cudnn.h /usr/local/cuda/include sudo cp cudnn-6.5-linux-x64-v2/libcudnn* /usr/local/cuda/lib64 配置 TensorFlow 的 Cuba 选项 从源码树的根路径执行: $ ./configure Do you wish to bulid TensorFlow with GPU support? [y/n] y GPU support will be enabled for TensorFlow Please specify the location where CUDA 7.0 toolkit is installed. Refer to README.md for more details. [default is: /usr/local/cuda]: /usr/local/cuda Please specify the location where CUDNN 6.5 V2 library is installed. Refer to README.md for more details. [default is: /usr/local/cuda]: /usr/local/cuda Setting up Cuda include Setting up Cuda lib64 Setting up Cuda bin Setting up Cuda nvvm Configuration finished 这些配置将建立到系统 Cuda 库的符号链接. 每当 Cuda 库的路径发生变更时, 必须重新执行上述 步骤, 否则无法调用 bazel 编译命令. 编译目标程序, 开启 GPU 支持 从源码树的根路径执行: $ bazel build -c opt --config=cuda //tensorflow/cc:tutorials_example_trainer $ bazel-bin/tensorflow/cc/tutorials_example_trainer --use_gpu # 大量的输出信息. 这个例子用 GPU 迭代计算一个 2x2 矩阵的主特征值 (major eigenvalue). # 最后几行输出和下面的信息类似. 000009/000005 lambda = 2.000000 x = [0.894427 -0.447214] y = [1.788854 -0.894427] 000006/000001 lambda = 2.000000 x = [0.894427 -0.447214] y = [1.788854 -0.894427] 000009/000009 lambda = 2.000000 x = [0.894427 -0.447214] y = [1.788854 -0.894427] 注意, GPU 支持需通过编译选项 "--config=cuda" 开启. 已知问题 尽管可以在同一个源码树下编译开启 Cuda 支持和禁用 Cuda 支持的版本, 我们还是推荐在 在切换这两种不同的编译配置时, 使用 "bazel clean" 清理环境. 在执行 bazel 编译前必须先运行 configure, 否则编译会失败并提示错误信息. 未来, 我们可能考虑将 configure 步骤包含在编译过程中, 以简化整个过程, 前提是 bazel 能够提供新的特性支持这样. Mac OS X 安装 Mac 和 Linux 需要的软件依赖完全一样, 但是安装过程区别很大. 以下链接用于帮助你 在 Mac OS X 上安装这些依赖: Bazel 参见本网页的 Mac OS X 安装指南. SWIG Mac OS X 安装教程. 注意: 你需要安装PCRE, 而不是PCRE2. Numpy 参见安装教程. 创建 pip 包并安装 $ bazel build -c opt //tensorflow/tools/pip_package:build_pip_package $ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg # .whl 文件的实际名字与你所使用的平台有关 $ pip install /tmp/tensorflow_pkg/tensorflow-0.5.0-cp27-none-linux_x86_64.whl 训练你的第一个 TensorFlow 神经网络模型 从源代码树的根路径执行: $ cd tensorflow/models/image/mnist $ python convolutional.py Succesfully downloaded train-images-idx3-ubyte.gz 9912422 bytes. Succesfully downloaded train-labels-idx1-ubyte.gz 28881 bytes. Succesfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes. Succesfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes. Extracting data/train-images-idx3-ubyte.gz Extracting data/train-labels-idx1-ubyte.gz Extracting data/t10k-images-idx3-ubyte.gz Extracting data/t10k-labels-idx1-ubyte.gz Initialized! Epoch 0.00 Minibatch loss: 12.054, learning rate: 0.010000 Minibatch error: 90.6% Validation error: 84.6% Epoch 0.12 Minibatch loss: 3.285, learning rate: 0.010000 Minibatch error: 6.2% Validation error: 7.0% ... ... 常见问题 GPU 相关问题 如果在尝试运行一个 TensorFlow 程序时出现以下错误: ImportError: libcudart.so.7.0: cannot open shared object file: No such file or directory 请确认你正确安装了 GPU 支持, 参见相关章节. 在 Linux 上 如果出现错误: ... "__add__", "__radd__", ^ SyntaxError: invalid syntax 解决方案: 确认正在使用的 Python 版本为 Python 2.7. 在 Mac OS X 上 如果出现错误: import six.moves.copyreg as copyreg ImportError: No module named copyreg 解决方案: TensorFlow 使用的 protobuf 依赖six-1.10.0. 但是, Apple 的默认 python 环境 已经安装了six-1.4.1, 该版本可能很难升级. 这里提供几种方法来解决该问题: 升级全系统的six: sudo easy_install -U six 通过 homebrew 安装一个隔离的 python 副本: brew install python 在virtualenv内编译或使用 TensorFlow. 如果出现错误: >>> import tensorflow as tf Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python2.7/site-packages/tensorflow/__init__.py", line 4, in <module> from tensorflow.python import * File "/usr/local/lib/python2.7/site-packages/tensorflow/python/__init__.py", line 13, in <module> from tensorflow.core.framework.graph_pb2 import * ... File "/usr/local/lib/python2.7/site-packages/tensorflow/core/framework/tensor_shape_pb2.py", line 22, in <module> serialized_pb=_b('\n,tensorflow/core/framework/tensor_shape.proto\x12\ntensorflow\"d\n\x10TensorShapeProto\x12-\n\x03\x64im\x18\x02 \x03(\x0b\x32 .tensorflow.TensorShapeProto.Dim\x1a!\n\x03\x44im\x12\x0c\n\x04size\x18\x01 \x01(\x03\x12\x0c\n\x04name\x18\x02 \x01(\tb\x06proto3') TypeError: __init__() got an unexpected keyword argument 'syntax' 这是由于安装了冲突的 protobuf 版本引起的, TensorFlow 需要的是 protobuf 3.0.0. 当前 最好的解决方案是确保没有安装旧版本的 protobuf, 可以使用以下命令重新安装 protobuf 来解决 冲突: brew reinstall --devel protobuf
2017-08-21
优秀的个人博客,低调大师

【从AlphaGo的恐怖进化谈起】附机器学习入门教程

1997年IBM超级电脑深蓝击败人类国际象棋冠军卡斯帕罗夫之后，围棋就被看作是人类智力的最后壁垒。 但是最近三年，这一壁垒不断被打破，2015年10月，欧洲围棋冠军樊麾二段0:5被AlphaGo横扫，2016年，韩国棋手李世石九段1:4不敌AlphaGo，今年5月，世界冠军柯洁再次以0:3败于升级版的AlphaGo。AlphaGo通过学习棋谱，以及不断与自己对弈，从而获得技能提升进化，这三次巅峰对弈，AlphaGo均以绝对优势获得胜利，而后者的AlphaGo均能让前者版本3个子，这也是AlphaGo恐怖的地方，也是背后人工智能技术的强大之处。 严谨来说，AlphaGo背后的人工智能技术是属于深度强化学习（同时结合了深度学习和强化学习），而这都属于机器学习的范畴（机器学习就是模仿人类学习的过程，通过经验来强化自己）。下面是人工智能、机器
2017-08-03
优秀的个人博客,低调大师

【阿里云大学课程】机器学习入门：概念原理及常用算法

AlaphaGo与围棋界的较量，吸引了全世界的目光，也让大家见识到了机器学习与人工智能技术的强大之处。你是不是也想学机器学习了？ 机器学习是人工智能的一个分支。人工智能的研究是从以“推理”为重点到以“知识”为重点，再到以“学习”为重点，一条自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。 在维基百科中，机器学习有下面几种定义： 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。 机器学习是对能通过经验自动改进的计算机算法的研究。机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。 机器学习算法可以分成下面几种类别： 监督学习：从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求
2017-08-03
优秀的个人博客,低调大师

NLP 从入门到实战，阿里 iDST 9 大名师即将开讲

在大数据计算和深度神经网络等技术的推动下，NLP 正在不断趋于成熟，并在人们的生产生活中发挥着越来越重要的作用：从搜索引擎、拼写检查、关键词提取，到文本分类、情感分析、机器翻译和对话机器人等，几乎随处都能看到 NLP，随时都能享受 NLP 带来的便捷。 但在诞生之初，NLP 的发展其实并不顺利。 业内普遍认可的 NLP 起源大约可以追溯到 1954 年。当时，IBM 和乔治城大学（Georgetown University）联合发起了一次著名试验：Georgetown–IBM Experiment，科学家们想通过计算机自动将 60 个俄语文本翻译成英语。当时一个普遍认知是：机器翻译只是简单的词汇列表遍历问题，在三到五年之内就能完美解决。于是各研发机构投入了大量的研发资源。 然而，事情的进展并不顺利。在此后长达 30 多年的时间里，NLP
2017-08-01
优秀的个人博客,低调大师

入门篇：函数计算中角色和访问策略的讲解

阿里云函数计算是近期推出的一个无服务器的全托管的产品，使用者只需编写核心代码并设置运行的条件，即可在函数计算以弹性、安全地运行。函数计算能自行维护服务器资源，网络资源，以及消息分发和负载均衡等功能。 因为使用者需要把代码部署在函数计算上运行，能调用函数的方式有很多，可以通过APIGateway、Fcli、控制台以及OSS等各种事件源来触发函数执行，与此同时，函数计算作为执行单元需要授权交叉访问其他产品，众多的调用和模糊的安全界定，让大家在使用函数计算对角色的授权会感到困惑，其实简单来说，就是函数计算能在什么情况下访问哪些资源或者操作，以及那些来源能Invoke函数计算的执行，简单按照使用方向来分如下两层角色授权： 1、函数计算可以被授权访问其他产品的操作权限？ 2、那些事件源可以被授权来Invoke函数计算的执行？ 这个是两个层面的授权，
2017-07-30

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-08-21 大小: 189MB 下载: 7次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册