首页 文章 精选 留言 我的

精选列表

搜索[学习],共10000篇文章
优秀的个人博客,低调大师

利用机器学习技术进行图像识别

图像识别技术可以用来解决人脸识别或字符识别等多种问题。 在本文中,我将对算法进行实际编码来演示识别手写字,特别是手写的数字。我将会使用Python以及Python的许多模块,比如numpy、PIL等。 1 #从PIL库中导入Image 2 from PIL import Image 3 #导入numpy 4 import numpy as np 5 #从文件中载入图像 6 i = Image.open('images/dot.png') 7 #将图像转换成矩阵形式 8 iar = np.asarray(i) 9 #打印矩阵 10 print (iar) 代码中提到的图像“dot.png”基本如下: 下面给你看看图像的矩阵形式,这里只是矩阵的部分截图。 你会注意到一个由8个矩阵块组成的集合。每个矩阵块表示一个“水平行的像素”,如果仔细观察,你会发现图像有8个像

优秀的个人博客,低调大师

机器学习预测农民是否可以得到贷款

通过最佳实践帮助您实现上述案例效果 Step1:数据导入MaxCompute 1.1 创建需要上传的本地数据 贷款预测表:(今年申请贷款者) 字段名 含义 类型 描述 id 数据唯一标识符 string 人 name 用户名 string 人 region 用户所属地区 string 从北到南排列 farmsize 拥有土地大小 double 土地面积 rainfall 降雨量 double 降雨量 landquality 土地质量 double 土地质量数值越大越好 farmincome 收入 double 年收入 maincrop 种植作物

优秀的个人博客,低调大师

Hbase 学习(一) hbase配置文件同步

最近在狂啃hadoop的书籍,这部《hbase:权威指南》就进入我的视野里面了,啃吧,因为是英文的书籍,有些个人理解不对的地方,欢迎各位拍砖。 HDFS和Hbase配置同步 hbase的配置中有一些和hdfs关联的配置,当hdfs中修改了,但是hbase中修改了,hbase中是不会知道的,比如dfs.replication,有时候我们想增加备份的数量,在hdfs中设置为5了,但是hbase中默认为3,这样hbase还是只保存3份。 那么有什么方法可以使他们的配置文件同步,有三种方法: (1)在hbase-env.sh的HBASE_CLASSPATH环境变量增加HADOOP_CONF_DIR。 (2)在${HBASE_HOME}/conf下放一份hadoop的配置文件hdfs-site.xml (or hadoop-site.xml)。 (3)直接在hbase-site.xml中添加。 从上述三种方法当中,目测是第一种方法比较靠谱,当然要同步配置文件还有别的方法,后续再进行介绍。 Hbase配置文件同步的脚本 以下这两个脚本都可以实现集群的hbase配置文件同步,第二个还带有删除之前配置文件的方法,用的时候注意一些。 #!/bin/bash # Rsyncs HBase files across all slaves. Must run on master. Assumes # all files are located in /usr/local if [ "$#" != "2" ]; then echo "usage: $(basename $0) <dir-name> <ln-name>" echo " example: $(basename $0) hbase-0.1 hbase" exit 1 fi SRC_PATH="/usr/local/$1/conf/regionservers" for srv in $(cat $SRC_PATH); do echo "Sending command to $srv..."; rsync -vaz --exclude='logs/*' /usr/local/$1 $srv:/usr/local/ ssh $srv "rm -fR /usr/local/$2 ; ln -s /usr/local/$1 /usr/local/$2" done echo "done."另一个脚本,同样的功能,这个更简单些 #!/bin/bash # Rsync's HBase config files across all region servers. Must run on master. for srv in $(cat /usr/local/hbase/conf/regionservers); do echo "Sending command to $srv..."; rsync -vaz --delete --exclude='logs/*' /usr/local/hadoop/ $srv:/usr/local/hadoop/ rsync -vaz --delete --exclude='logs/*' /usr/local/hbase/ $srv:/usr/local/hbase/ done echo "done."

优秀的个人博客,低调大师

Hbase 学习(六) 配置文件调优

这部分的内容,网上多了去了,都大同小异的,仅作为备忘录,省得需要的时候又要到处查。 1.zookeeper.session.timeout 默认3分钟,zookeeper和hbase通信的超时时间,设置为1分钟或者更少。 2.hbase.regionserver.handler.count 默认为10,很明显不够,在读多,写少的情况下设置为用户的最大数比较安全,但是在写操作比较多的情况下,可能会发生OutOfMemoryError的错误。 3.perf.hfile.block.cache.size 默认是0.2,内存大的可以建议增加。 4.hbase.hregion.memstore.block.multiplier 默认是2,建议增加,is a safety latch that blocks any further updates from clients when the memstores exceed the multiplier* flush size limit.。 5.hbase.regionserver.maxlogs 默认是32,建议减少,这样就会强制region server提高把数据写入硬盘的频率,随后日志就会被删除了。 6.hbase.regionserver.global.memstore.upperLimit /hbase.regionserver.global.memstore.lowerLimit 这两个参数的默认值分别是0.4/0.35,它们是和hbase.hstore.blockingStoreFiles(默认7)相关联的,怎么调整需要看具体情况,书上没说,这点比较恶心。

优秀的个人博客,低调大师

docker学习(3) 容器的启动过程

这一节我们来稍微了解下docker原理性的东西 docker run -i -t ubuntu /bin/bash 输入上面这行命令,启动一个ubuntu容器时,到底发生了什么? 大致过程可以用下图描述: 首先系统要有一个docker daemon的后台进程在运行,当刚才这行命令敲下时, 1. docker client(即:docker终端命令行)会调用docker daemon请求启动一个容器, 2. docker daemon会向host os(即:linux)请求创建容器 3. linux会创建一个空的容器(可以简单理解为:一个未安装操作系统的裸机,只有虚拟出来的CPU、内存等硬件资源) 4. docker daemon请检查本机是否存在docker镜像文件(可以简单理解为操作系统安装光盘),如果有,则加载到容器中(即:光盘插入裸机,准备安装操作系统) 5. 将镜像文件加载到容器中(即:裸机上安装好了操作系统,不再是裸机状态) 最后,我们就得到了一个ubuntu的虚拟机,然后就可以进行各种操作了。 如果在第4步检查本机镜像文件时,发现文件不存在,则会到默认的docker镜像注册机构(即:docker hub网站)去联网下载,下载回来后,再进行装载到容器的动作,即下图所示 另外官网有一张图也很形象的描述了这个过程: 参考文章: https://www.gitbook.com/book/joshhu/docker_theory_install/details https://docs.docker.com/engine/introduction/understanding-docker/

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册