首页 文章 精选 留言 我的

精选列表

搜索[学习]，共10000篇文章
优秀的个人博客,低调大师

机器学习预测农民是否可以得到贷款

通过最佳实践帮助您实现上述案例效果 Step1：数据导入MaxCompute 1.1 创建需要上传的本地数据 贷款预测表：(今年申请贷款者) 字段名 含义 类型 描述 id 数据唯一标识符 string 人 name 用户名 string 人 region 用户所属地区 string 从北到南排列 farmsize 拥有土地大小 double 土地面积 rainfall 降雨量 double 降雨量 landquality 土地质量 double 土地质量数值越大越好 farmincome 收入 double 年收入 maincrop 种植作物
2017-02-07
优秀的个人博客,低调大师

Hbase 学习（六） 配置文件调优

这部分的内容，网上多了去了，都大同小异的，仅作为备忘录，省得需要的时候又要到处查。 1.zookeeper.session.timeout 默认3分钟，zookeeper和hbase通信的超时时间，设置为1分钟或者更少。 2.hbase.regionserver.handler.count 默认为10，很明显不够，在读多，写少的情况下设置为用户的最大数比较安全，但是在写操作比较多的情况下，可能会发生OutOfMemoryError的错误。 3.perf.hfile.block.cache.size 默认是0.2，内存大的可以建议增加。 4.hbase.hregion.memstore.block.multiplier 默认是2，建议增加，is a safety latch that blocks any further updates from clients when the memstores exceed the multiplier* flush size limit.。 5.hbase.regionserver.maxlogs 默认是32，建议减少，这样就会强制region server提高把数据写入硬盘的频率，随后日志就会被删除了。 6.hbase.regionserver.global.memstore.upperLimit /hbase.regionserver.global.memstore.lowerLimit 这两个参数的默认值分别是0.4/0.35,它们是和hbase.hstore.blockingStoreFiles（默认7）相关联的，怎么调整需要看具体情况，书上没说，这点比较恶心。
2016-09-07
优秀的个人博客,低调大师

Hbase 学习(一) hbase配置文件同步

最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。 HDFS和Hbase配置同步 hbase的配置中有一些和hdfs关联的配置，当hdfs中修改了，但是hbase中修改了，hbase中是不会知道的，比如dfs.replication，有时候我们想增加备份的数量，在hdfs中设置为5了，但是hbase中默认为3，这样hbase还是只保存3份。 那么有什么方法可以使他们的配置文件同步，有三种方法： （1）在hbase-env.sh的HBASE_CLASSPATH环境变量增加HADOOP_CONF_DIR。 （2）在${HBASE_HOME}/conf下放一份hadoop的配置文件hdfs-site.xml (or hadoop-site.xml)。 （3）直接在hbase-site.xml中添加。 从上述三种方法当中，目测是第一种方法比较靠谱，当然要同步配置文件还有别的方法，后续再进行介绍。 Hbase配置文件同步的脚本 以下这两个脚本都可以实现集群的hbase配置文件同步，第二个还带有删除之前配置文件的方法，用的时候注意一些。 #!/bin/bash # Rsyncs HBase files across all slaves. Must run on master. Assumes # all files are located in /usr/local if [ "$#" != "2" ]; then echo "usage: $(basename $0) <dir-name> <ln-name>" echo " example: $(basename $0) hbase-0.1 hbase" exit 1 fi SRC_PATH="/usr/local/$1/conf/regionservers" for srv in $(cat $SRC_PATH); do echo "Sending command to $srv..."; rsync -vaz --exclude='logs/*' /usr/local/$1 $srv:/usr/local/ ssh $srv "rm -fR /usr/local/$2 ; ln -s /usr/local/$1 /usr/local/$2" done echo "done."另一个脚本，同样的功能，这个更简单些 #!/bin/bash # Rsync's HBase config files across all region servers. Must run on master. for srv in $(cat /usr/local/hbase/conf/regionservers); do echo "Sending command to $srv..."; rsync -vaz --delete --exclude='logs/*' /usr/local/hadoop/ $srv:/usr/local/hadoop/ rsync -vaz --delete --exclude='logs/*' /usr/local/hbase/ $srv:/usr/local/hbase/ done echo "done."
2016-09-07
优秀的个人博客,低调大师

docker学习(3) 容器的启动过程

这一节我们来稍微了解下docker原理性的东西 docker run -i -t ubuntu /bin/bash 输入上面这行命令，启动一个ubuntu容器时，到底发生了什么？ 大致过程可以用下图描述： 首先系统要有一个docker daemon的后台进程在运行，当刚才这行命令敲下时， 1. docker client(即：docker终端命令行)会调用docker daemon请求启动一个容器， 2. docker daemon会向host os(即：linux)请求创建容器 3. linux会创建一个空的容器（可以简单理解为：一个未安装操作系统的裸机，只有虚拟出来的CPU、内存等硬件资源） 4. docker daemon请检查本机是否存在docker镜像文件（可以简单理解为操作系统安装光盘），如果有，则加载到容器中（即：光盘插入裸机，准备安装操作系统） 5. 将镜像文件加载到容器中（即：裸机上安装好了操作系统，不再是裸机状态） 最后，我们就得到了一个ubuntu的虚拟机，然后就可以进行各种操作了。 如果在第4步检查本机镜像文件时，发现文件不存在，则会到默认的docker镜像注册机构（即：docker hub网站）去联网下载，下载回来后，再进行装载到容器的动作，即下图所示 另外官网有一张图也很形象的描述了这个过程： 参考文章： https://www.gitbook.com/book/joshhu/docker_theory_install/details https://docs.docker.com/engine/introduction/understanding-docker/
2016-01-25

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-04-12 大小: 1.42GB 下载: 4次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册