首页 文章 精选 留言 我的

精选列表

搜索[本地推理],共10000篇文章
优秀的个人博客,低调大师

foreman架构的引入10-hostgroup如何转换为本地的fact

零基础学习Puppet自动化配置管理系列文档 在Foreman上可以根据业务逻辑设置多个主机组(Host Groups),并且可以将不同的节点加入到不同的主机组,这样在每次操作“puppet run”的时候,只需要在搜索按钮里搜索对应的主机组即可找到里面包含的所有节点,如下图所示 Foreman安装 但是,foreman目前在puppet run上对mcollective的集成度很低,基本就是只能运行一条命令。那么如果要在shell终端上通过mco命令去对这些自定义的Host Groups进行操作应该如何做呢。答案是转换为facter。 自定义facter有四种方式,如下:http://kisspuppet.com/2014/03/30/puppet_learning_base10/ 这里介绍第三种方式将Foreman上设置的主机组(Host Groups)转换为每个节点自己的facter 1、首先创建主机组 Foreman安装 2、查看节点的主机组信息 其实相当于自定义了一个外部变量,变量名叫hostgroup,值为节点加入的组名称 Foreman安装 Foreman安装 3、编写一个fact模块 模块的功能就是将Foreman上的变量“hostgroup”落地到每个节点的/etc/facter/facts.d/${hostname}.txt文件中,内容为fact的标准格式。 #模块结构 [root@puppetmaster162modules]#treefact fact ├──files ├──manifests │├──config.pp │├──fact.pp │├──init.pp │└──params.pp └──templates └──hostgroup.erb 3directories,5files #模块主配置文件init.pp [root@puppetmaster162modules]#catfact/manifests/init.pp classfact{ tag("puppet_env") requirefact::params $hostgroup_erb=$fact::params::hostgroup_erb includefact::config includefact::facter } #创建目录以及文件 [root@puppetmaster162modules]#catfact/manifests/config.pp classfact::config{ file{'/etc/facter': ensure=>directory, owner=>'root', group=>'root', mode=>'0644', } file{'/etc/facter/facts.d': ensure=>directory, owner=>'root', group=>'root', mode=>'0644', require=>File['/etc/facter'] } file{"/etc/facter/facts.d/$hostname.txt": owner=>"root", group=>"root", mode=>0400, content=>template($fact::hostgroup_erb), require=>File['/etc/facter/facts.d'], } } #定义变量 [root@puppetmaster162modules]#catfact/manifests/params.pp classfact::params{ $hostgroup_erb='fact/hostgroup.erb' } #定义fact模板(原因可参考http://kisspuppet.com/2013/11/10/mcollective-middleware/) [root@puppetmaster162manifests]#catfact.pp classfact::facter{ file{"/etc/mcollective/facts.yaml": owner=>root, group=>root, mode=>0440, loglevel=>debug,#reducenoiseinPuppetreports content=>inline_template('<%=scope.to_hash.reject{|k,v|k.to_s=~/(uptime.*|path|timestamp|free|.*password.*|.*psk.*|.*key)/}.to_yaml%>'), } } #设置文件模板 [root@puppetmaster162modules]#catfact/templates/hostgroup.erb hostgroup=<%=@hostgroup%> foreman_env=<%=@foreman_env%> 4、Foreman上管理主机组和模块fact 先导入类,然后在主机组里进行关联即可,由于fact模块是针对所有主机的,建议关联到1级主机组,加入的节点会自动继承。关联完成后的效果如下 Foreman安装 Foreman安装 5、在Foreman上对两个节点执行“puppet run”操作 Foreman安装 6、查看facter信息是否生成 [root@foreman163~]#facterhostgroup prd [root@puppetmaster162~]#facterhostgroup prd/kisspuppet 7、通过mco命令结合fact进行过滤查看 [root@puppetmaster162~]#mcoping-Fhostgroup=prd foreman163.kisspuppet.comtime=98.55ms ----pingstatistics---- 1repliesmax:98.55min:98.55avg:98.55 [root@puppetmaster162~]#mcoping-Fhostgroup=prd/kisspuppet puppetmaster162.kisspuppet.comtime=94.14ms ----pingstatistics---- 1repliesmax:94.14min:94.14avg:94.14 [root@puppetmaster162~]#mcopuppet-vrunonce-Fhostgroup=prd/kisspuppet Discoveringhostsusingthemcmethodfor2second(s)....1 *[============================================================>]1/1 puppetmaster162.kisspuppet.com:OK {:summary=>"StartedaPuppetrunusingthe'puppetagent--test--color=false--splay--splaylimit30'command"} ----rpcstats---- Nodes:1/1 Pass/Fail:1/0 StartTime:ThuDec1815:13:09+08002014 DiscoveryTime:2004.07ms AgentTime:85.19ms TotalTime:2089.26ms 注:以上方式只是提供了一种思路,更多的方式还需要根据具体的实际环境而改变,总之一点,fact很强大,看你怎么用。 本文转自凌激冰51CTO博客,原文链接:http://blog.51cto.com/dreamfire/1591390,如需转载请自行联系原作者

优秀的个人博客,低调大师

YARN加载本地库Unable to load native-hadoop library解决办法

用官方的构建好的Hadoop 2.4.0(133MB)安装后,每次输入hadoop命令进去都会得到这样一个Warning,如图: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 网上搜罗了一些资料,下面是解决办法: 设置logger级别,看下具体原因: ? 1 export HADOOP_ROOT_LOGGER=DEBUG,console 再次随便运行一个hadoop相关的命令,将看到下面的错误: wrong ELFCLASS32?,难道是加载的so文件系统版本不对? 于是执行命令 ? 1 2 cd $HADOOP_HOME /lib/native file libhadoop.so.1.0.0 结果是这样的: 果然是80386,是32位的系统版本,而我的hadoop环境是64位OS 原来直接从apache镜像中下载的编译好的Hadoop版本native library都是32版本的,如果要支持64位版本,必须自己重新编译,这就有点坑爹了,要知道几乎所有的生产环境都是64位的OS Hadoop官方对于native library的一段话验证了这一点(详见:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html#Download): “The pre-built 32-bit i386-Linux native hadoop library is available as part of the hadoop distribution and is located in the lib/native directory” 于是重新checkout source code: ? 1 svncheckouthttp: //svn .apache.org /repos/asf/hadoop/common/tags/release-2 .4.0/ 加上编译native的选项,编译时会根据当前的操作系统架构来生产相应的native库(详见:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html#Build): ? 1 mvnpackage-Pdist,native-DskipTests-Dtar 待编译完成后,到release-2.4.0/hadoop-dist/target/hadoop-2.4.0/lib/native目录下找到这个libhadoop.so.1.0.0文件,再次查看其file type: ? 1 file libhadoop.so.1.0.0 结果是这样的: 用这个文件替换掉$HADOOP_HOME/lib/native/libhadoop.so.1.0.0,之后再次随便运行一个Hadoop相关命令: ? 1 2 unset HADOOP_ROOT_LOGGER hadoopfs- ls / 再看输出: WARN消失,问题解决。

优秀的个人博客,低调大师

Mistral融资30亿欧元,估值210亿:大模型战争开始争夺推理入口

一家成立只有三年的欧洲AI公司,刚刚完成了欧洲科技行业规模最大的一轮股权融资。 9月8日,Mistral AI宣布完成30亿欧元D轮融资,投后估值超过210亿欧元。本轮融资由三星电子领投,Scaleup Europe Fund和PSG Equity共同参与领投。 如果只把它理解成“大模型公司又融了一笔钱”,可能会错过这条新闻真正重要的部分。

优秀的个人博客,低调大师

LLaMA架构深度解析:从开源大模型设计到高效推理的工程实现全流程

2023年Meta发布LLaMA系列模型,标志着开源大模型时代的到来。LLaMA-1证明了使用公开数据训练可以接近GPT-3级别的性能;LLaMA-2引入了GQA和更长的上下文;LLaMA-3在15T token上训练,性能全面超越GPT-3.5。LLaMA的架构设计影响了几乎所有后续开源模型——Alpaca、Vicuna、CodeLlama等都是基于LLaMA微调的。LLaMA的工程价值在于其简洁高效的架构:Decoder-Only、RoPE、RMSNorm、SwiGLU、GQA的组合成为现代大模型的事实标准。本文将深入解析LLaMA的架构设计并提供完整实现。

优秀的个人博客,低调大师

Vera1.1 推理压测:不同画布尺寸下吞吐量、显存、延迟基准测试

AI 视频生产规模化落地的核心前提,是可量化的性能基准与可预期的算力成本。当前很多团队部署 Vera1.1 时,普遍依赖经验估算硬件需求,要么显存预留不足导致大画幅任务频繁 OOM,要么算力资源闲置造成成本浪费;尤其无限画布场景下,不同尺寸、分块策略的性能差异极大,缺乏统一基准数据支撑决策。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册