首页 文章 精选 留言 我的

精选列表

搜索[字节级],共10000篇文章
优秀的个人博客,低调大师

ambari2.0.0升级到2.4.1

0、升级mysql到5.6 1、停止服务。 停止ambari-server、所有ambari-agent ambari-server stop ambari-agent stop 2、备份ambari 数据库。 mkdir -p /root/tmp/ambariUpgrate mysqlhotcopy --user=ambari --password=gotop123 ambari /root/tmp/ambariUpgrate 3、备份配置文件。 cp /etc/ambari-server/conf/ambari.properties /root/tmp/ambariUpgrate 4、备份并解压安装包 tar -zxf ambari-2.4.1.0-centos6.tar.gz 5、更新ambari.repo 备份旧的ambari.repo 将新的ambari.repo文件添加到/etc/yum.repos.d/目录下,所有机器都添加 yum clean all yum info ambari-server 确认新的配置生效 6、停止Ambari-Metrics 7、更新ambari-server yum -y upgrade ambari-server 8、所有机器更新agent yum -y upgrade ambari-agent 检查是否安装 rpm -qa | grep ambari-agent 9、设置mysql驱动 拷贝mysql-connector-java-5.1.37.jar到/usr/lib/ambari-server/目录下 cp /usr/share/java/mysql-connector-java-5.1.37.jar /usr/lib/ambari-server/ 10、更新数据库 ambari-server upgrade 11、修改表的存储引擎 SELECT CONCAT('ALTER TABLE ',table_name,' ENGINE=InnoDB;') FROM information_schema.tables WHERE table_schema='ambari' AND ENGINE='MyISAM'; 12、启动server ambari-server start 13、启动所有agent(我的机器自动启动) ambari-agent start 14、若安装了hive则执行 设置hive存在的mysql库 jdbc:mysql://wp/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8 ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.37.jar 15、更新ambari-Metrics 确保服务停止 在所有机器上执行 yum clean all yum -y upgrade ambari-metrics-monitor ambari-metrics-hadoop-sink 在安装了collector的主机上执行 yum -y upgrade ambari-metrics-collector 16、在metrics-collector主机上安装Grafana curl -u admin:admin -H "X-Requested-By:ambari" -i -X POST http://192.168.137.123:8080/api/v1/clusters/gotop/services/AMBARI_METRICS/components/METRICS_GRAFANA curl -u admin:admin -H "X-Requested-By:ambari" -i -X POST -d '{"host_components":[{"HostRoles":{"component_name":"METRICS_GRAFANA"}}]}' http://192.168.137.123:8080/api/v1/clusters/gotop/hosts?Hosts/host_name=wp43 备注:host_name=必须是主机名称不能是ip地址 17、再次在ambari上的主机页面组件上re-install一下Grafana Hosts > host.name > Re-install 18、配置Grafana密码 Services > Ambari Metrics > Configs 配置密码 vi /var/lib/ambari-agent/cache/common-services/HIVE/0.12.0.2.0/package/scripts/hive_metastore.py import sys reload(sys) sys.setdefaultencoding('utf-8') 本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1878829,如需转载请自行联系原作者

优秀的个人博客,低调大师

百亿级全网舆情分析系统存储设计

前言 在时下互联网信息的浪潮下,信息的传播速度远超我们的想象。微博里一条大V的帖子,朋友圈的一个状态更新,热门论坛的一条新闻,购物平台的购物评价,可能会产生数以万计的转发,关注,点赞。如果是一些非理性负面的评论会激发人们的负面感,甚至影响到消费者对企业品牌的认同,如果不能及时的采取正确的应对措施,会造成难以估计的损失。所以我们需要一个高效的全网舆情分析系统,帮助我们实时的观测舆情。 这个全网舆情分析系统,可以实现百亿条网页数据的存储、实时新增网页的抓取和存储并能对新增网页做实时的元数据提取。有了提取结果,我们还需要进行进一步的挖掘分析,这些分析包括但不限于 舆情的影响力诊断,从传播量级和扩散趋势来做预测,确定是否最终形成舆情。 传播路径分析,分析舆情传播的关键路径。 用户画像,对舆情的参与者提供共性特征勾勒,如性别,年龄,地域和感兴趣话题。

优秀的个人博客,低调大师

基于微服务API级权限的技术架构

一般而言,企业内部一套成熟的权限系统,都是基于角色(Role)的 访问控制方法(RBAC – Role Based Access Control),即权限 (Permission)与角色相关联,用户(User)通过成为适当角色的成员而得到这 些角色的权限,权限包含资源(或者与操作组合方式相结合),最终实现权限控制 的目的。 背景 权限系统是根据系统设置的安全规则或者安全策略,用户可以访问而且只能访问自己被授权的资源。 一般而言,企业内部一套成熟的权限系统,都是基于角色(Role)的访问控制方法(RBAC – Role Based Access Control),即权限(Permission)与角色相关联,用户(User)通过成为适当角色的成员而得到这些角色的权限,权限包含资源(或者与操作组合方式相结合),最终实现权限控制的目的。 一言以蔽之,基于角色的访问控制方法的访问逻辑表达式为“Who对What(Which)进行How的操作”,它的由内到外的逻辑结构为权限->角色->用户,即一个角色对应绑定多个权限,一个用户对应绑定多个角色,这也是秦苍基础架构部对于公共权限服务实现的基本指导思想。 权限服务与基础架构部其他公共服务的关系图 一.API权限定义、入库和拦截 对于API权限,我们实行基于注解(Annotation)的扫描入库和拦截,不需要业务服务自行在界面上录入 1、权限定义 API权限以每个接口或者实现类中的方法作为权限资源,每个权限和微服务名(Service Name)挂钩。 我们通过在业务服务的API上添加注解的方式,进行权限定义。基础架构部会提供一个权限组件(Permission Component)Jar给业务服务部门,里面包含了自定义的注解,这样的实现方式,对业务服务的影响非常小,增加权限机制只是在代码层面加几个注解而已。具体使用方式如下 对于一个普通的接口类,我们可以这样定义: 1 2 3 4 5 6 7 8 @Group(name = "User Permission Group", label = "用户权限组", description = "用户权限组") public interface UserService { @Permission(name = "Add User", label = "添加用户") boolean addUser(@UserId String userId, User user); @Permission(name = "Delete User", label = "删除用户", description = "删除用户") boolean deleteUser(@UserId String userId, User user); } 对于通过Swagger方式暴露出去的API,我们可以这样定义: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 @Path("/user") @Consumes(MediaType.APPLICATION_JSON) @Produces(MediaType.APPLICATION_JSON) @Api(value = "User resource operations") @Group(name = "User Permission Group", label = "用户权限组", description = "用户权限组") public interface UserService { @GET @Path("/addUser/{userId}") @Permission(name = "Add User", label = "添加用户") boolean addUser(@PathParam("userId") @UserId String userId, User user); @POST @Path("/deleteUser/{userId}") @Permission(name = "Delete User", label = "删除用户", description = "删除用户") boolean deleteUser(@PathParam("userId") @UserId String userId, User user); } 在上述简短的代码中,我们可以发现有三个自定义的注解,@Group、@Permission和@UserId。 @Permission,即为每个API(接口方法)定义一个权限,要求有name(英文格式),label(中文格式)和description(权限描述) @Group,即定义的权限归属哪个权限组,考虑到一个接口中包含很多个API,接口数目又比较多,那么我们可以为每个接口下的所有方法归为一个组。业务服务可自行定义权限组,也可以选择不定义,那么会归属到默认预定义的权限组中 l@UserId,即业务服务需要在他们的API上加入用户ID的参数,当AOP切面拦截做权限验证时候,用户ID是需要传入的必要参数 2、权限入库和拦截 当API权限定义好以后,我们在权限组件里面加入扫描权限入库和拦截的算法。采用Spring AutoProxy自动代理的框架来实现我们的扫描算法。 2.1 创建PermissionInterceptor.java继承org.aopalliance.intercept.MethodInterceptor,步骤如下 实现Object invoke(MethodInvocation invocation)方法,获取注解值 根据不同注解进行不同的切面拦截,实现对@Group,@Permission和@UserId三个注解的权限拦截逻辑 2.2 创建PermissionAutoProxy.java继承Spring的org.springframework.aop.framework.autoproxy.AbstractAutoProxyCreator类,步骤如下 在构造方法里设置好Interceptor通用代理器(即实现了MethodInterceptor接口的拦截类PermissionInterceptor.java) shouldProxyTargetClass用来决定是接口代理,还是类代理。在权限定义的时候,其实我们还支持把注解加在实现类上,而不仅仅在接口上,这样灵活运用注解放置的方式- getAdvicesAndAdvisorsForBean是最核心的方法,用来决定哪个类、哪个方法上的注解要被扫描入库,也决定哪个类、哪个方法要被代理。如果我们做的更加通用一点,那么可以抽象出三个方法,供getAdvicesAndAdvisorsForBean调用 1 2 3 4 5 6 7 8 // 返回拦截类,拦截类必须实现MethodInterceptor接口,即PermissionInterceptor protected abstract Class<? extends MethodInterceptor> getInterceptorClass(); // 返回接口或者类的方法名上的注解,如果接口或者类中方法名上存在该注解,即认为该接口或者类需要被代理 protected abstract Class<? extends Annotation> getMethodAnnotationClass(); // 扫描到接口或者类的方法名上的注解后,所要做的处理 protected abstract void methodAnnotationScanned(Class<?> targetClass); 2.3 创建PermissionScanListener.java实现Spring的org.springframework.context.ApplicationListener.ApplicationListener接口,步骤如下 在onApplicationEvent(ContextRefreshedEvent event)方法里实现入库代码 在微服务的Spring容器启动的时候,将自动触发权限数据入库的事件 通过上述阐述,我们就实现了权限的扫描入库和拦截 二、API权限所对应的角色(Role)管理 角色是一组API权限的汇总,每个角色也将和微服务名挂钩。角色组的作用是为了汇总和管理众多的角色 角色管理需要人工在界面上进行操作,角色管理分为角色组增删改查,以及每个角色组下的角色增删改查 三、 API权限所属的角色和用户(User)的绑定 权限不能直接和用户绑定,必须通过角色作为中间桥梁进行关联。那么我们要实现 角色与权限的绑定,即一个角色和多个权限的关联 用户与角色的绑定,即一个用户和多个角色的关联 角色和权限的绑定页面 用户和角色的绑定页面 </center 四、权限系统验证方式 1、API接入的验证方式 通过远程RPC方式的调用 1.1 扫描接入Permission组件的API Resource 1 2 3 4 5 6 7 @Configuration @ComponentScan(basePackages = { "com.omniprimeinc.service.myservice " }) @Import({ com.omniprimeinc.commonservice.permission.api.config.Config.class, com.omniprimeinc.commonservice.permission.annotations.config.Config.class }) public class Config { } 1.2 通过API Resource去调用RPC接口获取验证结果 1 2 3 4 5 6 7 8 9 @Path("/authorization") @Consumes(MediaType.APPLICATION_JSON) @Produces(MediaType.APPLICATION_JSON) @Api(value = "Authorization resource operations") public interface AuthorizationResource { @GET @Path("/authorize/{userId}/{permissionName}/{serviceName}") Boolean authorize(@PathParam("userId") String userId, @PathParam("permissionName") String permissionName, @PathParam("serviceName") String serviceName); } 2、Rest调用的验证方式 http://host:port/authorization/authorize/{userId}/{permissionName}/{serviceName} 通过User ID、Permission Name(权限名,映射于对应的方法名)、Service Name(应用名)来判断是否被授权,返回结果是true或者false 五、权限服务和用户服务的整合 用户服务即整合了Ldap系统的用户和桥接业务用户系统 权限服务接入用户服务后,可以在权限授权页面上选取相应的用户进行权限授权 六、权限服务的安全控制 未来规划,服务之间的调用增加如下机制 黑/白IP名单机制。当A服务调用B服务的时候,B服务会实现维护一个黑/白IP列表,表示B服务只允许在某个IP网段的A服务才能有权限调用B服务 服务间约定的SecretKey。当A服务调用B服务的时候,两个服务之间实现实现约定API访问密钥,此密钥不能轻易泄密。这样就规避了B服务被模拟Rest请求调用(例如通过PostMan调用) 服务的API签名。当A服务调用B服务的时候,A服务需要获得正确的B服务API的签名,才有权限去调用 http://blog.springcloud.cn/sc/mfw-jq/

优秀的个人博客,低调大师

Hadoop设置任务执行队列及优先级

Hive设置方法: SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH; set tez.queue.name=cmbi; ---- 设置引擎 sethive.execution.engine=mr; sethive.execution.engine=spark; sethive.execution.engine=tez; ---- Pig设置方法: SET mapreduce.job.queuename root.up; SET mapreduce.job.priority HIGH; MapReduce设置方法: Hadoopjar app.jar -D mapreduce.job.queuename=root.up -D mapreduce.job.priority=HIGH 本文转自茄子_2008博客园博客,原文链接:http://www.cnblogs.com/xd502djj/p/6958946.html,如需转载请自行联系原作者。

优秀的个人博客,低调大师

《企业级ios应用开发实战》一导读

前 言 为什么写这本书随着我国3G网络和移动互联网的兴起,许多传统的企业应用正在从桌面向移动终端扩展,移动办公、移动营销、移动作业等需求日渐强烈。有迹象表明,传统的互联网正在向移动互联网发展。根据摩根士丹利发布的全球互联网发展趋势报告(Mary Meeker 2010)显示:全球互联网发展趋势正在由PC-Internet向Mobile-Internet转变,手机在某种意义上已经主导着互联网的发展,新兴的下一代互联网,即Mobile 2.0正在崛起,这完全得益于移动通信技术的迅猛发展。这不仅仅是一场由最新数码科技与网络技术导致的变革,还是传统企业应用从Internet向移动互联网转移的前提和诱因。与PC相比,移动终端的这种全新用户体验是不可替代的,在一定程度上吸引了人们从桌面向移动终端的转移。而且,移动互联网也凭借着其出色的业务

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册