首页 文章 精选 留言 我的

精选列表

搜索[学习]，共10000篇文章
优秀的个人博客,低调大师

Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）

HDFS升级和回滚机制 作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现。在任何有实际意义的HDFS系统中，丢失数据是不允许的，更不用说重新搭建启动HDFS了。当然，升级可能成功，也可能失败。如果失败了，那就用rollback进行回滚;如果过了一段时间，系统运行正常，那就可以通过finalize正式提交这次升级。 相关升级和回滚命令如下: bin/hadoop namenode一upgrade //升级 bin/hadoop namenode一rollback //回滚 bin/hadoop namenode一finalize //提交 bin/hadoop namenode一importCheckpoint //从Checkpoint恢复 上述命令的importCheckpoint参数用于NameNode发生故障后，从某个检查点恢复。HDFS允许管理员退回到之前的Hadoop版木，将集群的状态回滚到升级之前。 在升级之前，管理员需要用以下命令删除已存在的备份文件： bin/hadoop dfsadmin-finalizeUpgrade //升级终结操作 下面简单介绍一下一般的升级过程。 在升级Hadoop软件之前，检查是否已经存在一个备份，如果备份存在，可执行升级终结操作删除这个备份。通过以下命令能够知道是否需要对一个集群执行升级终结操作: dfsadmin -upgradeProgress status 1) 停止集群并部署Hadoop的新版本。 2) 使用upgrade选项运行新的版本(bin/start-dfs.sh -upgrade) 在大多数情况下，集群都能够正常运行。一旦我们认为新的HDFS运行正常(也许经过几天的操作之后)，就可以对其执行升级终结操作。需要注意的是，在对一个集群执行升级终结操作之前，删除那些升级前就已经存在的文件并不会真正地释放DataNode上的磁盘空间。 如果需要退回到老版本，执行步骤如下: 1) 停止集群并部署Hadoop的老版本。 2) 用回滚选项启动集群，命令如下: bin/start-dfs.h -rolback 上面介绍了HDFS的升级和回滚的基本机制，其实可以从状态转移的角度来理解理解HDFS的升级和回滚机制。整个HDFS的状态有:Normal, Upgraded, Rollbacking, Upgrading,Finalizing五种，HDFS集群的状态转移示意图，如下图所示。 从上图可以看出，升级、回滚、提交都不可能一下完成，这也就是说，在HDFS系统出现故障时，集群可能处于上图右侧图中某一个状态中，特别是在分布式的各个节点上，甚至可能出现有些节点已经升级成功，但有些节点可能处干中间状态的情况，所以Hadoop采用类似于数据库事务的升级机制也就很容易理解了。 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5081721.html，如需转载请自行联系原作者
2017-11-02
优秀的个人博客,低调大师

《从零开始学Swift》学习笔记（Day 25）——类和结构体定义

Swift中的类和结构体定义的语法是非常相似的。类使用class关键词定义类，使用struct关键词定义结构体，它们的语法格式如下： 1 2 3 4 5 6 class 类名{ 定义类的成员 } struct结构体名{ 定义结构体的成员 } 从语法格式上看，Swift中的类和结构体的定义更类似于Java语法，不需要像C++和Objective-C那样把接口部分和实现部分放到不同的文件中。 下面来看一个示例： 1 2 3 4 5 6 7 8 9 10 11 12 13 class Employee{ //定义的类 varno:Int= 0 varname:String= "" varjob:String? varsalary:Double= 0 vardept:Department? } structDepartment{ //定义的结构体 varno:Int= 0 varname:String= "" } 里面定义了一些属性。 Employee和Department是有关联关系的。 下列语句实例化： 1 2 letemp=Employee() vardept=Department() Employee()和Department()是调用它们的构造函数实现实例化。 注意：类声明为let常量还是var变量呢？从编程过程讲类一般声明为let常量，由于类是引用数据类型，声明为let常量只是说明不能修改引用，但是引用指向的对象可以被修改。 本文转自 tony关东升 51CTO博客，原文链接：http://blog.51cto.com/tonyguan/1746423，如需转载请自行联系原作者
2017-10-31
优秀的个人博客,低调大师

关于Activity生命周期学习之窗口化一个Activity

和先前一样,我们有两个Activity,Activity01和Activity02.先看一个传统的没有定义窗口模式的Activity. 可以看到,从Activity01切换到Activity02时,当Activity02最终覆盖了Activity01,占据了整个屏幕后,Activity01调用了onStop方法.从android官方给出来的文档中来看,onStop方法是这个Activity被完全覆盖掉,不可见之后才会调用的. 因此如果一个Activity并没有被完全覆盖时,是否会调用onStop方法呢.先看看如何将一个Activity窗口化,即不覆盖整个屏幕. 打开AndroidManifest.xml文件,修改 <activity android:name=".activity02"></activity> 为: <activity android:name=".activity02" android:theme="@android:style/Theme.Dialog"></activity> 这回运行效果是 和先前没有定义主题的新打开的Activity相比,定义了Theme.Dialog主题的Activity就弹出来一个小窗口. 我们继续查看logcat的日志. 可以看到,Activity02调用了onResume方法后,Activity01并没有调用onStop方法.从这一点上也验证了官方文档中的Activity的生命周期中关于onStop方法的描述是正确的. 本文转自leipei博客园博客，原文链接：http://www.cnblogs.com/leipei2352/archive/2011/08/09/2132279.html，如需转载请自行联系原作者
2017-10-19
优秀的个人博客,低调大师

一文读懂深度学习框架下的目标检测（附数据集）

从简单的图像分类到3D位置估算，在机器视觉领域里从来都不乏有趣的问题。其中我们最感兴趣的问题之一就是目标检测。 如同其他的机器视觉问题一样，目标检测目前为止还没有公认最好的解决方法。在了解目标检测之前，让我们先快速地了解一下这个领域里普遍存在的一些问题。 目标检测vs 其他计算机视觉问题图像分类 在计算机视觉领域中，最为人所知的问题便是图像分类问题。 图像分类是把一幅图片分成多种类别中的一类。 ImageNet是在学术界使用的最受欢迎的数据集之一，它由数百万个已分类图像组成，部分数据用于ImageNet大规模视觉识别挑战赛（ILSVRC）。 最近几年来，解决分类问题的模型已经有了超越人类的识别能力，所以分类问题实际上已经被解决了。 然而，图像分类问题有许多挑战，相伴随着的是许多如何解决这些问题的文献以及对还未被解决的问题的探讨。 图像分类
2017-10-09
优秀的个人博客,低调大师

[关注&学习]patterns & practices Application Architecture Guide - v2.0 (Bet...

园子里好多人已经推荐过这个了(参考强烈推荐:应用程序架构指导包v2.0),太喜欢了，故在自己这里留个备份，也是提醒自己要好好研究这本架构指导手册。 下载地址：http://www.codeplex.com/AppArchGuide/Release/ProjectReleases.aspx?ReleaseId=18834 Parts Part I, Fundamentals of Application Architecture Part II, Design Part III, Layers Part IV, Quality Attributes Part V, Archetypes - Design and Patterns Chapters Introduction Architecture Best Practices At a Glance Fast Track - A Guide for Getting Started and Applying the Guidance Part I, Fundamentals of Application Architecture Chapter 1 - Fundamentals of Application Architecture Chapter 2 - .NET Platform Overview Chapter 3 - Application Archetypes Chapter 4 - Deployment Patterns Chapter 5 - Architectural Styles Chapter 6 - Quality Attributes Chapter 7 - Layers and Tiers Part II, Design Chapter 8 - Designing Your Architecture Chapter 9 - Architecture and Design Guidelines Chapter 10 - Designing Services Chapter 11 - Communication Guidelines Part III, Layers Chapter 12 - Presentation Layer Guidelines Chapter 13 - Business Layer Guidelines Chapter 14 - Data Access Layer Guidelines Chapter 15 - Service Layer Guidelines Part IV, Quality Attributes Chapter 16 - Performance Engineering Chapter 17 - Security Engineering Part V, Archetypes - Design and Patterns Chapter 18 - Mobile Application Chapter 19 - Office Business Application (OBA) Chapter 20 - Rich Client Application Chapter 21 - Rich Internet Application (RIA) Chapter 22 - Service Archetype Chapter 23 - SharePoint LOB Application Chapter 24 - Web Application Appendix Cheat Sheet - patterns & practices Catalog at a Glance Cheat Sheet - patterns & practices Pattern Catalog Cheat Sheet - patterns & practices Enterprise Library Key Links Application Architecture Guide 2.0 – The Book(CodePlex) Application Architecture Guide 2.0 – Knowledge Base(CodePlex) 本文转自Justin博客园博客，原文链接：http://www.cnblogs.com/justinw/archive/2008/10/28/1321236.html，如需转载请自行联系原作者
2017-09-13
优秀的个人博客,低调大师

Hadoop Hive概念学习系列之为什么Hive里，要用mysql？（四）

想说的是，hive只是个工具，包括它的数据分析，依赖于mapreduce，它的数据管理，依赖于外部系统。 metastore_db，是在哪目录下运行，在哪里产生数据。 由此可见，你在哪路径下，执行hive指令，就在哪路径下生成metastore_db。建一套数据库文件，这样是极其不合适的，公司里每个人若不一样，则会显得非常混杂。导致员工之间无法公用交流。 为此，需公用的，mysql。 这也是为什么，在安装hive时，也需要配置mysql了。 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5728406.html，如需转载请自行联系原作者
2017-09-09
优秀的个人博客,低调大师

Squid普通代理&&透明代理&&反向代理学习

普通代理 背景 192.168.10.2 Windows Squid CentOS 202.168.10.2 CentOS 配置 Windows VM1网卡配置 Squid服务器 VM1网卡配置 Squid服务器 VM2网卡配置 Server VM2网卡配置 Squid安装 将原先的2000+行的配置文件squid.conf删除，自行建立一个squid.conf文件 自动建立缓存目录，在/var/spool/squid/，查看 Server设置 <html><body><h1>web-200.168.10.2</h1></body></html> 测试 Windows IE浏览器配置代理 查看日志 透明代理 背景 与普通代理相同，割了。 配置 Windows VM1网卡配置 其他不变。 Squid配置 添加iptables规则，把内部的http请求重定向到3128端口 测试 反向代理 背景 配置 Windows VM1网卡配置 Squid 服务器IP配置 WEB Server IP配置 squid.conf配置文件 测试 最后测试速度第一次打开网页火狐Firebug。 第一次之后 总结 普通代理只是个很简单的代理，如果是IT人员的话，知道怎么弄，但是对于非IT人员的话，很麻烦，可能要跟着教程走。所以这个不是很方便。所以就有了透明代理，这样无需在IE上设置便可以直接通过代理上网。至于反向代理，主要是为了提高速度而设置的。就像一个公司里面的员工，都通过这个代理访问出去的，第一个员工访问了腾讯的主页，因为他是全公司的第一个去访问的腾讯，那么网页返回的时间就比较长，同时反向代理把腾讯网页上的一些静态信息保存在自己主机上，那么第二次访问，那些静态的东西，比如图片、FLASH等就直接从反向代理服务器中取就OK了，速度就快了许多，上面的图也可以看出来。 本文转自我爱物联网博客园博客，原文链接：http://www.cnblogs.com/yydcdut/p/3532313.html，如需转载请自行联系原作者
2017-08-26
优秀的个人博客,低调大师

深度 | 机器学习对抗性攻击报告，如何欺骗人工智能？

雷锋网按：本文作者曹跃、仲震宇、韦韬，首发于百度安全实验室公众号，雷锋网(公众号：雷锋网)授权转载。 科技的发展使人工智能离人类的生活越来越近，其中隐含的安全问题也渐渐引起顶级安全专家们的关注。 本文由百度安全实验室专家撰写，详细介绍了在GeekPwn2016硅谷分会场上，顶尖安全专家们针对当前流行的人工智能图形对象识别、语音识别的场景所采用的构造攻击数据方式和攻击演示。 百度安全实验室的专家对这些攻击方式提出了独到见解，并对未来趋势进行了预测。 从12月29日起，神秘的账号Master在弈城、野狐等围棋对战平台上轮番挑战各大围棋高手，并取得了不可思议的多连胜。1月4日，聂卫平、常昊、周睿羊等高手接连输给Master，截止到目前它已获得60连胜。Master在与古力的对决之前终于揭晓了自己的身份，果然就是去年大出风头的AlphaGo（升
2017-07-31

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-04-11 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-04-11 大小: 1MB 下载: 9次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-04-24 大小: 189MB 下载: 6次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册