首页 文章 精选 留言 我的

精选列表

搜索[融合分析]，共10000篇文章
优秀的个人博客,低调大师

jdk分析工具:jps和jstack

jps 用来查看基于HotSpotJVM里面所有进程的具体状态,包括进程ID，进程启动的路径等等。与unix上的ps类似，用来显示本地有权限的java进程，可以查看本地运行着几个java程序，并显示他们的进程号。使用jps时，不需要传递进程号做为参数。 Jps也可以显示远程系统上的JAVA进程，这需要远程服务上开启了jstat服务，以及RMI注及服务，不过常用都是对本对的JAVA进程的查看。 命令格式 jps[options][hostid] 常用参数说明 -m输出传递给main方法的参数，如果是内嵌的JVM则输出为null。 -l输出应用程序主类的完整包名，或者是应用程序JAR文件的完整路径。 -v输出传给JVM的参数。 使用示例 blue@blue-pc:~$ jps 8710 Jps 5661 Bootstrap 2491 2967 blue@blue-pc:~$ jps -ml 5661 org.apache.catalina.startup.Bootstrap start 2491 8724 sun.tools.jps.Jps -ml 2967 blue@blue-pc:~$ jps -mlv 5661 org.apache.catalina.startup.Bootstrap start -Djava.util.logging.config.file=/home/blue/apache-tomcat-7.0.39/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.endorsed.dirs=/home/blue/apache-tomcat-7.0.39/endorsed -Dcatalina.base=/home/blue/apache-tomcat-7.0.39 -Dcatalina.home=/home/blue/apache-tomcat-7.0.39 -Djava.io.tmpdir=/home/blue/apache-tomcat-7.0.39/temp 2491 -Dosgi.requiredJavaVersion=1.5 -XX:MaxPermSize=256m -Xms40m -Xmx384m 8738 sun.tools.jps.Jps -mlv -Dapplication.home=/usr/local/jdk1.6.0_35 -Xms8m 2967 -Dosgi.requiredJavaVersion=1.5 -XX:MaxPermSize=256m -Xms40m -Xmx512m 前面的数字是jvm的进程id，后面是jvm的类启动信息。 jstack 如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。另外，jstack工具还可以附属到正在运行的java程序中，看到当时运行的java程序的java stack和native stack的信息,如果现在运行的java程序呈现hung的状态，jstack是非常有用的。 命令格式 $jstack[option]pid $jstack[option]executablecore $jstack[option][server-id@]remote-hostname-or-IP 常用参数说明 OPTIONS -Fjstack [-l] pid无法响应时，强制打印堆栈 -ll长列表.打印关于锁的附加信息,例如属于java.util.concurrent的ownablesynchronizers列表. -m 混合模式输出(包括java和本地c/c++片段)堆栈。 pid: java应用程序的进程号,一般可以通过jps来获得; executable:产生coredump的java可执行程序; core:打印出的core文件; remote-hostname-or-ip:远程debug服务器的名称或IP; server-id: 唯一id,假如一台主机上多个远程debug服务; 使用示例 blue@blue-pc:~$ jps -ml 5661 org.apache.catalina.startup.Bootstrap blue@blue-pc:~$ jstack 5661 2013-04-16 21:09:27 Full thread dump Java HotSpot(TM) Server VM (20.10-b01 mixed mode): "Attach Listener" daemon prio=10 tid=0x70e95400 nid=0x2265 waiting on condition [0x00000000] java.lang.Thread.State: RUNNABLE "http-bio-8080-exec-20" daemon prio=10 tid=0x08a35800 nid=0x1d42 waiting on condition [0x70997000] java.lang.Thread.State: WAITING (parking) at sun.misc.Unsafe.park(Native Method) - parking to wait for <0x766a27b8> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject) at java.util.concurrent.locks.LockSupport.park(LockSupport.java:156) at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1987) at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:399) at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104) at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32) at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:947) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907) at java.lang.Thread.run(Thread.java:662) ........ 一般情况下，通过jstack输出的线程信息主要包括：jvm自身线程、用户线程等。其中jvm线程会在jvm启动时就会存在。对于用户线程则是在用户访问时才会生成。 分类: java 本文转自快乐就好博客园博客，原文链接：http://www.cnblogs.com/happyday56/p/6006868.html，如需转载请自行联系原作者
2018-01-11
优秀的个人博客,低调大师

c++中sizeof的分析

sizeof是何方神圣sizeof乃C/C++中的一个操作符（operator）是也，简单的说其作用就是返回一个对象或者类型所占的内存字节数。 MSDN上的解释为： The sizeof keyword gives the amount of storage, in bytes, associated with a variable or a type (including aggregate types). This keyword returns a value of type size_t. 其返回值类型为size_t，在头文件stddef.h中定义。这是一个依赖于编译系统的值，一般定义为 typedef unsigned int size_t; 世上编译器林林总总，但作为一个规范，它们都会保证char、signed char和unsigned char的sizeof值为1，毕竟char是我们编程能用的最小数据类型。 2. 语法： sizeof有三种语法形式，如下： 1) sizeof( object ); // sizeof( 对象 ); 2) sizeof( type_name ); // sizeof( 类型 ); 3) sizeof object; // sizeof 对象; 所以， int i; sizeof( i ); // ok sizeof i; // ok sizeof( int ); // ok sizeof int; // error 既然写法3可以用写法1代替，为求形式统一以及减少我们大脑的负担，第3种写法，忘掉它吧！实际上，sizeof计算对象的大小也是转换成对对象类型的计算，也就是说，同种类型的不同对象其sizeof值都是一致的。这里，对象可以进一步延伸至表达式，即sizeof可以对一个表达式求值，编译器根据表达式的最终结果类型来确定大小，一般不会对表达式进行计算。如： sizeof( 2 ); // 2的类型为int，所以等价于 sizeof( int ); sizeof( 2 + 3.14 ); // 3.14的类型为double，2也会被提升成double类型，所以等价于 sizeof( double ); sizeof也可以对一个函数调用求值，其结果是函数返回类型的大小，函数并不会被调用，我们来看一个完整的例子： char foo() { printf("foo() has been called.\n"); return 'a'; } int main() { size_t sz = sizeof( foo() ); // foo() 的返回值类型为char，所以sz = sizeof(char )，foo()并不会被调用 printf("sizeof( foo() ) = %d\n", sz); } C99标准规定，函数、不能确定类型的表达式以及位域（bit-field）成员不能被计算sizeof值，即下面这些写法都是错误的： sizeof( foo );// error void foo2() { } sizeof( foo2() );// error struct S { unsigned int f1 : 1; unsigned int f2 : 5; unsigned int f3 : 12; }; sizeof( S.f1 );// error 3. sizeof的常量性 sizeof的计算发生在编译时刻，所以它可以被当作常量表达式使用，如： char ary[ sizeof( int ) * 10 ]; // ok 最新的C99标准规定sizeof也可以在运行时刻进行计算，如下面的程序在Dev-C++中可以正确执行： int n; n = 10; // n动态赋值 char ary[n]; // C99也支持数组的动态定义 printf("%d\n", sizeof(ary)); // ok. 输出10 但在没有完全实现C99标准的编译器中就行不通了，上面的代码在VC6中就通不过编译。所以我们最好还是认为sizeof是在编译期执行的，这样不会带来错误，让程序的可移植性强些。 4. 基本数据类型的sizeof 这里的基本数据类型指short、int、long、float、double这样的简单内置数据类型，由于它们都是和系统相关的，所以在不同的系统下取值可能不同，这务必引起我们的注意，尽量不要在这方面给自己程序的移植造成麻烦。 一般的，在32位编译环境中，sizeof(int)的取值为4。 5. 指针变量的sizeof 学过数据结构的你应该知道指针是一个很重要的概念，它记录了另一个对象的地址。既然是来存放地址的，那么它当然等于计算机内部地址总线的宽度。所以在32位计算机中，一个指针变量的返回值必定是4（注意结果是以字节为单位），可以预计，在将来的64位系统中指针变量的sizeof结果为8。 char* pc = "abc"; int* pi; string* ps; char** ppc = &pc; void (*pf)();// 函数指针 sizeof( pc ); // 结果为4 sizeof( pi ); // 结果为4 sizeof( ps ); // 结果为4 sizeof( ppc ); // 结果为4 sizeof( pf );// 结果为4 指针变量的sizeof值与指针所指的对象没有任何关系，正是由于所有的指针变量所占内存大小相等，所以MFC消息处理函数使用两个参数WPARAM、LPARAM就能传递各种复杂的消息结构（使用指向结构体的指针）。 6. 数组的sizeof 数组的sizeof值等于数组所占用的内存字节数，如： char a1[] = "abc"; int a2[3]; sizeof( a1 ); // 结果为4，字符 末尾还存在一个NULL终止符 sizeof( a2 ); // 结果为3*4=12（依赖于int） 一些朋友刚开始时把sizeof当作了求数组元素的个数，现在，你应该知道这是不对的，那么应该怎么求数组元素的个数呢Easy，通常有下面两种写法： int c1 = sizeof( a1 ) / sizeof( char ); // 总长度/单个元素的长度 int c2 = sizeof( a1 ) / sizeof( a1[0] ); // 总长度/第一个元素的长度 写到这里，提一问，下面的c3，c4值应该是多少呢 void foo3(char a3[3]) { int c3 = sizeof( a3 ); // c3 == } void foo4(char a4[]) { int c4 = sizeof( a4 ); // c4 == } 也许当你试图回答c4的值时已经意识到c3答错了，是的，c3!=3。这里函数参数a3已不再是数组类型，而是蜕变成指针，相当于char* a3，为什么仔细想想就不难明白，我们调用函数foo1时，程序会在栈上分配一个大小为3的数组吗不会！数组是“传址”的，调用者只需将实参的地址传递过去，所以a3自然为指针类型（char*），c3的值也就为4。 7. 结构体的sizeof 这是初学者问得最多的一个问题，所以这里有必要多费点笔墨。让我们先看一个结构体： struct S1 { char c; int i; }; 问sizeof(s1)等于多少聪明的你开始思考了，char占1个字节，int占4个字节，那么加起来就应该是5。是这样吗你在你机器上试过了吗也许你是对的，但很可能你是错的！VC6中按默认设置得到的结果为8。 Why为什么受伤的总是我 请不要沮丧，我们来好好琢磨一下sizeof的定义——sizeof的结果等于对象或者类型所占的内存字节数，好吧，那就让我们来看看S1的内存分配情况： S1 s1 = { 'a', 0xFFFFFFFF }; 定义上面的变量后，加上断点，运行程序，观察s1所在的内存，你发现了什么 以我的VC6.0为例，s1的地址为0x0012FF78，其数据内容如下： 0012FF78: 61 CC CC CC FF FF FF FF 发现了什么怎么中间夹杂了3个字节的CC看看MSDN上的说明： When applied to a structure type or variable, sizeof returns the actual size, which may include padding bytes inserted for alignment. 原来如此，这就是传说中的字节对齐啊！一个重要的话题出现了。 为什么需要字节对齐计算机组成原理教导我们这样有助于加快计算机的取数速度，否则就得多花指令周期了。为此，编译器默认会对结构体进行处理（实际上其它地方的数据变量也是如此），让宽度为2的基本数据类型（short等）都位于能被2整除的地址上，让宽度为4的基本数据类型（int等）都位于能被4整除的地址上，以此类推。这样，两个数中间就可能需要加入填充字节，所以整个结构体的sizeof值就增长了。 让我们交换一下S1中char与int的位置： struct S2 { int i; char c; }; 看看sizeof(S2)的结果为多少，怎么还是8再看看内存，原来成员c后面仍然有3个填充字节，这又是为什么啊别着急，下面总结规律。 字节对齐的细节和编译器实现相关，但一般而言，满足三个准则： 1) 结构体变量的首地址能够被其最宽基本类型成员的大小所整除； 2) 结构体每个成员相对于结构体首地址的偏移量（offset）都是成员大小的整数倍，如有需要编译器会在成员之间加上填充字节（internal adding）； 3) 结构体的总大小为结构体最宽基本类型成员大小的整数倍，如有需要编译器会在最末一个成员之后加上填充字节（trailing padding）。 对于上面的准则，有几点需要说明： 1) 前面不是说结构体成员的地址是其大小的整数倍，怎么又说到偏移量了呢因为有了第1点存在，所以我们就可以只考虑成员的偏移量，这样思考起来简单。想想为什么。 结构体某个成员相对于结构体首地址的偏移量可以通过宏offsetof()来获得，这个宏也在stddef.h中定义，如下： #define offsetof(s,m) (size_t)&(((s *)0)->m) 例如，想要获得S2中c的偏移量，方法为 size_t pos = offsetof(S2, c);// pos等于4 2) 基本类型是指前面提到的像char、short、int、float、double这样的内置数据类型，这里所说的“数据宽度”就是指其sizeof的大小。由于结构体的成员可以是复合类型，比如另外一个结构体，所以在寻找最宽基本类型成员时，应当包括复合类型成员的子成员，而不是把复合成员看成是一个整体。但在确定复合类型成员的偏移位置时则是将复合类型作为整体看待。 这里叙述起来有点拗口，思考起来也有点挠头，还是让我们看看例子吧（具体数值仍以VC6为例，以后不再说明）： struct S3 { char c1; S1 s; char c2; }; S1的最宽简单成员的类型为int，S3在考虑最宽简单类型成员时是将S1“打散”看的，所以S3的最宽简单类型为int，这样，通过S3定义的变量，其存储空间首地址需要被4整除，整个sizeof(S3)的值也应该被4整除。 c1的偏移量为0，s的偏移量呢这时s是一个整体，它作为结构体变量也满足前面三个准则，所以其大小为8，偏移量为4，c1与s之间便需要3个填充字节，而c2与s之间就不需要了，所以c2的偏移量为12，算上c2的大小为13，13是不能被4整除的，这样末尾还得补上3个填充字节。最后得到sizeof(S3)的值为16。 通过上面的叙述，我们可以得到一个公式： 结构体的大小等于最后一个成员的偏移量加上其大小再加上末尾的填充字节数目，即： sizeof( struct ) = offsetof( last item ) + sizeof( last item ) + sizeof( trailing padding ) 到这里，朋友们应该对结构体的sizeof有了一个全新的认识，但不要高兴得太早，有一个影响sizeof的重要参量还未被提及，那便是编译器的pack指令。它是用来调整结构体对齐方式的，不同编译器名称和用法略有不同，VC6中通过#pragma pack实现，也可以直接修改/Zp编译开关。#pragma pack的基本用法为：#pragma pack( n )，n为字节对齐数，其取值为1、2、4、8、16，默认是8，如果这个值比结构体成员的sizeof值小，那么 该成员的偏移量应该以此值为准，即是说，结构体成员的偏移量应该取二者的最小值， 公式如下： offsetof( item ) = min( n, sizeof( item ) ) 再看示例： #pragma pack(push) // 将当前pack设置压栈保存 #pragma pack(2) // 必须在结构体定义之前使用 struct S1 { char c; int i; }; struct S3 { char c1; S1 s; char c2; }; #pragma pack(pop) // 恢复先前的pack设置 计算sizeof(S1)时，min(2, sizeof(i))的值为2，所以i的偏移量为2，加上sizeof(i)等于6，能够被2整除，所以整个S1的大小为6。 同样，对于sizeof(S3)，s的偏移量为2，c2的偏移量为8，加上sizeof(c2)等于9，不能被2整除，添加一个填充字节，所以sizeof(S3)等于10。 现在，朋友们可以轻松的出一口气了，:) 还有一点要注意，“空结构体”（不含数据成员）的大小不为0，而是1。试想一个“不占空间”的变量如何被取地址、两个不同的“空结构体”变量又如何得以区分呢于是，“空结构体”变量也得被存储，这样编译器也就只能为其分配一个字节的空间用于占位了。如下： struct S5 { }; sizeof( S5 ); // 结果为1 8. 含位域结构体的sizeof 前面已经说过，位域成员不能单独被取sizeof值，我们这里要讨论的是含有位域的结构体的sizeof，只是考虑到其特殊性而将其专门列了出来。 C99规定int、unsigned int和bool可以作为位域类型，但编译器几乎都对此作了扩展，允许其它类型类型的存在。使用位域的主要目的是压缩存储，其大致规则为： 1) 如果相邻位域字段的类型相同，且其位宽之和小于类型的sizeof大小，则后面的字段将紧邻前一个字段存储，直到不能容纳为止； 2) 如果相邻位域字段的类型相同，但其位宽之和大于类型的sizeof大小，则后面的字段将从新的存储单元开始，其偏移量为其类型大小的整数倍； 3) 如果相邻的位域字段的类型不同，则各编译器的具体实现有差异，VC6采取不压缩方式，Dev-C++采取压缩方式； 4) 如果位域字段之间穿插着非位域字段，则不进行压缩； 5) 整个结构体的总大小为最宽基本类型成员大小的整数倍。 还是让我们来看看例子。 示例1： struct BF1 { char f1 : 3; char f2 : 4; char f3 : 5; }; 其内存布局为： |_f1__|__f2__|_|____f3___|____| |_|_|_|_|_|_|_|_|_|_|_|_|_|_|_|_| 0 3 7 8 1316 位域类型为char，第1个字节仅能容纳下f1和f2，所以f2被压缩到第1个字节中，而f3只 能从下一个字节开始。因此sizeof(BF1)的结果为2。 示例2： struct BF2 { char f1 : 3; short f2 : 4; char f3 : 5; }; 由于相邻位域类型不同，在VC6中其sizeof为6，在Dev-C++中为2。 示例3： struct BF3 { char f1 : 3; char f2; char f3 : 5; }; 非位域字段穿插在其中，不会产生压缩，在VC6和Dev-C++中得到的大小均为3。 9. 联合体的sizeof 结构体在内存组织上是顺序式的，联合体则是重叠式，各成员共享一段内存，所以整个联合体的sizeof也就是每个成员sizeof的最大值。结构体的成员也可以是复合类型，这里，复合类型成员是被作为整体考虑的。 所以，下面例子中，U的sizeof值等于sizeof(s)。 union U { int i; char c; S1 s; }; ============================================================================== 本文转自被遗忘的博客园博客，原文链接：http://www.cnblogs.com/rollenholt/archive/2012/03/19/2405455.html，如需转载请自行联系原作者
2018-01-05
优秀的个人博客,低调大师

关于hive RegexSerDe的源码分析

最近有个业务建表使用了 RegexSerDe，之前虽然也它来解析nginx日志，但是没有做深入的了解。这次看了下其实现方式。 建表语句： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 CREATEexternalTABLEods_cart_log ( time_localSTRING, request_jsonSTRING, trace_id_numSTRING ) PARTITIONEDBY ( dtstring, hourstring ) ROWFORMATSERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITHSERDEPROPERTIES ( "input.regex" = "\\\[(.*?)\\\].*\\\|(.*?)(.*?)\\\[(.*?)\\\]" , "output.format.string" = "%1$s%2$s%4$s" ) STOREDASTEXTFILE; 测试数据： 1 2 3 4 5 [2014-07-2415:54:54][6]OperationData.php: :89|{ "action" : "add" , "redis_key_hash" :9, "time" : "1406188494.73745500" , "source" : "web" , "mars_cid" : "" , "session_id" : "" , "info" :{ "cart_id" :26885, "user_id" :4, "size_id" : "2784145" , "num" : "1" , "warehouse" : "VIP_NH" , "brand_id" : "7379" , "cart_record_id" :26885, "channel" : "te" }} trace_id[40618849399972881308] 这里trace_id_num按照猜想应该是第4个字段（即40618849399972881308），但是实际输出了第3个字段（trace_id） 查看其代码实现： RegexSerDe主要由下面三个参数： 1）input.regex 正则 2）output.format.string 输出格式 3）input.regex.case.insensitive 大小写是否敏感 其中input.regex用在反序列化方法中，即数据的读取（hive读取hdfs文件），相对的output.format.string 用在序列化的方法中，即数据的写入（hive写入hdfs文件）。 在反序列化的方法deserialize中有如下代码，用于返回代表匹配字段的数据： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 for ( int c= 0 ;c<numColumns;c++){ //numColumns是按表中column的数量算的（ 比如这个例子columnNames是[time_local,request_json,trace_id_num]|numColumns=columnNames.size(); try { row.set(c,m.group(c+ 1 )); //可以看到字段的匹配从0开始，中间不会有跳跃， 所以这里selecttrace_id_num字段是正则里面的第 3 个组，而和output.format.string没有关系 } catch (RuntimeExceptione){ partialMatchedRows++; if (partialMatchedRows>=nextPartialMatchedRows){ nextPartialMatchedRows=getNextNumberToDisplay(nextPartialMatchedRows); //Reporttherow LOG.warn( "" +partialMatchedRows + "partiallyunmatchedrowsarefound," + "cannotfindgroup" +c+ ":" +rowText); } row.set(c, null ); } } work around的方法有两个，1个是把所有正则匹配的字段列出，另一个就是更改正则的分组，只拿自己care的分组，比如上面可以改为 1 \\\[(.*?)\\\].*\\\|(.*?).*?\\\[(.*?)\\\] 这里output.format.string的设置仔细想想貌似没什么用，首先RegexSerDe的方式只在textfile下生效，即可以用load向hive的表中导入数据，但是load是一个hdfs层面的文件操作，不涉及到序列化，如果想使用序列化，需要使用insert into select的方式插入数据，但是这种方式插入的数据又和select的数据有关系，和output.format.string没什么关系了。。 其实regexserde类有两个 分别位于 1 ./serde/src/java/org/apache/hadoop/hive/serde2/RegexSerDe.java和 1 ./contrib/src/java/org/apache/hadoop/hive/contrib/serde2/RegexSerDe.java 都是扩展了AbstractSerDe这个抽象类。通过代码可以看到contrib下的这个类是实现了serialize和deserialize方法，而上面这个只实现了deserialize方法，由此看来RegexSerDe中的serialize方法可能是没什么用的。。 另外需要注意几点： 1.如果一行匹配不上，整个行的字段输出都是null 1 2 3 4 5 6 7 8 9 if (!m.matches()){ unmatchedRows++; if (unmatchedRows>=nextUnmatchedRows){ nextUnmatchedRows=getNextNumberToDisplay(nextUnmatchedRows); //Reporttherow LOG.warn( "" +unmatchedRows+ "unmatchedrowsarefound:" +rowText); } return null ; } 2.表的字段类型必须都是string，否则会报错,如果需要别的字段，可以在select中使用cast做转换 1 2 3 4 5 6 7 for ( int c= 0 ;c<numColumns;c++){ if (!columnTypes.get(c).equals(TypeInfoFactory.stringTypeInfo)){ throw new SerDeException(getClass().getName() + "onlyacceptsstringcolumns,butcolumn[" +c+ "]named" +columnNames.get(c)+ "hastype" +columnTypes.get(c)); } } 本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1532987，如需转载请自行联系原作者
2017-11-29
优秀的个人博客,低调大师

苹果iPad2应用分析

iPad2设计很出色，使用起来相当方便，甚至成为送人的热门礼物。本人对iPad2的了解也是开始接触一段时间，但很快就熟悉了应用。对于想用和还没用上iPad2的朋友们，我们有必要先要了解一下iPad2的基础知识，这样才能更好的应用。 首先是iPad2的操作系统。iOS是由苹果公司开发的手持设备操作系统。苹果公司最早于2007年1月9日的Macworld大会上公布这个系统，最初是设计给iPhone使用的，后来陆续套用到iPod touch、iPad以及Apple TV等苹果产品上。iOS与苹果的Mac OS X操作系统一样，它也是以Darwin为基础的，因此同样属于类Unix的商业操作系统。原本这个系统名为iPhone OS，直到2010年6月7日WWDC大会上宣布改名为iOS。简单地说，ipad2、iphone4S、itouch用的都是这个操作系统，原理、界面、操作方法、设置基本上都大同小异，学会一个其他的就都明白了。iPad2的成功，离不了操作系统的设计，目前已经是iOS5的版本，升级这个最新的版本可以更好地省电，至于iOS的“越狱”，会导致系统宕机的情况出现。 我们如何同步ipad2应用和数据到自个的电脑里，这就要通过苹果的itunes软件，使用苹果数码产品都有通过itunes去同步，只有安装了itunes才能够通过电脑往苹果设备里安装软件、同步数据。不过使用itunes软件要保证网络畅通，不然会出现应用软件丢失，我们经常会通过itunes去自动同步音乐和照片，有时存放音乐的文件夹会变得很大，在设置同步时可以选择手动方式。 苹果的成千上万的Apps应用，也是ipad2最吸引人的地方，我们可以把Apps安装在iphone和iPad2之上，那么苹果是如何保护版权的呢？每个苹果设备都有唯一的Apple ID ，这个信息是唯一的硬件信息，可以保证未经验证不能下载Apps应用程序。Apple ID 是用户用来执行与 Apple 有关的所有操作（包括使用 iCloud 存储内容、从 App Store 下载应用程序以及从 iTunes Store 购买歌曲、影片和电视节目）的登录信息。 正是因为苹果有一个非常强大的电子出版交易平台，在苹果的同步软件“itunes”或者iphone、ipad2内置的“Apps Store”里面，在这个平台里不仅仅可以下载软件，而且还是一个巨大的电子出版物、数字音乐、数字电影的销售平台，一方面可以吸引应用开发者去发表，另一方面让用户付费去获得好的应用程序。所以，用户要使用itunes这个同步软件在苹果设备里来安装Apps，Apps来源于从“Apps store”中下载，苹果的设备在软件的安装和使用时都要去验证apple id，也就是说不管安装还是运行，苹果都会检查用户正在操作的这个软件，下载时的id和现在设备中的id是否一致，如果一致则可以运行，如果不一致就不能运行。 对于不想付费，却又想得到这些苹果Apps的方法只有“越狱”，后果是无法升级或是还原iOS，而且要忍受系统出现的宕机，“越狱”的原理是先想办法把一个后门程序不通过itunes安装进去，然后再通过这个后门程序解除验证机制，就一切搞定了。然后就可以在各个论坛、网站下载经过破解的软件，然后安装在iphone、ipad2上了，这样的话是没有苹果的服务保障。 iPad2 参数规格 外形尺寸：241.2×185.7×8.8mm 重量 601g 显示屏：屏幕尺寸 9.7英寸 分辨率 1024×768 屏幕描述：电容式触摸屏，多点式触摸屏 主要性能：处理器型号 A5 双核，1GHz 系统内存：512MB 音效：音频系统 立体声扬声器，内置麦克风 网络通信：WIFI无线/3G网络上网，支持802.11b/g/n无线协议 ,支持蓝牙2.1模块 接口：视频输出 mini HDMI接口 其他接口： 3.5毫米耳机插孔，苹果Dock接口 电池类型：锂电池 续航时间 约10小时(连续运行游戏或视频) 操作系统：Phone OS 本文转自 zhaiken 51CTO博客，原文链接：http://blog.51cto.com/zhaiken/752443，如需转载请自行联系原作者
2017-11-26
优秀的个人博客,低调大师

MapReduce过程详细分析

Shuffle产生的意义是什么？Shuffle过程的期望可以有：完整地从map task端拉取数据到reduce 端。在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。减少磁盘IO对task执行的影响。每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据该如何处理？每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据。MapReduce提供Partitioner接口，它的作用是什么？MapReduce提供Partitioner接口，它的作用就是根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以订制并设置到job上。什么是溢写？在一定条件下将缓冲区中的数据临时写入磁盘，然后重新利用这块缓冲区。这个从内存往磁盘写数据的过程被称为Spill，中文可译为溢写。溢写是为什么不影响往缓冲区写map结果的线程？溢写线程启动时不应该阻止map的结果输出，所以整个缓冲区有个溢写的比例spill.percent。这个比例默认是0.8，也就是当缓冲区的数据已经达到阈值（buffer size * spill percent = 100MB * 0.8 = 80MB），溢写线程启动，锁定这80MB的内存，执行溢写过程。Map task的输出结果还可以往剩下的20MB内存中写，互不影响。当溢写线程启动后，需要对这80MB空间内的key做排序(Sort)。排序是MapReduce模型默认的行为，这里的排序也是对谁的排序？当溢写线程启动后，需要对这80MB空间内的key做排序(Sort)。排序是MapReduce模型默认的行为，这里的排序也是对序列化的字节做的排序。溢写过程中如果有很多个key/value对需要发送到某个reduce端去，那么如何处理这些key/value值？如果有很多个key/value对需要发送到某个reduce端去，那么需要将这些key/value值拼接到一块，减少与partition相关的索引记录。哪些场景才能使用Combiner呢？Combiner的输出是Reducer的输入，Combiner绝不能改变最终的计算结果。所以从我的想法来看，Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。Combiner的使用一定得慎重，如果用好，它对job执行效率有帮助，反之会影响reduce的最终结果。Merge的作用是什么？最终磁盘中会至少有一个这样的溢写文件存在(如果map的输出结果很少，当map执行完成时，只会产生一个溢写文件)，因为最终的文件只有一个，所以需要将这些溢写文件归并到一起，这个过程就叫做Merge每个reduce task不断的通过什么协议从JobTracker那里获取map task是否完成的信息？每个reduce task不断地通过RPC从JobTracker那里获取map task是否完成的信息reduce中Copy过程采用是什么协议？Copy过程，简单地拉取数据。Reduce进程启动一些数据copy线程(Fetcher)，通过HTTP方式请求map task所在的TaskTracker获取map task的输出文件。reduce中merge过程有几种方式？merge有三种形式：1)内存到内存2)内存到磁盘3)磁盘到磁盘。默认情况下第一种形式不启用，让人比较困惑，是吧。当内存中的数据量到达一定阈值，就启动内存到磁盘的merge。与map 端类似，这也是溢写的过程，这个过程中如果你设置有Combiner，也是会启用的，然后在磁盘中生成了众多的溢写文件。第二种merge方式一直在运行，直到没有map端的数据时才结束，然后启动第三种磁盘到磁盘的merge方式生成最终的那个文件。 本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1951558
2017-11-26
优秀的个人博客,低调大师

Android SDCard UnMounted 流程分析（二）

上一篇讲到通过NetlinkManager发送uevent 命令到NetlinkHandler 的onEvent，代码如下： voidNetlinkHandler::onEvent(NetlinkEvent*evt){ VolumeManager*vm=VolumeManager::Instance(); const char*subsys=evt->getSubsystem(); if(!subsys){ SLOGW( " Nosubsystemfoundinnetlinkevent "); return; } SLOGD( " NetlinkHandler:OnEventsubsysvaluesis%s ",subsys); if(!strcmp(subsys, " block ")){ SLOGD( " NetlinkHandler:onEvent "); vm->handleBlockEvent(evt); } } 在NetlinkHandler 里面得一个VolumeManager，当收到的命令为block时调用VolumnManager的handleBlockEvent，如上加红加粗的代码。 handleBlockEvent实则是通过一个循环将事先将main事先读取的配置文件:etc/vold.fstab存进VolumeCollection，得到VolumeCollection的对象，然后调用Volume 的handleBlockEvent，如代码： voidVolumeManager::handleBlockEvent(NetlinkEvent*evt){ const char*devpath=evt->findParam( " DEVPATH "); /* Lookupavolumetohandlethisdevice */ VolumeCollection::iteratorit; boolhit= false; for(it=mVolumes->begin();it!=mVolumes->end();++it){ if(! (*it)->handleBlockEvent(evt)){ #ifdefNETLINK_DEBUG SLOGD( " Device'%s'eventhandledbyvolume%s\n ",devpath,(*it)->getLabel()); #endif hit= true; break; } } if(!hit){ #ifdefNETLINK_DEBUG SLOGW( " Novolumeshandledblockeventfor'%s' ",devpath); #endif } 看一下Volume 的handleblockEvent代码： intVolume::handleBlockEvent(NetlinkEvent*evt){ errno=ENOSYS; return- 1; 看起来好像没做什么事，其实真的实现在于Volume 的子类，DirectVolume，DirectVolme 中重写了handleBlockEvent，看代码： intDirectVolume::handleBlockEvent(NetlinkEvent*evt){ const char*dp=evt->findParam( " DEVPATH "); PathCollection::iteratorit; for(it=mPaths->begin();it!=mPaths->end();++it){ if(!strncmp(dp,*it,strlen(*it))){ /* Wecanhandlethisdisk */ intaction=evt->getAction(); const char*devtype=evt->findParam( " DEVTYPE "); if(action==NetlinkEvent::NlActionAdd){ intmajor=atoi(evt->findParam( " MAJOR ")); intminor=atoi(evt->findParam( " MINOR ")); charnodepath[ 255]; snprintf(nodepath, sizeof(nodepath), " /dev/block/vold/%d:%d ", major,minor); if(createDeviceNode(nodepath,major,minor)){ SLOGE( " Errormakingdevicenode'%s'(%s) ",nodepath, strerror(errno)); } if(!strcmp(devtype, " disk ")){ handleDiskAdded(dp,evt); } else{ handlePartitionAdded(dp,evt); } } else if(action==NetlinkEvent::NlActionRemove){ if(!strcmp(devtype, " disk ")){ handleDiskRemoved(dp,evt); } else{ SLOGD( " DirectVolume:handleBlockEvent--->handlePartitionRemoved "); handlePartitionRemoved(dp,evt); } } else if(action==NetlinkEvent::NlActionChange){ if(!strcmp(devtype, " disk ")){ handleDiskChanged(dp,evt); } else{ handlePartitionChanged(dp,evt); } } else{ SLOGW( " Ignoringnonadd/remove/changeevent "); } return 0; } } errno=ENODEV; return- 1; } 因为我的板子还未完善，所以这里它认为我的sdcard是一个分区，但无关紧要，原理一样，就根据分区的代码跟踪。:handlePartitionRemoved，由于代码过多，只贴出核心代码： voidDirectVolume::handlePartitionRemoved( const char*devpath,NetlinkEvent*evt){ if((dev_t)MKDEV(major,minor)==mCurrentlyMountedKdev){ /* *Yikes,ourmountedpartitionisgoingaway! */ snprintf(msg, sizeof(msg), " Volume%s%sbadremoval(%d:%d) ", getLabel(),getMountpoint(),major,minor); SLOGD( " DirectVolume:(dev_t)MKDEV(major,minor)==mCurrentlyMountedKdev:%d,msgis:%s. ",mCurrentlyMountedKdev,msg); mVm->getBroadcaster()->sendBroadcast(ResponseCode::VolumeBadRemoval,msg,false); if(mVm->cleanupAsec( this, true)){ SLOGE( " FailedtocleanupASEC-unmountwillprobablyfail! "); } if( Volume::unmountVol(true,false)){ SLOGE( " Failedtounmountvolumeonbadremoval(%s) ", strerror(errno)); // XXX:Atthispointwe'rescrewedfornow } else{ SLOGD( " Crisisaverted "); } } } 到此，直接调用父类的unmountVol方法，unmountVol会通过setState通知框架状态改变。代码太多，只推荐核心代码： intVolume::unmountVol( boolforce, boolrevert){ setState(Volume::State_Unmounting); } 而setState会通过socket将msg消息传给框架 mVm->getBroadcaster()->sendBroadcast(ResponseCode::VolumeStateChange, msg, false); 接下去的步骤是关于socket的操作，就不深入了。 小结 到了这一步，Vold 向上层反馈的动作基本己经完成，下一篇文章将会讲解Framework 如何取得Vold 反馈过来的数据。 本文转自 terry_龙 51CTO博客，原文链接：http://blog.51cto.com/terryblog/814963 ，如需转载请自行联系原作者
2017-11-15

资源下载

更多资源
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册