首页 文章 精选 留言 我的

精选列表

搜索[PaaS框架],共10000篇文章
优秀的个人博客,低调大师

android 基础框架依赖库

AndroidBaseModule android base module project 基础的Android开发依赖包,独立出来主要是为了持续更新,方便多个项目同时使用,同步更新;同时使工程结构更加简洁。 使用方式 1) 新工程建议直接下载AndroidMouldProject,修改包名后在此基础上开发; or 2) Add Library module as a dependency in your build.gradle file. Add the dependency dependencies { compile 'com.github.BrillantZhao:AndroidBaseModule:1.1.2.48' } 项目结构 用到的第三方库 //=== butterKnife (https://github.com/JakeWharton/butterknife) "butterknife" : "com.jakewharton:butterknife:${butterKnifeVersion}", "butterknife-compiler" : "com.jakewharton:butterknife-compiler:${butterKnifeVersion}", //=== rxjava(https://github.com/ReactiveX/RxJava) "rxjava" : "io.reactivex:rxjava:${rxjavaVersion}", //=== rxandroid(https://github.com/ReactiveX/RxAndroid) "rxandroid" : "io.reactivex:rxandroid:${rxandroidVersion}", //=== AndroidUtilCode (https://github.com/Blankj/AndroidUtilCode) "utilcode" : "com.blankj:utilcode:${utilcodeVersion}", //=== RxLifecycle (https://github.com/trello/RxLifecycle) "rxlifecycle" : "com.trello:rxlifecycle:${rxlifecycleVersion}", "rxlifecycle-android" : "com.trello:rxlifecycle-android:${rxlifecycleVersion}", "rxlifecycle-components": "com.trello:rxlifecycle-components:${rxlifecycleVersion}", "rxlifecycle-navi" : "com.trello:rxlifecycle-navi:${rxlifecycleVersion}", "rxlifecycle-kotlin" : "com.trello:rxlifecycle-kotlin:${rxlifecycleVersion}", //=== glide (https://github.com/bumptech/glide) "glide" : "com.github.bumptech.glide:glide:${glideVersion}", //=== hawk (https://github.com/orhanobut/hawk) "hawk" : "com.orhanobut:hawk:${hawkVersion}", //=== fastjson (https://github.com/alibaba/fastjson) "fastjson" : "com.alibaba:fastjson:${fastjsonVersion}" API ### base相关→最底层的继承 IBaseActivity : "", IBaseApplication : "", IBaseFragment : "", IBaseFragmentAdapter : "", IBaseFragmentStateAdapter: "", IBaseModel : "", IBasePresenter : "", IBaseView : "", ### baseapp相关→应用的一些基本工具类 AppException: "异常记录与处理", AppManager : "activity管理工具", BaseRespose : "网络请求基础返回", ### baserx相关→rx底层处理 RxBus : "", RxCache : "", RxHelper : "", RxManager : "", RxSchedulers : "", RxSubscriber : "", ServerException: "", ### local相关→数据存储 SharedPrefUtils: "sharedPreference数据存储", ### notes相关→说明文档 Android 代码混淆在AS的实践 Android 使用gradle打包的各种配置 Android 自动化打包实践 gradle打包并推送到git远程库 Android开发之版本统一规范 GitSubmodule 神注释大全 ### utils相关→自定义的工具类 ACache : "", CollectionUtils : "", DialogPermissionUtil : "", DisplayUtil : "", FormatUtil : "", GlideCircleTransfromUtil: "", GlideRoundTransformUtil : "", ImageLoaderUtils : "", IpUtils : "", JsonConvertHelper : "", MeasureUtils : "", NetWorkUtils : "", RxCountDown : "", SDCardUtils : "", TimeUtil : "", TUtil : "", ### widget相关→自定义的控件 NoScrollGridView : "", NoScrollListview : "", OnDoubleClickListener : "", OnNoDoubleClickListener: "", 详细介绍 参见 AndroidBaseModule,工程地址为:https://github.com/BrillantZhao/AndroidBaseModule 参见 AndroidMouldProject(常规的MVP结构),工程地址为:https://github.com/BrillantZhao/AndroidMouldProject 参见 AndroidMouldProject(组件化的MVP结构,建议使用),工程地址为:https://github.com/BrillantZhao/AndroidMouldProject2

优秀的个人博客,低调大师

Apache Kylin的框架介绍

Apache kylin能提供低延迟(sub-second latency)的秘诀就是预计算,即针对一个星型拓扑结构的数据立方体,预计算多个维度组合的度量,然后将结果保存在hbase中,对外暴露JDBC、ODBC、Rest API的查询接口,即可实现实时查询。 如上图所示,Kylin从Hadoop Hive中获取数据,然后经过Cube Build Engine,将Hive中的数据Build成一个OLAP Cube保存在HBase中。用户执行SQL查询时,通过Query引擎,将SQL语句解析成OLAP Cube查询,然后将结果返回给用户。 本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7404400.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

Android应用框架之PackageManagerService

系统在启动的时候会启动一个叫做PackageManagerService的服务,顾名思义,这个服务主要管理安装在设备上的应用程序,其中最为重要的工作就是在在系统启动之后,PackageManagerService会扫描特定目录下地以apk为后缀的文件,然后将对应的应用安装到系统中。注意,这里的安装并不是我们平时所说的安装,它指的的是将存放在磁盘之上的静态应用程序文件进行解析,并将相关信息注册到系统中。而具体的解析工作实际就是读取应用的配置文件manifest.xml,并将文件中配置的组件 (Activity,Service,BroadcastRecevier,ContentProvider),权限等信息注册到PackageManagerService中。 本篇博客主要介绍PackageManagerService的启动过程,以及PackageManagerService如何安装各个应用程序。 1.PackageManagerService启动过程 和ActivityManagerService,WindowManagerService一样,PackageManagerService是一个系统级的服务,运行在独立的进程中,而所有的系统级服务都是由SystemServer启动的。所以首先来看看SystemServer的启动过程。 1) SystemServer启动: SystemServer组件是由Zygote进程负责启动的,启动的时候就会调用它的main函数,这个函数主要调用了JNI方法init1来做一些系统初始化的工作。 public class SystemServer { ...... native public static void init1(String[] args); ...... public static void main(String[] args) { ...... init1(args); ...... } ...... } 2)SystemServer.system_init 经过一系列调用后转到system_init方法,这是一个JNI方法 extern "C" status_t system_init() { LOGI("Entered system_init()"); sp<ProcessState> proc(ProcessState::self()); sp<IServiceManager> sm = defaultServiceManager(); LOGI("ServiceManager: %p\n", sm.get()); sp<GrimReaper> grim = new GrimReaper(); sm->asBinder()->linkToDeath(grim, grim.get(), 0); char propBuf[PROPERTY_VALUE_MAX]; property_get("system_init.startsurfaceflinger", propBuf, "1"); if (strcmp(propBuf, "1") == 0) { // Start the SurfaceFlinger SurfaceFlinger::instantiate(); } // Start the sensor service SensorService::instantiate(); // On the simulator, audioflinger et al don't get started the // same way as on the device, and we need to start them here if (!proc->supportsProcesses()) { // Start the AudioFlinger AudioFlinger::instantiate(); // Start the media playback service MediaPlayerService::instantiate(); // Start the camera service CameraService::instantiate(); // Start the audio policy service AudioPolicyService::instantiate(); } // And now start the Android runtime. We have to do this bit // of nastiness because the Android runtime initialization requires // some of the core system services to already be started. // All other servers should just start the Android runtime at // the beginning of their processes's main(), before calling // the init function. LOGI("System server: starting Android runtime.\n"); AndroidRuntime* runtime = AndroidRuntime::getRuntime(); LOGI("System server: starting Android services.\n"); runtime->callStatic("com/android/server/SystemServer", "init2"); // If running in our own process, just go into the thread // pool. Otherwise, call the initialization finished // func to let this process continue its initilization. if (proc->supportsProcesses()) { LOGI("System server: entering thread pool.\n"); ProcessState::self()->startThreadPool(); IPCThreadState::self()->joinThreadPool(); LOGI("System server: exiting thread pool.\n"); } return NO_ERROR; } 在这个方法中,创建了SurfaceFlinger、SensorService、AudioFlinger、MediaPlayerService、CameraService和AudioPolicyService这几个服务,然后就通过系统全局唯一的AndroidRuntime实例变量runtime的callStatic来调用SystemServer的init2函数了。init2函数很简单,创建一个线程,而PackageManagerService就是在这个线程中创建的。 public class SystemServer { ...... public static final void init2() { Slog.i(TAG, "Entered the Android system server!"); Thread thr = new ServerThread(); thr.setName("android.server.ServerThread"); thr.start(); } } 3)ServerThread.run class ServerThread extends Thread { ...... @Override public void run() { ...... IPackageManager pm = null; ...... // Critical services... try { ...... Slog.i(TAG, "Package Manager"); pm = PackageManagerService.main(context, factoryTest != SystemServer.FACTORY_TEST_OFF); ...... } catch (RuntimeException e) { Slog.e("System", "Failure starting core service", e); } ...... } ...... } 在这个线程中创建了PackageManagerService,并同时启动了其main函数。另外在这个线程中还启动了ActivityManagerService等其他Service 2.应用安装 接下来再来看看PackageManagerService启动之后如何进行应用程序的安装。 1)PackageManagerService.main class PackageManagerService extends IPackageManager.Stub { ...... public static final IPackageManager main(Context context, boolean factoryTest) { PackageManagerService m = new PackageManagerService(context, factoryTest); ServiceManager.addService("package", m); return m; } ...... } 可以看到,创建完成后,就加载到ServiceManager中。接下来看看PackageManagerService的构造函数: class PackageManagerService extends IPackageManager.Stub { ...... public PackageManagerService(Context context, boolean factoryTest) { ...... synchronized (mInstallLock) { synchronized (mPackages) { ...... File dataDir = Environment.getDataDirectory(); mAppDataDir = new File(dataDir, "data"); mSecureAppDataDir = new File(dataDir, "secure/data"); mDrmAppPrivateInstallDir = new File(dataDir, "app-private"); ...... mFrameworkDir = new File(Environment.getRootDirectory(), "framework"); mDalvikCacheDir = new File(dataDir, "dalvik-cache"); ...... // Find base frameworks (resource packages without code). mFrameworkInstallObserver = new AppDirObserver( mFrameworkDir.getPath(), OBSERVER_EVENTS, true); mFrameworkInstallObserver.startWatching(); scanDirLI(mFrameworkDir, PackageParser.PARSE_IS_SYSTEM | PackageParser.PARSE_IS_SYSTEM_DIR, scanMode | SCAN_NO_DEX, 0); // Collect all system packages. mSystemAppDir = new File(Environment.getRootDirectory(), "app"); mSystemInstallObserver = new AppDirObserver( mSystemAppDir.getPath(), OBSERVER_EVENTS, true); mSystemInstallObserver.startWatching(); scanDirLI(mSystemAppDir, PackageParser.PARSE_IS_SYSTEM | PackageParser.PARSE_IS_SYSTEM_DIR, scanMode, 0); // Collect all vendor packages. mVendorAppDir = new File("/vendor/app"); mVendorInstallObserver = new AppDirObserver( mVendorAppDir.getPath(), OBSERVER_EVENTS, true); mVendorInstallObserver.startWatching(); scanDirLI(mVendorAppDir, PackageParser.PARSE_IS_SYSTEM | PackageParser.PARSE_IS_SYSTEM_DIR, scanMode, 0); mAppInstallObserver = new AppDirObserver( mAppInstallDir.getPath(), OBSERVER_EVENTS, false); mAppInstallObserver.startWatching(); scanDirLI(mAppInstallDir, 0, scanMode, 0); mDrmAppInstallObserver = new AppDirObserver( mDrmAppPrivateInstallDir.getPath(), OBSERVER_EVENTS, false); mDrmAppInstallObserver.startWatching(); scanDirLI(mDrmAppPrivateInstallDir, PackageParser.PARSE_FORWARD_LOCK, scanMode, 0); ...... } } } ...... } 可以看到,在构造函数中,PackageManagerService(PMS)会扫描特定目录下的APK文件,然后进行相关的加载工作,这些目录包括: /system/framework /system/app /vendor/app /data/app /data/app-private 在每个路径下,都调用了scanDirLI函数,接下来看看对应的函数做了些什么。 2)PackageParser.parsePackage scanDirLI中又经过多次调用,具体就是扫描对应目录的文件,如果是apk文件,就找到apk文件中的manifest文件,最后再为每一个apk创建一个PackageParser对象,并将manifest文件传递给PackageParser.parsePackage。 public class PackageParser { ...... private Package parsePackage( Resources res, XmlResourceParser parser, int flags, String[] outError) throws XmlPullParserException, IOException { ...... String pkgName = parsePackageName(parser, attrs, flags, outError); ...... final Package pkg = new Package(pkgName); ...... int type; ...... TypedArray sa = res.obtainAttributes(attrs, com.android.internal.R.styleable.AndroidManifest); ...... while ((type=parser.next()) != parser.END_DOCUMENT && (type != parser.END_TAG || parser.getDepth() > outerDepth)) { if (type == parser.END_TAG || type == parser.TEXT) { continue; } String tagName = parser.getName(); if (tagName.equals("application")) { ...... if (!parseApplication(pkg, res, parser, attrs, flags, outError)) { return null; } } else if (tagName.equals("permission-group")) { ...... } else if (tagName.equals("permission")) { ...... } else if (tagName.equals("permission-tree")) { ...... } else if (tagName.equals("uses-permission")) { ...... } else if (tagName.equals("uses-configuration")) { ...... } else if (tagName.equals("uses-feature")) { ...... } else if (tagName.equals("uses-sdk")) { ...... } else if (tagName.equals("supports-screens")) { ...... } else if (tagName.equals("protected-broadcast")) { ...... } else if (tagName.equals("instrumentation")) { ...... } else if (tagName.equals("original-package")) { ...... } else if (tagName.equals("adopt-permissions")) { ...... } else if (tagName.equals("uses-gl-texture")) { ...... } else if (tagName.equals("compatible-screens")) { ...... } else if (tagName.equals("eat-comment")) { ...... } else if (RIGID_PARSER) { ...... } else { ...... } } ...... return pkg; } ...... private Package parsePackage( Resources res, XmlResourceParser parser, int flags, String[] outError) throws XmlPullParserException, IOException { ...... String pkgName = parsePackageName(parser, attrs, flags, outError); ...... final Package pkg = new Package(pkgName); ...... int type; ...... TypedArray sa = res.obtainAttributes(attrs, com.android.internal.R.styleable.AndroidManifest); ...... while ((type=parser.next()) != parser.END_DOCUMENT && (type != parser.END_TAG || parser.getDepth() > outerDepth)) { if (type == parser.END_TAG || type == parser.TEXT) { continue; } String tagName = parser.getName(); if (tagName.equals("application")) { ...... if (!parseApplication(pkg, res, parser, attrs, flags, outError)) { return null; } } else if (tagName.equals("permission-group")) { ...... } else if (tagName.equals("permission")) { ...... } else if (tagName.equals("permission-tree")) { ...... } else if (tagName.equals("uses-permission")) { ...... } else if (tagName.equals("uses-configuration")) { ...... } else if (tagName.equals("uses-feature")) { ...... } else if (tagName.equals("uses-sdk")) { ...... } else if (tagName.equals("supports-screens")) { ...... } else if (tagName.equals("protected-broadcast")) { ...... } else if (tagName.equals("instrumentation")) { ...... } else if (tagName.equals("original-package")) { ...... } else if (tagName.equals("adopt-permissions")) { ...... } else if (tagName.equals("uses-gl-texture")) { ...... } else if (tagName.equals("compatible-screens")) { ...... } else if (tagName.equals("eat-comment")) { ...... } else if (RIGID_PARSER) { ...... } else { ...... } } ...... return pkg; } ...... } 这里就是对AndroidManifest.xml文件中的application标签进行解析了,我们常用到的标签就有activity、service、receiver和provider,这里解析完成后,一层层返回,调用另一个版本的scanPackageLI函数把来解析后得到的应用程序信息保存下来。 class PackageManagerService extends IPackageManager.Stub { ...... // Keys are String (package name), values are Package. This also serves // as the lock for the global state. Methods that must be called with // this lock held have the prefix "LP". final HashMap<String, PackageParser.Package> mPackages = new HashMap<String, PackageParser.Package>(); ...... // All available activities, for your resolving pleasure. final ActivityIntentResolver mActivities = new ActivityIntentResolver(); // All available receivers, for your resolving pleasure. final ActivityIntentResolver mReceivers = new ActivityIntentResolver(); // All available services, for your resolving pleasure. final ServiceIntentResolver mServices = new ServiceIntentResolver(); // Keys are String (provider class name), values are Provider. final HashMap<ComponentName, PackageParser.Provider> mProvidersByComponent = new HashMap<ComponentName, PackageParser.Provider>(); ...... private PackageParser.Package scanPackageLI(PackageParser.Package pkg, int parseFlags, int scanMode, long currentTime) { ...... synchronized (mPackages) { ...... // Add the new setting to mPackages mPackages.put(pkg.applicationInfo.packageName, pkg); ...... int N = pkg.providers.size(); int i; for (i=0; i<N; i++) { PackageParser.Provider p = pkg.providers.get(i); p.info.processName = fixProcessName(pkg.applicationInfo.processName, p.info.processName, pkg.applicationInfo.uid); mProvidersByComponent.put(new ComponentName(p.info.packageName, p.info.name), p); ...... } N = pkg.services.size(); for (i=0; i<N; i++) { PackageParser.Service s = pkg.services.get(i); s.info.processName = fixProcessName(pkg.applicationInfo.processName, s.info.processName, pkg.applicationInfo.uid); mServices.addService(s); ...... } N = pkg.receivers.size(); r = null; for (i=0; i<N; i++) { PackageParser.Activity a = pkg.receivers.get(i); a.info.processName = fixProcessName(pkg.applicationInfo.processName, a.info.processName, pkg.applicationInfo.uid); mReceivers.addActivity(a, "receiver"); ...... } N = pkg.activities.size(); for (i=0; i<N; i++) { PackageParser.Activity a = pkg.activities.get(i); a.info.processName = fixProcessName(pkg.applicationInfo.processName, a.info.processName, pkg.applicationInfo.uid); mActivities.addActivity(a, "activity"); ...... } ...... } ...... return pkg; } ...... } 到这里整个应用的安装过程就介绍完了。其实整个过程还是很明确,清晰的。 接下来再来总结一下整个启动过程: Zygote—>启动SystemServer—>启动ServerThread—>启动PackageManagerService—>扫描特定目录下的apk文件,进行加载—>解析APK的manifest文件,将配置信息加载到PackageManagerService中

优秀的个人博客,低调大师

Android应用框架之BroadcastReceiver

广播机制是Android系统中的一种消息传播机制,通过观察者模式实现了消息发送者与消息接收者之间的解耦。BroadcastReceiver的使用方式有两种,一种是静态注册,即在Manifest文件中注册,然后在需要发送广播时调用context.sendBroadcast(intent);;第二种是动态注册。BroadcastReceiver的使用不是本文的重点,本文将着重讲解广播的注册过程和消息发送及接收过程。 1 广播注册过程 广播的静态注册是通过PMS(PackageManagerService)来完成的,其余三大组件也是通过PMS来完成注册的。这里重点讲一下BroadcastReceiver的动态启动方法。和Activity以及Service一样,其启动过程也是通过ContextWrapper-->ContextImpl来完成的。其主要的启动函数是ContextImpl.registerReceiver: private Intent registerReceiverInternal(BroadcastReceiver receiver, int userId, IntentFilter filter, String broadcastPermission, Handler scheduler, Context context) { IIntentReceiver rd = null; ...... rd = mPackageInfo.getReceiverDispatcher(receiver, context, scheduler, mMainThread.getInstrumentation, true); ...... return ActivityManagerNatvice.getDefault().registerReceiver(mMainThread.getApplicationThread(), mBasePackageName, rd, filter, boradcastPermission, userId); ...... } 从上面的代码可以看出主要做了两件事: 从mPackageInfo获取IIntentReceiver对象,之所以这样和bindService是一样的,因为上述的注册过程是一个跨进程的通信方式,而BroadcastReceiver作为Android的一个组件是不能直接跨进程传递的,所以需要使用IIntentReceiver来中转。其具体是由LoadedApk.ReceiverDispatcher.InnerReceiver,ReceiverDispatcher内部同时保存了BroadcastReceiver和InnerReceiver,所以当接收到广播时,ReceiverDispatcher可以很方便地调用BroadcastReceiver.onReceive()方法。 通过ActivityManagerNative.getDefault()获取ActivityManagerService,然后通过AMS来完成广播的注册过程。 接下来具体看一下AMS的registerReceiver具体的实现: public Intent registerReceiver(IApplicationThread caller, String callerPackage, IIntentReceiver receiver, IntentFilter filter, String permission, int userId) { ...... mRegisterReceivers.put(receiver.asBinder(), rl); BroadcastFilter bf = new BroadcastFilter(filter, rl, callerPackage, permission, callingUid, userId); rl.add(bf); mReceiverResolver.addFilter(bf); } 2 广播的发送和接收过程 广播的发送通过ContextImpl.sendBroadcast方法: public void sendBroadcast(Intent intent) { ...... ActivityManagerNative.getDefault().broadcastIntent(mMainThread.getApplicationThread(), intent, resolvedType, null, Activity.RESULT_OK, null, null, null, AppOpsManager.OP_NONE, false, false, getUserId()); ...... } 不出意料,任务又转到了AMS中,AMS在接收到这个指令会调用内部的broadcastIntentLocked方法,在该方法中,AMS会根据intent-filter查找出匹配的广播接收者,并通过一系列的条件过滤,并将最终满足条件的广播接收者添加到BroadcastQueue中,然后BroadcastQueue会将广播发送到相应的广播接收者,核心代码如下: BroadcastQueue queue = broadcastQueueForIntent(intent); BroadcastRecord r = new BroadcastRecord(queue, intent, callerApp, callerPackage, callingPid, callingUid, resolvedType, requiredPermission, appOp, receivers, resultTo, resultCode, resultData, map, ordered, sticky, false, userId); ...... queue.enqueOrderedBroadcastLocked(r); queue.scheduleBroadcastsLocked(); 下面再看一下在BroadcastQueue中发送广播scheduleBroadcastsLocked的实现: public void scheduleBroadcastsLocked(){ ...... mHandler.sendMessage(mHandler.obtainMessage(BROADCAST_INTENT_MSG, this)); ...... } 实际上BroadcastQueue的scheduleBroadcastsLocked方法没有立即发送广播,而是发送了一个BROADCAST_INTENT_MSG类型的消息,BroadcastQueue收到该消息后会调用processNestBroadcast方法: while(mParallelBroadcasts.size() > 0) { r = mParallelBroadcasts.remove(0); r.dispatchTime = SystemClock.uptimeMillis(); r.dispatchClockTime = System.currentTimeMillis(); final int N = r.recivers.size(); for(int i = 0; i < N; i++) { Object target = r.receivers.get(i); deliverToRegisteredReceiverLocked(r, (BroadcastFilter)target, false); } addBroadcastToHistoryLocked(r); } 可以看到无序广播存储在mParallelBroadcasts中,系统遍历该队列,并将广播发送给它所有的接收者。具体的发送工作通过deliverToRegisteredReceiverLocked完成,在该函数内部通过performReceivedLocked来完成: private static void performReceiveLocked(ProcessRecord app, IIntentReceiver receiver, Intent intent, int resultCode, String data, Bundle extras, boolean ordered, boolean sticky, int sendingUser) throws RemoteException { ...... app.thread.scheduleRegisteredReceiver(receiver, intent, resultCode, data, extras, ordered, sticky, sendingUser, app.repProcState); ...... } ApplicationThread的scheduleRegisteredReceiver会调用InnerReceiver.performReceive来实现广播的接收。而在这个方法中会调用LoadedApk.ReceiverDispatcher.performReceive方法: public void performReceive(Intent intent, int resultCode, String data, Bundle extras, boolean ordered, boolean sticky, int sendingUser) { ...... Args args = new Args(intent, resultCode, data, extras, ordered, sticky, sendingUser); if(!mActivityThread.post(args)) { if(mRistered && ordered) { IActivityManager mgr = ActivityManagerNative.getDefault(); args.sendFinished(mgr); } } } 在上面的代码中,会创建一个Args对象,并通过mActivityThread的post方法来执行Args的逻辑,Args实际上是一个Runnable接口。mActivityThread是一个Handler,其实就是ActivityThread中的mH,类型是H。Args中的run方法有如下几行代码: final BroadcastReceiver receiver = mReceiver; receiver.setPendingResult(this); receiver.onReceive(mContext, intent); 这个时候BroadcastReceiver的onReceive方法才被执行,也就接收到广播了。

优秀的个人博客,低调大师

MapReduce框架Partitioner分区方法

前言:对于二次排序相信大家也是似懂非懂,我也是一样,对其中的很多方法都不理解诶,所有只有暂时放在一边,当你接触到其他的函数,你知道的越多时你对二次排序的理解也就更深入了,同时建议大家对wordcount的流程好好分析一下,要真正的知道每一步都是干什么的。 1.Partitioner分区类的作用是什么?2.getPartition()三个参数分别是什么?3.numReduceTasks指的是设置的Reducer任务数量,默认值是是多少?扩展:如果不同类型的数据被分配到了同一个分区,输出的数据是否还是有序的? 在进行MapReduce计算时,有时候需要把最终的输出数据分到不同的文件中,比如按照省份划分的话,需要把同一省份的数据放到一个文件中;按照性别划分的话,需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么,如果要得到多个文件,意味着有同样数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务,也就说Mapper任务要划分数据,对于不同的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程就称作Partition。负责实现划分数据的类称作Partitioner。 Partitoner类的源码如下: package org.apache.hadoop.mapreduce.lib.partition; import org.apache.hadoop.mapreduce.Partitioner; /** Partition keys by their {@link Object#hashCode()}. */ public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to partition. */ public int getPartition(K key, V value, int numReduceTasks) { //默认使用key的hash值与上int的最大值,避免出现数据溢出 的情况 return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; } } HashPartitioner是处理Mapper任务输出的,getPartition()方法有三个形参,源码中key、value分别指的是Mapper任务的输出,numReduceTasks指的是设置的Reducer任务数量,默认值是1。那么任何整数与1相除的余数肯定是0。也就是说getPartition(…)方法的返回值总是0。也就是Mapper任务的输出总是送给一个Reducer任务,最终只能输出到一个文件中。 据此分析,如果想要最终输出到多个文件中,在Mapper任务中对数据应该划分到多个区中。那么,我们只需要按照一定的规则让getPartition(…)方法的返回值是0,1,2,3…即可。 大部分情况下,我们都会使用默认的分区函数,但有时我们又有一些,特殊的需求,而需要定制Partition来完成我们的业务,案例如下: 对如下数据,按字符串的长度分区,长度为1的放在一个,2的一个,3的各一个。 河南省;1 河南;2 中国;3 中国人;4 大;1 小;3 中;11 这时候,我们使用默认的分区函数,就不行了,所以需要我们定制自己的Partition,首先分析下,我们需要3个分区输出,所以在设置reduce的个数时,一定要设置为3,其次在partition里,进行分区时,要根据长度具体分区,而不是根据字符串的hash码来分区。核心代码如下: public static class PPartition extends Partitioner<Text, Text>{ @Override public int getPartition(Text arg0, Text arg1, int arg2) { /** * 自定义分区,实现长度不同的字符串,分到不同的reduce里面 * * 现在只有3个长度的字符串,所以可以把reduce的个数设置为3 * 有几个分区,就设置为几 * */ String key=arg0.toString(); if(key.length()==1){ return 1%arg2; }else if(key.length()==2){ return 2%arg2; }else if(key.length()==3){ return 3%arg2; } return 0; } } 在运行Mapreduce程序时,只需在主函数里加入如下两行代码即可: job.setPartitionerClass(PPartition.class); job.setNumReduceTasks(3);//设置为3

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册