首页 文章 精选 留言 我的

精选列表

搜索[学习],共10000篇文章
优秀的个人博客,低调大师

《Scala机器学习》一一3.1 安装Spark

3.1 安装Spark如果读者还没有安装过Spark,可从http://spark.apache.org/downloads.html下载预先编译好的Spark包。在写本书时的发布版本为1.6.1。 图3-1 本章建议的下载链接http://spark.apache.org/downloads.html读者也可通过下面的链接下载完整的源代码来构建Spark: 命令将下载必要的依赖并在Spark目录中创建spark-2.0.0-SNAPSHOT-bin-alex-spark-build-2.6-yarn.tgz文件,其版本是2.0.0,这是在写本书时最新的发行版本。一般来说,如果不是对最新功能感兴趣,不建议从主分支进行构建。如果需要一个发行版本,可以从相应标签迁出(checkout)。通过git branch -r命令可以获得有效版本的

优秀的个人博客,低调大师

Android 数字签名学习笔记

在Android系统中,所有安装到系统的应用程序都必有一个数字证书,此数字证书用于标识应用程序的作者和在应用程序之间建立信任关系,如果一个permission的protectionLevel为signature,那么就只有那些跟该permission所在的程序拥有同一个数字证书的应用程序才能取得该权限。Android使用Java的数字证书相关的机制来给apk加盖数字证书,要理解android的数字证书,需要先了解以下数字证书的概念和java的数字证书机制。Android系统要求每一个安装进系统的应用程序都是经过数字证书签名的,数字证书的私钥则保存在程序开发者的手中。Android将数字证书用来标识应用程序的作者和在应用程序之间建立信任关系,不是用来决定最终用户可以安装哪些应用程序。这个数字证书并不需要权威的数字证书签名机构认证,它只是用来让应用程序包自我认证的。 同一个开发者的多个程序尽可能使用同一个数字证书,这可以带来以下好处。 (1)有利于程序升级,当新版程序和旧版程序的数字证书相同时,Android系统才会认为这两个程序是同一个程序的不同版本。如果新版程序和旧版程序的数字证书不相同,则Android系统认为他们是不同的程序,并产生冲突,会要求新程序更改包名。 (2)有利于程序的模块化设计和开发。Android系统允许拥有同一个数字签名的程序运行在一个进程中,Android程序会将他们视为同一个程序。所以开发者可以将自己的程序分模块开发,而用户只需要在需要的时候下载适当的模块。 (3)可以通过权限(permission)的方式在多个程序间共享数据和代码。Android提供了基于数字证书的权限赋予机制,应用程序可以和其他的程序共享概功能或者数据给那那些与自己拥有相同数字证书的程序。如果某个权限(permission)的protectionLevel是signature,则这个权限就只能授予那些跟该权限所在的包拥有同一个数字证书的程序。 在签名时,需要考虑数字证书的有效期: (1)数字证书的有效期要包含程序的预计生命周期,一旦数字证书失效,持有改数字证书的程序将不能正常升级。 (2)如果多个程序使用同一个数字证书,则该数字证书的有效期要包含所有程序的预计生命周期。 (3)Android Market强制要求所有应用程序数字证书的有效期要持续到2033年10月22日以后。 Android数字证书包含以下几个要点: (1)所有的应用程序都必须有数字证书,Android系统不会安装一个没有数字证书的应用程序 (2)Android程序包使用的数字证书可以是自签名的,不需要一个权威的数字证书机构签名认证 (3)如果要正式发布一个Android ,必须使用一个合适的私钥生成的数字证书来给程序签名,而不能使用adt插件或者ant工具生成的调试证书来发布。 (4)数字证书都是有有效期的,Android只是在应用程序安装的时候才会检查证书的有效期。如果程序已经安装在系统中,即使证书过期也不会影响程序的正常功能。 (5)Android使用标准的java工具Keytool and Jarsigner来生成数字证书,并给应用程序包签名。 (6)使用zipalign优化程序。 Android系统不会安装运行任何一款未经数字签名的apk程序,无论是在模拟器上还是在实际的物理设备上。Android的开发工具(ADT插件和Ant)都可以协助开发者给apk程序签名,它们都有两种模式:调试模式(debug mode)和发布模式(release mode)。 在调试模式下,android的开发工具会在每次编译时使用调试用的数字证书给程序签名,开发者无须关心。 当要发布程序时,开发者就需要使用自己的数字证书给apk包签名,可以有两种方法。 (1)在命令行下使用JDK中的和Keytool(用于生成数字证书)和Jarsigner(用于使用数字证书签名)来给apk包签名。 (2)使用ADT Export Wizard进行签名(如果没有数字证书可能需要生成数字证书)。 使用Keytool和Jarsigner给程序签名 命令:keytool -genkey -v -keystore android.keystore -alias android -keyalg RSA -validity 20000 该命令中,-keystore ophone.keystore 表示生成的证书,可以加上路径(默认在用户主目录下);-alias ophone 表示证书的别名是ophone;-keyalg RSA 表示采用的RSA算法;-validity 20000表示证书的有效期是20000天。 此时,我们会在互用主目录下看到ophone.keystore,即我们刚刚创建的证书。 接着对程序进行签名: jarsigner用法: [选项] jar 文件别名 jarsigner -verify [选项] jar 文件 执行:jarsigner -verbose -keystore android.keystore -signedjar android123_signed.apk android123.apkandroid就可以生成签名的apk文件,这里输入文件android123.apk,最终生成android123_signed.apk为Android签名后的APK执行文件。下面提示输入的密码和keytool输入的一样就行了。(不过在我的JDK目录下没有找到jarsigner这个程序,不知道是怎么回事) 使用ADT Export Wizard进行签名 应用程序(apk)签名,在EC中,右键单击应用程序工程,如图选择 选择证书的存放路径,填写相关资料,完成,即可生成被签名的apk文件。如下图所示: 如上图所示,我们可以看到也可以在这里选择”Create new keystore“来创建一个证书。输入密码,点击下一步,填写相关信息,如下图所示。 使用zipalign优化APK 根据官方文档的描述,Android系统中Application的数据都保存在它的APK文件中,同时可以被多个进程访问,安装的过程包括如下几个步骤: Installer通过每个apk的manifest文件获取与当前应用程序相关联的permissions信息 Home application读取当前APK的Name和Icon等信息。 System server将读取一些与Application运行相关信息,例如:获取和处理Application的notifications请求等。 最后,APK所包含的内容不仅限于当前Application所使用,而且可以被其它的Application调用,提高系统资源的可复用性。 zipalign优化的最根本目的是帮助操作系统更高效率的根据请求索引资源,将resource-handling code统一将Data structure alignment(数 据结构对齐标准:DSA)限定为4-byte boundaries。如果不采取对齐的标 准,处理器无法准确和快速的在内存地址中定位相关资源。目前的系统中使用fallback mechanism机制处理那些没有应用DSA标准的应用程序,这的确大大的方便了普通开发者无需关注繁琐的内存操作问题。但是相反,对于这样的应用程序 将给普通用户带来一定的麻烦,不但影响程序的运行的效率,而且使系统的整体执行效率下降和占用大量不必要的内存资源,甚至消耗一定的电池资源 (battery life)。 命令行方式手动优化: 利用tools文件夹下的zipalign工具。首先调出cmd命令行,然后执行:zipalign -v 4 source.apk androidres.apk。这个方法不受API Level的限制,可以对任何版本的APK执行Align优化。 同时可以利用zipalign工具检查当前APK是否已经执行过Align优化。命令:zipalign -c -v 4 androidres.apk 使用ADT自动优化: 从 ADT 0.9.3版本开始,可以通过export wizard自动对发布的application packages执行align操作。设置方法:鼠标右键点击Project,然后选择”Android Tools” > “Export Signed Application Package…”。 综上所述,可以使用Keytool、Jarsigner、zipalign 给程序签名并优化程序,这样就需要三个不同的工具: keytool -genkey -v -keystore android.keystore -alias android -keyalg RSA -validity 20000 jarsigner -verbose -keystore android.keystore -signedjar android123_signed.apk android123.apk android zipalign -v 4 android123_signed.apk android123_signed_aligned.apk 当然,也可以通过ADT插件中Export Signed Application Package…来执行,图形界面更为简单、形象、直观。 参考:blog.csdn.net/zgfee/archive/2009/11/11/4796831.aspx Android SDK:androidappdocs.appspot.com/guide/publishing/app-signing.html android123.com.cn/androidkaifa/173.html yarin.javaeye.com/blog/549280 androidres.com/index.php/2009/10/18/use-zipalign-to-optimize-your-application-packages/ 本文转自feisky博客园博客,原文链接:http://www.cnblogs.com/feisky/archive/2010/01/17/1650076.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

云服务器 ECS 学习笔记

云服务器 ECS云服务器 Elastic Compute Service(ECS)是阿里云提供的一种基础云计算服务阿里云专有网络:在阿里云专有网络之上,可以产生更多的业务可能性。阿里云专有网络更加稳定和安全。 纵向的弹性,即单个服务器的配置变更 对于阿里云的弹性而言,是计算的弹性、存储的弹性、网络的弹性以及您对于业务架构重新规划的弹性 实例规格族,根据业务场景可分为:面向通用计算场景的实例规格族面向内存优化场景的实例规格族面向计算优化场景的实例规格族面向存储优化场景的实例规格族面向异构计算场景的实例规格族面向临时使用场景的实例规格族 规格族之间的变配逻辑三种共享实例规格族(XN4、N4、MN4)之间以及规格族内部可以变更配置。三种独享实例规格族(SN1、SN2、SE1)之间以及规格族内部可以变更配置。三种计算优化的规格族(C4、CM4、CE4)之间以及规格族内部可以变更配置。异构计算 GA1 规格族内部规格之间可以变更配置。异构计算 GN4 规格族内部规格之间可以变更配置。 三种共享实例规格族(N1、N2、E3)之间以及规格族内部可以变更配置。 I/O 优化实例支持两种磁盘:SSD 云盘超高效云盘 实例的生命周期是从创建(购买)开始到最后释放(包年包月实例到期、按量付费实例欠费停机或者按量付费实例用户主动释放)。 竞价实例是专为降低用户ECS计算成本而设计的一种按需实例 竞价实例以小时为单位进行付费,并且采用“ 先使用后付费”的模式。 云盘分为 高效云盘、SSD 云盘和普通云盘。高效云盘采用固态硬盘与机械硬盘的混合介质作为存储介质SSD 云盘利用分布式三副本机制SSD 云盘只有挂载到 I/O 优化的实例时,才能获得期望的 IOPS 性能。挂载到非 I/O 优化的实例时无法获得期望的 IOPS 性能。普通云盘采用机械磁盘作为存储介质 ChunkECS 用户对虚拟磁盘的读写最终都会被映射为对阿里云数据存储平台上的文件的读写。阿里云提供一个扁平的线性存储空间,在内部会对线性地址进行切片,一个分片称为一个 Chunk;对于每一个 Chunk,阿里云会复制出三个副本,并将这些副本按照一定的策略存放在集群中的不同节点上,保证用户数据的可靠。 三份副本的原理在阿里云数据存储系统中,有三类角色,分别称为 Master、Chunk Server,以及 Client。 1.Client 计算出这个写操作对应的 Chunk。2。Client 向 Master 查询该 Chunk 的三份副本的存放位置。3.Client 根据 Master 返回的结果,向这 3 个 Chunk Server 发出写请求。4.如果三份都写成功,Client 向用户返回成功;反之,Client 向用户返回失败。 至于 ECS 实例内由于病毒感染、人为误删除或黑客入侵等软故障原因造成的数据丢失,需要采用备份、快照等技术手段来解决。 目前只要是相同地域下,SLB 、RDS 、OSS 同 ECS 之间都是可以直接内网互通连接使用的 公网 IP 可以用于以下情况:ECS 实例与 Internet 之间互访ECS 实例与云服务之间互访 云服务器 ECS 不支持组播和广播 专有网络(VPC)类型的ECS实例有两种公网 IP 类型:公网 PublicIP弹性公网IP(EIP) 公网 PublicIP 是随实例一起创建分配的或升级0Mbps带宽系统自动分配,分配后不能解绑,只能随实例一起释放。如果您需要可以长期保留某个公网 IP,可以绑定和解绑在需要的云服务器上,请选择弹性公网 IP(EIP)。弹性公网 IP(EIP)是可以单独申请,可以绑定到没有分配公网 IP(PublicIP 或者 EIP)的实例,也可以从实例上解绑,绑定到另外一个实例上,还可以单独进行释放。一个专有网络类型的 ECS 实例上最多只能分配一个公网 IP,要么公网 PublicIP,要么弹性公网 IP。 专有网络和经典网络的 PublicIP 异同相同点:都是可以通过 PublicIP 进行访问 Internet 的。在产品上的所有操作都相同,随实例一起购买,可以升级带宽,不能解绑,可以随实例一起释放。区别:专有网络的 PublicIP 是 NAT IP,在机器内部无法通过命令行查询;经典网络是 BindingIP,可以在机器中通过命令行查询。 安全组是一个逻辑上的分组,这个分组是由同一个地域(Region)内具有相同安全保护需求并相互信任的实例组成。每个实例至少属于一个安全组,在创建的时候就需要指定。同一安全组内的实例之间网络互通,不同安全组的实例之间默认内网不通。可以授权两个安全组之间互访。安全组是一种虚拟防火墙,具备状态检测包过滤功能。安全组用于设置单台或多台云服务器的网络访问控制,它是重要的网络安全隔离手段,用于在云端划分安全域 每个安全组最多有 100 条安全组规则 镜像是云服务器 ECS 实例运行环境的模板,一般包括操作系统和预装的软件 所谓快照,就是某一个时间点上某一个磁盘的数据备份。 快照可以分为手动快照和自动快照。 快照链是一个磁盘中所有快照组成的关系链,一个磁盘对应一条快照链。

优秀的个人博客,低调大师

从titan0.5.4源码学习maven

看了一遍《maven权威指南》,对着titan-0.5.4的源码琢磨了一下。代码没仔细看,撸了一遍pom.xml文件。 以下是我get到的技能: 1.多模块 titan-0.5.4titan-alltitan-berkeleyjetitan-cassandratitan-coretitan-dist titan-dist-hadoop-1 titan-dist-hadoop-2titan-estitan-hadoop-parent titan-hadoop titan-hadoop-1 titan-hadoop-2 titan-hadoop-coretitan-hbase-parent titan-hbase titan-hbase-094 titan-hbase-096 titan-hbase-098 titan-hbase-coretitan-lucenetitan-rexstertitan-solrtitan-test titan-all:没有什么实质的作用。titan-all里引用了titan这个项目的其他模块。假如我有一个模块引用了好几个其它的模块,我不想写那么多<dependency>怎么办?把这些依赖放到titan-all里,然后只引用titan-all这一个”jar“就好了。titan-dist:这个是为了发布的时候用的。注意titan-dist里引用了titan-all。 titan-hbase-0.9.x: hbase0.94对应haddoop1, hbase0.96,hbase0.98对应hadoop2。由pom的<profile>里的<activeByDefault>true</activeByDefault>明确指出 titan-hbase:就是把titan-hbase-parent下其他模块的代码都整到一个jar包里。看下图。titan-hadoop:就是把titan-hadoop-parent下其他模块的代码都整到一个jar包里。看下图。titan-hbase-parent和titan-hadoop-parent:就是一个空壳子。titan-core里用到了titan-hbase和titan-solr模块里的东西,可是titan-core里并没有依赖titan-hbase和titan-solr。这怎么回事? titan-core里通过反射类全名来使用titan-hbase和titan-solr模块下的东西。HBASE("com.thinkaurelius.titan.diskstorage.hbase.HBaseStoreManager", "hbase"),"com.thinkaurelius.titan.diskstorage.solr.SolrIndex", 2.抽取共通 ①父pom.xml里定义的东西,子pom.xml可以继承过来。比如父pom.xml里定义的属性,再比如<pluginManagement>的使用。②titan-all模块 3.profile 根据不同的需要编译不同的版本。注意profile有几种不同的激活条件。如果您不了解,强烈建议百度一下。 4.maven-shade-plugin 解决jar包冲突问题。这就厉害了,也非常实用,这个我是看了《OReilly.Learning.Spark.Lightning-Fast.Big.Data.Analysis》这本书之后才知道的。 假如A依赖C.1,B依赖C.2。 显然C.1版本比较旧怎么办? 用maven-shade-plugin这个插件,它会把包名重新命名。说实话我没用过。强烈建议试试。 看看titan三百多个jar包啊。简直就是jar hell。但是这么多jar包人家就能很好的解决冲突问题。 5.pom.xml报错问题。pom.xml里报的错有的是m2eclipse插件的问题。并不是你写错了。 这就需要你了解maven里各种phase。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册