首页 文章 精选 留言 我的

精选列表

搜索[最权威安装]，共10039篇文章
优秀的个人博客,低调大师

最危险的Microsoft 365攻击技术

APT组织正在开发新技术，使他们能够避免检测并从电子邮件、SharePoint、OneDrive以及其他应用程序中窃取数百GB的数据。 国家民族资助的网络间谍活动也比以往任何时候都更专注于寻找攻击云的新方法。其中，他们首选的目标之一就是Microsoft 365(以前称为Office 365)，该平台正广泛部署于各种规模的组织系统中。 从情报收集者的角度来看，针对Microsoft 365是绝对有意义的。Mandiant的事件响应经理Doug Bienstock解释称，Microsoft 365就是一座”金矿“。绝大多数(组织的)数据可能会在Microsoft 365 中，无论它是个人电子邮件的内容，还是SharePoint或OneDrive上共享的文件，甚至是Teams消息。 严重依赖Microsoft 365的公司倾向于在其工作的几乎每个方面都应用它，从文档编写到项目规划、任务自动化或数据分析。有些人还会使用Azure Active Directory作为其员工的身份验证提供程序，攻击者自然也知道这一点。所以，通过扩展，获取Active Directory的访问权限就可以授予攻击者访问其他云属性的权限。 在最近举行的Black Hat USA 2021演讲中，Madeley和Bienstock展示了民族国家黑客在针对Microsoft 365中存储数据的攻击活动中使用的一些新技术。研究人员向我们展示了APT组织如何进化以逃避检测并从受害者那里成功提取了数百GB的数据。 Bienstock表示，这些民族国家网络间谍组织正在投入大量时间和精力来了解Microsoft 365。他们比您的系统管理员，甚至可能比微软的一些员工更为了解Microsoft 365。 逃避检测 在过去的一年里，APT组织在避免检测方面变得更好，他们采用了一些以前从未见过的新技术。其中之一就是将用户许可证从Microsoft 365 E5许可证降级为E3许可证，这一过程通常出现在攻击的早期阶段。 E5许可证提供身份和应用程序管理、信息保护以及威胁保护，有助于组织检测和调查威胁，并注意到本地和云环境中的异常恶意活动，而这些都是E3许可证所缺乏的。更成熟的组织依赖于检测的许多高级遥测技术都带有E5许可证。 但遗憾的事实证明，攻击者实际上真的很容易禁用组织拥有的最有效的检测机制。 邮箱文件夹权限滥用 两位研究人员还发现，APT团体将许可证降级的操作是与自2017年以来就一直存在的一种旧技术联合使用的，这种旧技术就是最初由Black Hills Information Security的Beau Bullock在红队背景下描述的“邮箱文件夹权限滥用”。 Madeley解释称，您可以为特定邮箱或邮箱中特定文件夹的用户分配权限。例如，如果两个人一起处理这些项目，则一个人可以拥有对另一个人的特殊项目邮箱文件夹的读取访问权限。或者，某人可以授予他们的同事读取他们日历文件夹的权限，以更有效地安排会议。 可以将邮箱文件夹权限分配为单个权限或角色，它们本质上是文件夹权限的集合。威胁参与者可以将自身伪装成具有读取权限的角色，例如作者、编辑、所有者、出版作者或审阅者，随后他们就可以尝试将这些权限应用于他们控制的用户。 在一个案例中，一名威胁参与者利用了默认用户的概念。如果默认权限级别设置为“无”以外的任何级别，则该组织中的每个用户都可能访问该文件夹或邮箱。另一个特殊用户——匿名者——也是如此，该用户专为未经身份验证的外部用户而设计。 Madeley在研究过程中发现了一名威胁行为者分配了默认的用户审阅者角色，该角色具有读取权限。进行完这种修改之后，任何经过身份验证的用户都可以访问该邮箱文件夹。这种技术虽然不是新的，但仍在被至少一个APT组织所利用，因为它很难被发现。它可以在许可证降级的情况下发挥作用。 如果您没有Microsoft 365 E5许可证附带的邮箱审核功能，您将无法看到网络上这些随机用户的相应邮箱访问行为。想要检测到这一点，您必须枚举环境中每个邮箱的邮箱文件夹权限，如果公司有50人(听起来感觉任务不重)，但却是拥有210,000个用户的租户，则可能需要数周的时间运行脚本。 其他一些方法也可以检测到这一点。例如，管理员可以查找用于访问已修改文件夹的EWS登录。在Azure Active Directory中，这些将被编码为非交互式登录。或者，如果启用了MailItemsAccessed审核，管理员可以查找非所有者访问其高价值邮箱的任何模式。 劫持企业应用程序和应用程序注册 APT组织最近采用的另一种技术是滥用应用程序。应用程序注册(应用程序的初始实例——组织本地的应用程序)和企业应用程序(位于消费租户中的应用程序注册的“副本”——可在组织内使用的全局应用程序)都称为应用程序。 Madeley介绍称，Microsoft给你提供了注册一个应用程序的想法，然后你可以对Graph API进行API调用。你可以简单地利用它来创建新用户以及阅读消息等等。假设您想构建一个第三方邮件应用程序，以便使用它来读写消息。所有API调用都可供您与邮箱交互。 当威胁行为者试图劫持企业应用程序时，他们首先会寻找合法配置的现有应用程序。然后，他们会添加凭据;他们会将自己的API密钥添加到这些应用程序中，然后他们可以使用这些密钥对Microsoft 365进行身份验证。 接下来，他们将确保该应用程序有权访问他们想要的资源，例如阅读邮件。如果他们没有找到满足其需求的应用程序，他们就会继续添加权限。 一旦找到满足需求的应用程序，他们就会立即侵入。他们每天(从周一到周五)都在进行身份验证操作做，读取特定用户24小时内的邮件信息。然后继续登录下一个用户，读取24小时内的邮件，并将其发送到他们自己的服务器中，然后他们就可以随心所欲地阅读其中的内容并获取自己感兴趣的信息。 Mandiant研究人员跟踪的APT组织仅针对少数相关用户，而非全部用户。在大多数情况下，有六到十个非常有价值的人会受到监控。研究人员在一个组织中看到的最多目标邮箱是93个。 Madeley表示，将事情放在上下文中，这种技术可以产生广泛的影响。他说，如果我开发了一个与您共享的企业应用程序，或者我创建了一个其他公司可以使用并可能购买的应用程序蓝图，一旦该应用程序受到威胁，也就意味着威胁参与者可以访问您的租户。因此，这意味着不仅需要保护您自己的数据，还必须担心您获得的企业应用程序的来源，并且确保您供应商的安全性处于同等水平。 黄金SAML(Golden SAML)技术 开展网络间谍活动的先进民族国家行为者不仅对进入环境感兴趣。他们还希望能够秘密进行并尽可能长时间地保持访问权限。 这就是“Golden SAML”技术的用武之地。它已被多个APT组织使用，包括UNC2452/DarkHalo，主要负责对SolarWinds Orion软件进行木马化以分发SUNBURST恶意软件的供应链攻击。此次攻击于2020年12月披露，FireEye是众多受害者之一。 SAML(Security Assertion Markup Language)代表安全主张标记语言，是一种用于在各方之间交换身份验证和授权的开放标准。它旨在简化身份验证过程，启用单点登录(SSO)，允许仅使用一组登录凭据访问多个Web应用程序。 利用Golden SAML技术，攻击者可以创建一个Golden SAML，这实际上是一个伪造的SAML“身份认证对象”，以SAML 2.0协议作为SSO(单点登录)认证机制的任何服务都受此攻击方法影响。 在这种攻击场景中，如果应用支持SAML认证(这类应用包括Azure、AWS、vSphere等)，那么攻击者可以获得该应用的所有访问权限，也能伪装成目标应用上的任何用户(即使某些情况下该应用中并不存在这个用户)。 打个比方，如果你想制作护照，就一定需要一些非常具体的东西，而这些东西正锁在政府某个办公室抽屉中。但是，一旦你连护照设备都得手了，就没有什么能够组织你为任何想要的人制作护照。Golden SAML原理与之非常相似。攻击者正在攻击网络上的特定系统;他们正在窃取私钥，然后，一旦他们拥有该私钥，他们就可以为他们想要的任何用户创建身份验证令牌。 在Golden SAML技术中，攻击者窃取 Active Directory 联合身份验证服务(AD FS)令牌签名密钥。(AD FS 是Windows Servers的一项功能，可实现联合身份和访问管理)当攻击者针对特定用户，并且他们想要访问只有这些用户可能拥有的东西(例如他们SharePoint或OneDrive上的特定文件)时，该技术对于攻击者来说非常方便。 传统意义上，要使用Golden SAML技术，黑客需要破坏该私钥所在环境中的AD FS服务器，这可能很困难，因为该服务器应该会受到很好的保护，但Bienstock和Madeley说有一种方法可以远程窃取它。攻击者仍然需要在公司的专用网络上，但如果拥有正确的特权级别，他们就不一定需要破坏该特定服务器。相反地，他们可以从任何地方进行攻击。 打个比方，就像使用魔法将护照传送出政府办公室。现在，您无需进入护照办公室或在AD FS 服务器上运行代码即可完成这项工作。这项技术具有潜在价值，因为它降低了成功的困难度，而且执行起来更加隐蔽。目前，这种允许攻击者远程窃取密钥的攻击还未在野出现过，但两位研究人员表示，这是当前技术的“自然延伸”，组织应该做好准备防御它。 活动目录联合身份验证服务(AD FS)复制 拥有众多办事处的大型组织可能具备多个AD FS 服务器。他们可能会在一个场所配置两个、三个或四个AD FS 服务器。默认情况下，所有场所节点使用相同的配置和相同的令牌签名证书。每个服务器都有一个私钥，但他们需要一种方法来保持同步。为此，产生了一种复制服务，该服务通过网络运行，不同的服务器可以相互通信。 攻击者可以伪装成执行复制的AD FS服务器，即主AD FS服务器。在某些方面，这种技术与 DCSync攻击非常相似。在 DCSync攻击中，攻击者会伪装成域控制器以获取有关域的身份验证信息。而在这种技术中，攻击者会伪装成另一台AD FS服务器，从网络上的合法服务器获取敏感信息。 Madeley及同事一直专注研究AD FS，因为它是APT威胁参与者针对目标组织使用的更常见的SAML提供程序之一。需要注意的是，Golden SAML攻击的原理不仅限于AD FS。如果您破坏了任何SAML提供商的签名证书，您将面临同样的问题。 大数据泄露 过去，针对Microsoft 365/Office 365 的ATP组织主要搜索特定关键字，然后下载与其请求匹配的文件和电子邮件。现在，研究人员注意到他们倾向于泄露数百GB的数据。 Bienstock表示，在大多数情况下，威胁行为者只是下载该人邮箱中的所有内容。我个人的猜测是：这可能是一种大数据方法。与其在数据所在的地方执行搜索，不如下载尽可能多的数据，然后他们稍后再进行搜索，因为也许他们的收集需求求发生了变化，他们需要新的关键字。 这种方法将使他们能够充分利用数据集合。如果他们必须获得与另一个关键字或另一个秘密项目相关的新信息，他们将不需要再次入侵组织。 研究人员跟踪的一个APT组织在一个月时间里，收集了超过350 GB的数据，至少够他们浏览12个月了。这或许暗示威胁行为者后端有一定程度的大数据分析，而非人为浏览如此海量的电子邮件。 两位研究人员表示，这种大数据方法不足为奇。他们注意到APT参与者正越来越依赖自动化，以及构建工具来为他们执行许多任务。他们努力构造这些自动化收集工具的事实表明，在整个生命周期中都有自动化参与。 缓解Microsoft 365威胁 Bienstock和Madeley预计，APT组织在未来几年会继续更新他们的技能。他们还表示，出于经济动机的团伙可能会开始使用其中一些流行的技术。 Madeley建议管理员学习并了解第三方云集成的细微差别。他们应该知道自己可以使用哪些审计以及他们拥有哪些类型的检测功能，具体取决于Microsoft 365许可证模型。研究人员建议他们在云中建立良好的变更控制流程，因此当威胁行为者对组织的基础设施进行更改时，管理员可以检测到它。 Madeley表示，首先您需要了解自己的环境，了解您注册了哪些应用程序，了解正常情况下的邮箱权限是什么样的，您的身份验证提供者是什么样的，以及它们在您环境中的使用方式。然后就是监控变更行为。 两位研究人员都表示，持续的教育是必不可少的，因为云中的事情进展得更快。目前，微软方面正在努力使其云基础设施更具弹性、安全性和可审计性，但在安全性方面，组织自身也应该尽自己的一份力量。重要的是，企业需要了解他们的盲点在哪里。 本文翻译自：https://www.csoonline.com/article/3628330/the-most-dangerous-and-interesting-microsoft-365-attacks.html?nsdr=true&page=2如若转载，请注明原文地址。
2021-08-17
优秀的个人博客,低调大师

史上最详细Java内存区域讲解

常见面试题 基本问题 介绍下 Java 内存区域（运行时数据区） Java 对象的创建过程（五步，建议能默写出来并且要知道每一步虚拟机做了什么） 对象的访问定位的两种方式（句柄和直接指针两种方式） 拓展问题 String类和常量池 8种基本类型的包装类和常量池 一、概述 对于 Java 程序员来说，在虚拟机自动内存管理机制下，不再需要像C/C++程序开发程序员这样为内一个 new 操作去写对应的 delete/free 操作，不容易出现内存泄漏和内存溢出问题。正是因为 Java 程序员把内存控制权利交给 Java 虚拟机，一旦出现内存泄漏和溢出方面的问题，如果不了解虚拟机是怎样使用内存的，那么排查错误将会是一个非常艰巨的任务。 二、运行时数据区域 Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域。JDK. 1.8 和之前的版本略有不同，下面会介绍到。 JDK 1.8之前： JDK 1.8 ： 线程私有的： 程序计数器 虚拟机栈 本地方法栈 线程共享的： 堆 方法区 直接内存(非运行时数据区的一部分) 2.1 程序计数器 程序计数器是一块较小的内存空间，可以看作是当前线程所执行的字节码的行号指示器。字节码解释器工作时通过改变这个计数器的值来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等功能都需要依赖这个计数器来完。 另外，为了线程切换后能恢复到正确的执行位置，每条线程都需要有一个独立的程序计数器，各线程之间计数器互不影响，独立存储，我们称这类内存区域为“线程私有”的内存。 从上面的介绍中我们知道程序计数器主要有两个作用： 字节码解释器通过改变程序计数器来依次读取指令，从而实现代码的流程控制，如：顺序执行、选择、循环、异常处理。 在多线程的情况下，程序计数器用于记录当前线程执行的位置，从而当线程被切换回来的时候能够知道该线程上次运行到哪儿了。 注意：程序计数器是唯一一个不会出现 OutOfMemoryError 的内存区域，它的生命周期随着线程的创建而创建，随着线程的结束而死亡。 2.2 Java 虚拟机栈 与程序计数器一样，Java虚拟机栈也是线程私有的，它的生命周期和线程相同，描述的是 Java 方法执行的内存模型，每次方法调用的数据都是通过栈传递的。 Java 内存可以粗糙的区分为堆内存（Heap）和栈内存(Stack),其中栈就是现在说的虚拟机栈，或者说是虚拟机栈中局部变量表部分。（实际上，Java虚拟机栈是由一个个栈帧组成，而每个栈帧中都拥有：局部变量表、操作数栈、动态链接、方法出口信息。） 局部变量表主要存放了编译器可知的各种数据类型（boolean、byte、char、short、int、float、long、double）、对象引用（reference类型，它不同于对象本身，可能是一个指向对象起始地址的引用指针，也可能是指向一个代表对象的句柄或其他与此对象相关的位置）。 Java 虚拟机栈会出现两种异常：StackOverFlowError 和 OutOfMemoryError。 StackOverFlowError：若Java虚拟机栈的内存大小不允许动态扩展，那么当线程请求栈的深度超过当前Java虚拟机栈的最大深度的时候，就抛出StackOverFlowError异常。 OutOfMemoryError：若 Java 虚拟机栈的内存大小允许动态扩展，且当线程请求栈时内存用完了，无法再动态扩展了，此时抛出OutOfMemoryError异常。 Java 虚拟机栈也是线程私有的，每个线程都有各自的Java虚拟机栈，而且随着线程的创建而创建，随着线程的死亡而死亡。 扩展：那么方法/函数如何调用？ Java 栈可用类比数据结构中栈，Java 栈中保存的主要内容是栈帧，每一次函数调用都会有一个对应的栈帧被压入Java栈，每一个函数调用结束后，都会有一个栈帧被弹出。 Java方法有两种返回方式： return 语句。 抛出异常。 不管哪种返回方式都会导致栈帧被弹出。 2.3 本地方法栈 和虚拟机栈所发挥的作用非常相似，区别是：虚拟机栈为虚拟机执行 Java 方法 （也就是字节码）服务，而本地方法栈则为虚拟机使用到的 Native 方法服务。在 HotSpot 虚拟机中和 Java 虚拟机栈合二为一。 本地方法被执行的时候，在本地方法栈也会创建一个栈帧，用于存放该本地方法的局部变量表、操作数栈、动态链接、出口信息。 方法执行完毕后相应的栈帧也会出栈并释放内存空间，也会出现 StackOverFlowError 和 OutOfMemoryError 两种异常。 2.4 堆 Java 虚拟机所管理的内存中最大的一块，Java 堆是所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例，几乎所有的对象实例以及数组都在这里分配内存。 Java 堆是垃圾收集器管理的主要区域，因此也被称作GC堆（Garbage Collected Heap）.从垃圾回收的角度，由于现在收集器基本都采用分代垃圾收集算法，所以Java堆还可以细分为：新生代和老年代：再细致一点有：Eden空间、From Survivor、To Survivor空间等。进一步划分的目的是更好地回收内存，或者更快地分配内存。 上图所示的 eden区、s0区、s1区都属于新生代，tentired 区属于老年代。大部分情况，对象都会首先在 Eden 区域分配，在一次新生代垃圾回收后，如果对象还存活，则会进入 s0 或者 s1，并且对象的年龄还会加 1(Eden区->Survivor 区后对象的初始年龄变为1)，当它的年龄增加到一定程度（默认为15岁），就会被晋升到老年代中。对象晋升到老年代的年龄阈值，可以通过参数-XX:MaxTenuringThreshold来设置。 2.5 方法区 方法区与 Java 堆一样，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。虽然Java虚拟机规范把方法区描述为堆的一个逻辑部分，但是它却有一个别名叫做Non-Heap（非堆），目的应该是与 Java 堆区分开来。 方法区也被称为永久代。很多人都会分不清方法区和永久代的关系，为此我也查阅了文献。 方法区和永久代的关系 《Java虚拟机规范》只是规定了有方法区这么个概念和它的作用，并没有规定如何去实现它。那么，在不同的 JVM 上方法区的实现肯定是不同的了。方法区和永久代的关系很像Java中接口和类的关系，类实现了接口，而永久代就是HotSpot虚拟机对虚拟机规范中方法区的一种实现方式。也就是说，永久代是HotSpot的概念，方法区是Java虚拟机规范中的定义，是一种规范，而永久代是一种实现，一个是标准一个是实现，其他的虚拟机实现并没有永久带这一说法。 常用参数 JDK 1.8 之前永久代还没被彻底移除的时候通常通过下面这些参数来调节方法区大小 -XX:PermSize=N //方法区(永久代)初始大小 -XX:MaxPermSize=N //方法区(永久代)最大大小,超过这个值将会抛出OutOfMemoryError异常:java.lang.OutOfMemoryError: PermGen 相对而言，垃圾收集行为在这个区域是比较少出现的，但并非数据进入方法区后就“永久存在”了。** JDK 1.8 的时候，方法区（HotSpot的永久代）被彻底移除了（JDK1.7就已经开始了），取而代之是元空间，元空间使用的是直接内存。 下面是一些常用参数： -XX:MetaspaceSize=N //设置Metaspace的初始（和最小大小） -XX:MaxMetaspaceSize=N //设置Metaspace的最大大小 与永久代很大的不同就是，如果不指定大小的话，随着更多类的创建，虚拟机会耗尽所有可用的系统内存。 为什么要将永久代(PermGen)替换为元空间(MetaSpace)呢? 整个永久代有一个 JVM 本身设置固定大小上线，无法进行调整，而元空间使用的是直接内存，受本机可用内存的限制，并且永远不会得到java.lang.OutOfMemoryError。你可以使用-XX：MaxMetaspaceSize标志设置最大元空间大小，默认值为 unlimited，这意味着它只受系统内存的限制。-XX：MetaspaceSize调整标志定义元空间的初始大小如果未指定此标志，则 Metaspace 将根据运行时的应用程序需求动态地重新调整大小。 当然这只是其中一个原因，还有很多底层的原因，这里就不提了。 2.6 运行时常量池 运行时常量池是方法区的一部分。Class 文件中除了有类的版本、字段、方法、接口等描述信息外，还有常量池信息（用于存放编译期生成的各种字面量和符号引用） 既然运行时常量池时方法区的一部分，自然受到方法区内存的限制，当常量池无法再申请到内存时会抛出 OutOfMemoryError 异常。 JDK1.7及之后版本的 JVM 已经将运行时常量池从方法区中移了出来，在 Java 堆（Heap）中开辟了一块区域存放运行时常量池。 2.7 直接内存 直接内存并不是虚拟机运行时数据区的一部分，也不是虚拟机规范中定义的内存区域，但是这部分内存也被频繁地使用。而且也可能导致 OutOfMemoryError 异常出现。 JDK1.4 中新加入的NIO(New Input/Output) 类，引入了一种基于通道（Channel）与缓存区（Buffer）的 I/O 方式，它可以直接使用 Native 函数库直接分配堆外内存，然后通过一个存储在 Java 堆中的 DirectByteBuffer 对象作为这块内存的引用进行操作。这样就能在一些场景中显著提高性能，因为避免了在 Java 堆和 Native 堆之间来回复制数据。 本机直接内存的分配不会收到 Java 堆的限制，但是，既然是内存就会受到本机总内存大小以及处理器寻址空间的限制。 三、HotSpot 虚拟机对象探秘 通过上面的介绍我们大概知道了虚拟机的内存情况，下面我们来详细的了解一下 HotSpot 虚拟机在 Java 堆中对象分配、布局和访问的全过程。 3.1 对象的创建 下图便是 Java 对象的创建过程，我建议最好是能默写出来，并且要掌握每一步在做什么。 ①类加载检查：虚拟机遇到一条 new 指令时，首先将去检查这个指令的参数是否能在常量池中定位到这个类的符号引用，并且检查这个符号引用代表的类是否已被加载过、解析和初始化过。如果没有，那必须先执行相应的类加载过程。 ②分配内存：在类加载检查通过后，接下来虚拟机将为新生对象分配内存。对象所需的内存大小在类加载完成后便可确定，为对象分配空间的任务等同于把一块确定大小的内存从 Java 堆中划分出来。分配方式有“指针碰撞”和“空闲列表”两种，选择那种分配方式由 Java 堆是否规整决定，而Java堆是否规整又由所采用的垃圾收集器是否带有压缩整理功能决定。 内存分配的两种方式：（补充内容，需要掌握） 选择以上两种方式中的哪一种，取决于 Java 堆内存是否规整。而 Java 堆内存是否规整，取决于 GC 收集器的算法是"标记-清除"，还是"标记-整理"（也称作"标记-压缩"），值得注意的是，复制算法内存也是规整的 内存分配并发问题（补充内容，需要掌握） 在创建对象的时候有一个很重要的问题，就是线程安全，因为在实际开发过程中，创建对象是很频繁的事情，作为虚拟机来说，必须要保证线程是安全的，通常来讲，虚拟机采用两种方式来保证线程安全： CAS+失败重试：CAS 是乐观锁的一种实现方式。所谓乐观锁就是，每次不加锁而是假设没有冲突而去完成某项操作，如果因为冲突失败就重试，直到成功为止。虚拟机采用 CAS 配上失败重试的方式保证更新操作的原子性。 TLAB：为每一个线程预先在Eden区分配一块儿内存，JVM在给线程中的对象分配内存时，首先在TLAB分配，当对象大于TLAB中的剩余内存或TLAB的内存已用尽时，再采用上述的CAS进行内存分配 ③初始化零值：内存分配完成后，虚拟机需要将分配到的内存空间都初始化为零值（不包括对象头），这一步操作保证了对象的实例字段在 Java 代码中可以不赋初始值就直接使用，程序能访问到这些字段的数据类型所对应的零值。 ④设置对象头：初始化零值完成之后，虚拟机要对对象进行必要的设置，例如这个对象是那个类的实例、如何才能找到类的元数据信息、对象的哈希吗、对象的 GC 分代年龄等信息。这些信息存放在对象头中。另外，根据虚拟机当前运行状态的不同，如是否启用偏向锁等，对象头会有不同的设置方式。 ⑤执行 init 方法：在上面工作都完成之后，从虚拟机的视角来看，一个新的对象已经产生了，但从 Java 程序的视角来看，对象创建才刚开始，<init>方法还没有执行，所有的字段都还为零。所以一般来说，执行 new 指令之后会接着执行<init>方法，把对象按照程序员的意愿进行初始化，这样一个真正可用的对象才算完全产生出来。 3.2 对象的内存布局 在 Hotspot 虚拟机中，对象在内存中的布局可以分为3块区域：对象头、实例数据和对齐填充。 Hotspot虚拟机的对象头包括两部分信息，第一部分用于存储对象自身的自身运行时数据（哈希码、GC分代年龄、锁状态标志等等），另一部分是类型指针，即对象指向它的类元数据的指针，虚拟机通过这个指针来确定这个对象是那个类的实例。 实例数据部分是对象真正存储的有效信息，也是在程序中所定义的各种类型的字段内容。 对齐填充部分不是必然存在的，也没有什么特别的含义，仅仅起占位作用。因为Hotspot虚拟机的自动内存管理系统要求对象起始地址必须是8字节的整数倍，换句话说就是对象的大小必须是8字节的整数倍。而对象头部分正好是8字节的倍数（1倍或2倍），因此，当对象实例数据部分没有对齐时，就需要通过对齐填充来补全。 3.3 对象的访问定位 建立对象就是为了使用对象，我们的Java程序通过栈上的 reference 数据来操作堆上的具体对象。对象的访问方式有虚拟机实现而定，目前主流的访问方式有①使用句柄和②直接指针两种： 句柄：如果使用句柄的话，那么Java堆中将会划分出一块内存来作为句柄池，reference 中存储的就是对象的句柄地址，而句柄中包含了对象实例数据与类型数据各自的具体地址信息； 直接指针：如果使用直接指针访问，那么 Java 堆对象的布局中就必须考虑如何放置访问类型数据的相关信息，而reference 中存储的直接就是对象的地址。 这两种对象访问方式各有优势。使用句柄来访问的最大好处是 reference 中存储的是稳定的句柄地址，在对象被移动时只会改变句柄中的实例数据指针，而 reference 本身不需要修改。使用直接指针访问方式最大的好处就是速度快，它节省了一次指针定位的时间开销。 四、重点补充内容 String 类和常量池 1 String 对象的两种创建方式： String str1 = "abcd"; String str2 = new String("abcd"); System.out.println(str1==str2);//false 这两种不同的创建方法是有差别的，第一种方式是在常量池中拿对象，第二种方式是直接在堆内存空间创建一个新的对象。记住：只要使用new方法，便需要创建新的对象。 2 String 类型的常量池比较特殊。它的主要使用方法有两种： 直接使用双引号声明出来的 String 对象会直接存储在常量池中。 如果不是用双引号声明的 String 对象，可以使用 String 提供的 intern 方法。String.intern() 是一个 Native 方法，它的作用是：如果运行时常量池中已经包含一个等于此 String 对象内容的字符串，则返回常量池中该字符串的引用；如果没有，则在常量池中创建与此 String 内容相同的字符串，并返回常量池中创建的字符串的引用。 String s1 = new String("计算机"); String s2 = s1.intern(); String s3 = "计算机"; System.out.println(s2);//计算机 System.out.println(s1 == s2);//false，因为一个是堆内存中的String对象一个是常量池中的String对象， System.out.println(s3 == s2);//true，因为两个都是常量池中的String对象 3 String 字符串拼接 String str1 = "str"; String str2 = "ing"; String str3 = "str" + "ing";//常量池中的对象 String str4 = str1 + str2; //在堆上创建的新的对象 String str5 = "string";//常量池中的对象 System.out.println(str3 == str4);//false System.out.println(str3 == str5);//true System.out.println(str4 == str5);//false 尽量避免多个字符串拼接，因为这样会重新创建对象。如果需要改变字符串的话，可以使用 StringBuilder 或者 StringBuffer。 String s1 = new String("abc");这句话创建了几个对象？ 创建了两个对象。 验证： String s1 = new String("abc");// 堆内存的地址值 String s2 = "abc"; System.out.println(s1 == s2);// 输出false,因为一个是堆内存，一个是常量池的内存，故两者是不同的。 System.out.println(s1.equals(s2));// 输出true 结果： false true 解释： 先有字符串"abc"放入常量池，然后 new 了一份字符串"abc"放入Java堆(字符串常量"abc"在编译期就已经确定放入常量池，而 Java 堆上的"abc"是在运行期初始化阶段才确定)，然后 Java 栈的 str1 指向Java堆上的"abc"。 8种基本类型的包装类和常量池 Java 基本类型的包装类的大部分都实现了常量池技术，即Byte,Short,Integer,Long,Character,Boolean；这5种包装类默认创建了数值[-128，127]的相应类型的缓存数据，但是超出此范围仍然会去创建新的对象。 两种浮点数类型的包装类 Float,Double 并没有实现常量池技术。 Integer i1 = 33; Integer i2 = 33; System.out.println(i1 == i2);// 输出true Integer i11 = 333; Integer i22 = 333; System.out.println(i11 == i22);// 输出false Double i3 = 1.2; Double i4 = 1.2; System.out.println(i3 == i4);// 输出false Integer 缓存源代码： /** *此方法将始终缓存-128到127（包括端点）范围内的值，并可以缓存此范围之外的其他值。 */ public static Integer valueOf(int i) { if (i >= IntegerCache.low && i <= IntegerCache.high) return IntegerCache.cache[i + (-IntegerCache.low)]; return new Integer(i); } 应用场景： Integer i1=40；Java 在编译的时候会直接将代码封装成Integer i1=Integer.valueOf(40);，从而使用常量池中的对象。 Integer i1 = new Integer(40);这种情况下会创建新的对象。 Integer i1 = 40; Integer i2 = new Integer(40); System.out.println(i1==i2);//输出false Integer比较更丰富的一个例子: Integer i1 = 40; Integer i2 = 40; Integer i3 = 0; Integer i4 = new Integer(40); Integer i5 = new Integer(40); Integer i6 = new Integer(0); System.out.println("i1=i2 " + (i1 == i2)); System.out.println("i1=i2+i3 " + (i1 == i2 + i3)); System.out.println("i1=i4 " + (i1 == i4)); System.out.println("i4=i5 " + (i4 == i5)); System.out.println("i4=i5+i6 " + (i4 == i5 + i6)); System.out.println("40=i5+i6 " + (40 == i5 + i6)); 结果： i1=i2 true i1=i2+i3 true i1=i4 false i4=i5 false i4=i5+i6 true 40=i5+i6 true 解释： 语句i4 == i5 + i6，因为+这个操作符不适用于Integer对象，首先i5和i6进行自动拆箱操作，进行数值相加，即i4 == 40。然后Integer对象无法与数值进行直接比较，所以i4自动拆箱转为int值40，最终这条语句转为40 == 40进行数值比较。
2019-09-05
优秀的个人博客,低调大师

Excel 行列转换的最简方法

问题描述 在工作中时常会遇到对 Excel 表格的处理。当编辑一张 Excel 表格时，发现表格的列数太多，而行数较少，为方便打印，这时你或许会希望将该表格行列转换；或许是为了做进一步做统计分析，当前格式不太方便，这时也会用到行列转换。 下面这种交叉式的 Excel 表是很常见的格式，用来填写和查看都比较方便： 但是，如果想做进一步的统计分析，这种格式就不方便了，需要行列转换，变成如下格式的明细表： 显然，手工操作会非常麻烦，若数据量小还可以，数据量大了会耗费大量时间，简直就是灾难。 我们就以此为例，举例说明几种常见的解决方法。 解决方法方法 1：Excel 数据透视表 Excel 可以通过数据透视表支持行列转换功能，效果如下图： 显然，这并不是我们想要的格式。Excel 的数据透视表可以满足简单格式的行列转换，但如果格式稍微复杂，转换效果往往是不尽人意。 方法 2：编程语言 以写程序来解决，思路也很简单： · 加载 excel 文件，装载需要的 sheet 工作表。 · 读取“账套名”所在行，将其转换成字符串数组。 · 读取“科目编码”所在列，将其转换成字符串数组。 · 按“科目编码”分组，与“账套名”数组构造一张表。 · 根据“账套名”对应的数据，遍历所有的明细值填充到相应的表中。 · 这样就可以构造出对应的明细表来。 如果用 Java 来实现，初步估计代码量也不会少于 200 行，若需要结果输出成 excel 文件则开发工作量会更多。虽然 Excel 自己提供了 VBA，但那个麻烦程度谁用谁知道，不提也罢。那其它的语言呢？传说 python 有处理行列转换的功能（pandas 包里有 pivot 功能），代码量相对于 java 会少很多， 我们来试一下： import pandas as pd import numpy as np df = pd.read_excel("D:\\excel\\pandas.xlsx", 0, 3) cols = df.columns.values.tolist() #获取数据头信息 #移去前两列，只保留需要行列转换的列 cols.remove('科目编码') cols.remove('科目明细') #构造一个 list. frames=[] for col in cols: df1 = df.pivot_table(index = ['科目编码','科目明细'], values = [col]) df1.rename(columns={col: '数值'}, inplace=True) df1[3]=col #转换后的数据追加到 frames 中. frames.append(df1) # concat 将相同字段的表首尾相接 result=pd.concat(frames) result.rename(columns={3: '帐套名'}, inplace=True) result.to_excel('D:\\excel\\pandas_n.xlsx', sheet_name='科目明细') 效果还不错，果然比较简洁！这是 Python 生成的 excel 文件：不过，存在一点小问题，这个 excel 格式有点特殊，想用 Python 的 pivot，我们要将“科目编码”，“科目明细”移到与转换列标题所在同一行上，变成下面的样子。否则在代码上就得特殊 “照顾”，反正只有一行，手工做一下就算了，比写代码省事。 无论如何，python 的这个细节处理的小“瑕疵”并不影响其方便性。python 确实名不虚传，虽然使用了循环，但整个代码也就只有 10 来行的样子。 还能更简单吗？ 嘿嘿，能！ 方法 3：集算器编程 下面我们来看集算器的代码： 代码很简单，我们把每一步的中间结果列出来看看： A1：加载 excel 文件工作表 1，提取指定范围的数据 (从 3 行到 40 行)，其中选项 @ t 表示首行为标题，载入数据, 生成表格如下： A2：删除非数据行 A3：更换列名称 A4：把从第 3 列开始的列名称连成字符串，用“,”分开A5：pivot 函数将行列数据进行转换，把 A4 中对应的列数据置放到“数值”列A6：将整理好的数据另存储为 xlsx 文件 集算器脚本只有 6 行，木有啥循环、判断之类的玩意儿，也不像 Python 那样要先手工倒腾一下，就把这看似有点“乱”的数据表格处理好了。相比之下，Python 采用列优先转换多次循环 “N”字方式，集算器则用行优先一次性处理，在处理数据上，集算器对细节处理及使用习惯更专业。而且集算器的开发环境也容易调试，可以看到每一步运算的中间结果，方便挑出错误，开发更为便捷。在这种常规数据处理的任务中，集算器要比 Python 更为优越。 优势总结 就这个问题，关于 python 与集算器的差异，再说说自己的一点心得体会： 多列转换 对于需要多列行列转换并汇集成“长”列的场景时，python 需要将每个数据列构造成数组，并增加一列记录当前列名，再追加到一个大的列表中，最后合并，合并中去掉非首个数组中的 title； 集算器就容易些，它直接把想要转换的列汇集在一块就行。相对于 python 的繁琐，集算器至少能省几个脑细胞。 名称更改 python 对于需要转换列的名称不能更改, 如 cols[0]=’天津’，此时 python 找不到修改前的关键字，“哪个朋友挖的坑，别以为我发现不了”，欺负大爷眼花，给报个异常行不？ 但对应的集算器来说则很方便, 如：>A1.rename(_1: 科目编码,_2: 科目明细,4 成都: 成都) 标题空值问题 Python 读取 excel 表中的转换行标题时，前面两列为空 (对应原来的 excel 中的“科目编码，科目明细”)，此时标题 cols 中的空值就没有了, 这个“坑”有点隐蔽啊，我真没有发现, 把其中的两列弄丢了，真有点丢脸 ; 但集算器能识别出来，会自动加上对应的标识 _1、_2，这样处理数据时，就能找到其中对应的两列。 网格式编程 集算器使用网格 A1 这种格式，它自动与所在位置的对象关联起来，这点非常方便, 感觉很有特色；Python 就只能望洋兴叹了。
2019-03-26
优秀的个人博客,低调大师

最简单,最快方式 Mysql兼容 emoji

Mysql -> mybatis -> spring boot -> java 序: 最近写一个类似成人商城的项目 ,写了一半的时候,发现用户如果通过苹果手机发送EMOJI的表情会无法插入数据库: === Error updating database. Cause: java.sql.SQLException: Incorrect string value: 'xF0x9Fx92x9ExE5x80...' for column 'comment' at row 1=== The error may involve cc.mb18.starshow.dbdto.TPageCoreDAO.intoComment-Inline=== The error occurred while setting parameters=== SQL: INSERT INTO t_page_comment (useruuid,username, faceurl, comment, pageuuid, createDatetime) VALUES (?,?, ?, ?, ?, ?)=== Cause: java.sql.SQLException: Incorrect string value: 'xF0x9Fx92x9ExE5x80...' for column 'comment' at row 1; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: 'xF0x9Fx92x9ExE5x80...' for column 'comment' at row 1; nested exception is java.sql.SQLException: Incorrect string value: 'xF0x9Fx92x9ExE5x80...' for column 'comment' at row 1` 类似的报错.然后网上找了一堆 需要改数据库配置的方案,但是看完以后,我就否决了这个实施的方法,虽然项目没有上线,还在开发阶段,但是,动辄修改数据库配置文件这种操作,作为一个有 自我DBA限制的人,我怎么会这样做. 正文 平时管理数据库的时候 都是使用Navicat for Mysql的所以 以12版本为例 根据文章的学习,虽然不能按照修改数据库配置的操作 但是却找到了 根本问题所在所在, 修改数据库承接字符集,但是修改可以设定范围, 数据库级修改 还是 表级修改 还是字段级修改 我最后选择了字段级修改 附图如下从 图1 变为 图2 (下图1)从 图1 变为 图2 (下图2) 打开数据库 在表上 右键 设计表 然后选择字段 就会出现图中设置 `ALTER TABLE t_page_comment MODIFY COLUMN comment varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL AFTER sername;` 因为我数据库语句不是很熟 所以我只是把软件的代码截取出来给大家参考 至此 mysql 支持 emoji的操作就完成了另外 我为了保险起见 在@Update("set names utf8mb4")void setCharsetToUtf8mb4();我在Dao里面做了一个设置当前SESSION的字符集的操作,感觉没用,也不想去证明了 最后附上校训 理论结合实践
2018-10-09
优秀的个人博客,低调大师

CB INSIGHT权威发布：一文看懂印度IT巨头的投资偏好

在中国，阿里、腾讯、百度等都在云计算、大数据等方面大规模地投入研发，而国外的巨头、亚马逊、微软、谷歌都纷纷攻城略地。 为了避免失去优势地位，正在紧锣密鼓投资和收购云计算、大数据、自动化等高新技术创业公司。也企图通过投资和收购，缩小技术差距、迅速转型。 雷锋网翻译CBINSIGHTS的报告，一文了解印度IT巨头的收购逻辑。 （雷锋网(公众号：雷锋网)注：绿线表示投资;橙色线表示收） 印度IT巨头最喜欢收购的四个领域： 自动化&云计算：许多专门投资和致力于企业并购的投资机构正在提高在自动化和云计算等前沿技术领域的能力。一个例子是奥地利的软件测试公司 Tricentis。Tricentis在2017年第一季度获得由Wipro Venturesd领投的1.65亿美元B轮融资，目前Tricentis正在自动化脚本测试。 另一个例子就是位于美国
2017-11-02
优秀的个人博客,低调大师

《Cocos2D权威指南》——1.1 什么是Cocos2D

1.1 什么是Cocos2D Cocos2D是一个开源框架，用于构建2D游戏、演示程序和其他图形界面交互应用等。Cocos2D诞生于一个用于开发2D游戏的Python框架（www.cocos2d.org）。在2008年的冬天，技术爱好者把它引入到iPhone开发中，并使用Objective-C重新编写。由于Cocos2D-iPhone的巨大成功，目前Cocos2D已经衍生出了多个版本，包括Ruby、Java（Android）、C++，甚至Mono（C#/.NET）。本书介绍的Cocos2D实际上是Cocos2D-iPhone（www.cocos2d-iphone.org），它是目前Cocos2D的最主要分支（后面为了统一，提到的所有Cocos2D均指Cocos2D-iPhone）。使用Cocos2D可以轻易地开发iPhone、iPo
2017-08-01

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
Jdk25 SpringCloud Redis HarmonyOS6 Gemini3 Rocky SpringBoot4 Docker DeepSeek OpenAi Nacos3 Kubernetes Service Mesh

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册