搜索[VSCode扩展]结果-低调大师优秀个人博客

精选列表

搜索[VSCode扩展]，共10000篇文章

Spark入门，概述，部署，以及学习（Spark是一种快速、通用、可扩展的大数据分析引擎）

1：Spark的官方网址：http://spark.apache.org/ 1 Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。 2 Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。 2：Spark特点： 1 1：特点一:快 2 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。 3 2：特点二:易用 4 Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。 5 3：特点三:通用 6 Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（SparkSQL）、实时流处理（SparkStreaming）、机器学习（SparkMLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。 7 4：特点四:兼容性 8 Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和ApacheMesos作为它的资源管理和调度器，器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。 3：Spark的部署安装（上传jar，过程省略，记得安装好jdk。）：下载网址：http://www.apache.org/dyn/closer.lua/spark/ 或者 http://spark.apache.org/downloads.html Spark的解压缩操作，如下所示：哈哈哈，犯了一个低级错误，千万记得加-C，解压安装包到指定位置。是大写的哦；然后呢，进入到Spark安装目录，进入conf目录并重命名并修改spark-env.sh.template文件，操作如下所示：将spark-env.sh.template 名称修改为spark-env.sh，然后在该配置文件中添加如下配置，之后保存退出： 1 [root@localhost conf]# mv spark-env.sh.template spark-env.sh 具体操作如下所示：然后呢，重命名并修改slaves.template文件，如下所示： 1 [root@localhost conf]# mv slaves.template slaves 在该文件中添加子节点所在的位置（Worker节点），操作如下所示，然后保存退出：将配置好的Spark拷贝到其他节点上： 1 [root@localhost hadoop]# scp -r spark-1.6.1-bin-hadoop2.6/ slaver1:/home/hadoop/ 2 [root@localhost hadoop]# scp -r spark-1.6.1-bin-hadoop2.6/ slaver2:/home/hadoop/ Spark集群配置完毕，目前是1个Master，2个Work(可以是多个Work)，在master节点上启动Spark集群：启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://master:8080/：可以查看一下是否启动起来，如下所示：然后在页面可以查看信息，如下所示，如果浏览器一直加载不出来，可能是防火墙没关闭（service iptables stop暂时关闭，chkconfig iptables off永久关闭）：到此为止，Spark集群安装完毕。 1 但是有一个很大的问题，那就是Master节点存在单点故障，要解决此问题，就要借助zookeeper，并且启动至少两个Master节点来实现高可靠，配置方式比较简单，如下所示： 2 Spark集群规划：node1，node2是Master；node3，node4，node5是Worker 3 安装配置zk集群，并启动zk集群，然后呢，停止spark所有服务，修改配置文件spark-env.sh, 4 在该配置文件中删掉SPARK_MASTER_IP并添加如下配置: 5 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1,zk2,zk3 -Dspark.deploy.zookeeper.dir=/spark" 6 1.在node1节点上修改slaves配置文件内容指定worker节点 7 2.在node1上执行sbin/start-all.sh脚本，然后在node2上执行sbin/start-master.sh启动第二个Master 4：执行Spark程序（执行第一个spark程序，如下所示）：执行如下所示，然后就报了一大推错误，由于错误过多就隐藏了，方便以后脑补： 1 [root@master bin]# ./spark-submit \ 2 > --class org.apache.spark.examples.SparkPi \ 3 > --master spark://master:7077 \ 4 > --executor-memory 1G \ 5 > --total-executor-cores 2 \ 6 > /home/hadoop/spark-1.6.1-bin-hadoop2.6/l 7 lib/ licenses/ logs/ 8 > /home/hadoop/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar \ 9 > 100 或者如下所示也可： [root@master spark-1.6.1-bin-hadoop2.6]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512M --total-executor-cores 2 /home/hadoop/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 10 错误如下所示，由于太长了就折叠起来了： View Code 由于之前学习hadoop，虚拟机内存才设置512M了，Spark是在内存中进行运算的，所以学习Spark一定要设置好内存啊，关闭虚拟机，将内存设置为1G，给Spark设置800M的内存，所以spark-env.sh配置，多添加了： export SPARK_WORKER_MEMORY=800M 如下所示：然后执行，如下所示命令： 1 [root@master spark-1.6.1-bin-hadoop2.6]# bin/spark-submit \ 2 > --class org.apache.spark.examples.SparkPi \ 3 > --master spark://master:7077 \ 4 > --executor-memory 512M \ 5 > --total-executor-cores 2 \ 6 > /home/hadoop/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar \ 7 > 100 5：启动Spark Shell： spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。启动spark shell，如下所示： 1 [root@master spark-1.6.1-bin-hadoop2.6]# bin/spark-shell \ 2 > --master spark://master:7077 \ 3 > --executor-memory 512M \ 4 > --total-executor-cores 2 5 6 参数说明： 7 --master spark://master:7077 指定Master的地址 8 --executor-memory 512M 指定每个worker可用内存为512M 9 --total-executor-cores 2 指定整个集群使用的cup核数为2个注意：如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。 Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到，则直接应用sc即可; 操作如下所示：退出使用命令exit即可；贴一下日了狗了的报错，没有接受指令超过一定时间就报错了，如下所示，按Enter又回到scala> 等待命令键入： scala> 18/01/03 02:37:36 WARN NettyRpcEndpointRef: Error sending message [message = RemoveExecutor(0,Command exited with code 1)] in 1 attempts org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120 seconds. This timeout is controlled by spark.rpc.askTimeout at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:63) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:33) at scala.util.Failure$$anonfun$recover$1.apply(Try.scala:185) at scala.util.Try$.apply(Try.scala:161) at scala.util.Failure.recover(Try.scala:185) at scala.concurrent.Future$$anonfun$recover$1.apply(Future.scala:324) at scala.concurrent.Future$$anonfun$recover$1.apply(Future.scala:324) at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32) at org.spark-project.guava.util.concurrent.MoreExecutors$SameThreadExecutorService.execute(MoreExecutors.java:293) at scala.concurrent.impl.ExecutionContextImpl$$anon$1.execute(ExecutionContextImpl.scala:133) at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40) at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:248) at scala.concurrent.Promise$class.complete(Promise.scala:55) at scala.concurrent.impl.Promise$DefaultPromise.complete(Promise.scala:153) at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235) at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235) at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.processBatch$1(Future.scala:643) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.apply$mcV$sp(Future.scala:658) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.apply(Future.scala:635) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.apply(Future.scala:635) at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72) at scala.concurrent.Future$InternalCallbackExecutor$Batch.run(Future.scala:634) at scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute(Future.scala:694) at scala.concurrent.Future$InternalCallbackExecutor$.execute(Future.scala:685) at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40) at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:248) at scala.concurrent.Promise$class.tryFailure(Promise.scala:112) at scala.concurrent.impl.Promise$DefaultPromise.tryFailure(Promise.scala:153) at org.apache.spark.rpc.netty.NettyRpcEnv$$anon$1.run(NettyRpcEnv.scala:241) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: java.util.concurrent.TimeoutException: Cannot receive any reply in 120 seconds at org.apache.spark.rpc.netty.NettyRpcEnv$$anon$1.run(NettyRpcEnv.scala:242) ... 7 more 18/01/03 02:39:39 WARN NettyRpcEndpointRef: Error sending message [message = RemoveExecutor(0,Command exited with code 1)] in 2 attempts org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120 seconds. This timeout is controlled by spark.rpc.askTimeout at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcTimeout.scala:48) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:63) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:33) at scala.util.Failure$$anonfun$recover$1.apply(Try.scala:185) at scala.util.Try$.apply(Try.scala:161) at scala.util.Failure.recover(Try.scala:185) at scala.concurrent.Future$$anonfun$recover$1.apply(Future.scala:324) at scala.concurrent.Future$$anonfun$recover$1.apply(Future.scala:324) at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32) at org.spark-project.guava.util.concurrent.MoreExecutors$SameThreadExecutorService.execute(MoreExecutors.java:293) at scala.concurrent.impl.ExecutionContextImpl$$anon$1.execute(ExecutionContextImpl.scala:133) at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40) at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:248) at scala.concurrent.Promise$class.complete(Promise.scala:55) at scala.concurrent.impl.Promise$DefaultPromise.complete(Promise.scala:153) at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235) at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235) at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.processBatch$1(Future.scala:643) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.apply$mcV$sp(Future.scala:658) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.apply(Future.scala:635) at scala.concurrent.Future$InternalCallbackExecutor$Batch$$anonfun$run$1.apply(Future.scala:635) at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72) at scala.concurrent.Future$InternalCallbackExecutor$Batch.run(Future.scala:634) at scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute(Future.scala:694) at scala.concurrent.Future$InternalCallbackExecutor$.execute(Future.scala:685) at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40) at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:248) at scala.concurrent.Promise$class.tryFailure(Promise.scala:112) at scala.concurrent.impl.Promise$DefaultPromise.tryFailure(Promise.scala:153) at org.apache.spark.rpc.netty.NettyRpcEnv$$anon$1.run(NettyRpcEnv.scala:241) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: java.util.concurrent.TimeoutException: Cannot receive any reply in 120 seconds at org.apache.spark.rpc.netty.NettyRpcEnv$$anon$1.run(NettyRpcEnv.scala:242) ... 7 more 待续......

2018-01-08

Android项目：使用pulltorefresh开源项目扩展为下拉刷新上拉加载更多的处理方法，监听listview滚动方向

很多android应用的下拉刷新都是使用的pulltorefresh这个开源项目，但是它的扩展性在下拉刷新同时又上拉加载更多时会有一定的局限性。

2017-11-22

项目实战_Python.编写一个高性能可扩展支持自定义的插件式监控系统?

项目简介: 说明: 主要用于集中化业务主动监控,支持任意自定义PY检测插件,适用于测试/正式环境业务联调检测,后端采用Python实现,具体实现代码请阅读代码. 项目思路: 项目结构: xmzoomeye-agent ├──app │├──conf ││├──default.ini ││├──__init__.py ││└──logging.ini │├──core ││├──__init__.py ││├──__init__.pyc ││├──main.py ││└──main.pyc │├──__init__.py │├──__init__.pyc │├──libs ││├──daemonize.py ││├──daemonize.pyc ││├──__init__.py ││├──__init__.pyc ││├──runutils.py ││└──runutils.pyc │├──plugins ││├──__init__.py ││├──__init__.pyc │└──tests │└──__init__.py ├──bin │├──__init__.py │├──restart_service.sh │├──start_service.sh │└──stop_service.sh ├──ChangeLog.txt ├──docs │├──default.ini │├──designidea ││├──mindmap.png ││└──notepad.txt │├──__init__.py │└──logging.ini ├──LICENSE.txt ├──logs │├──xmzoomeye-agent-error.log │├──xmzoomeye-agent-info.log │└──xmzoomeye-agent.pid ├──README ├──requirements.txt ├──restart_service.sh ├──setup.py ├──start_service.sh ├──stop_service.sh └──xmzoomeye-agent xmzoomeye-alert ├──app │├──conf ││├──default.ini ││├──__init__.py ││└──logging.ini │├──core ││├──__init__.py ││├──__init__.pyc ││├──main.py ││└──main.pyc │├──__init__.py │├──__init__.pyc │└──libs │├──alarm ││├──api.py ││├──__init__.py ││├──__init__.pyc ││├──mail.py ││├──sms.py ││└──weixin.py │├──daemonize.py │├──daemonize.pyc │├──__init__.py │├──__init__.pyc │├──runutils.py │└──runutils.pyc ├──bin │├──__init__.py │├──restart_service.sh │├──start_service.sh │└──stop_service.sh ├──ChangeLog.txt ├──docs │├──default.ini │├──designidea ││├──mindmap.png ││└──notepad.txt │├──__init__.py │└──logging.ini ├──LICENSE.txt ├──logs │├──xmzoomeye-alert-error.log │├──xmzoomeye-alert-info.log │└──xmzoomeye-alert.pid ├──README ├──requirements.txt ├──restart_service.sh ├──setup.py ├──start_service.sh ├──stop_service.sh └──xmzoomeye-alert 项目地址: xmzoomeye_agent: https://github.com/xmdevops/xmzoomeye_agent xmzoomeye_alert: xmzoomeye_alert: https://github.com/xmdevops/xmzoomeye_alert

2017-02-15

同城O2O系统源码开发详解：如何搭建一套可扩展的本地生活服务平台

2随着本地生活服务不断向线上迁移，越来越多的创业者和企业开始关注同城O2O平台。从同城外卖、跑腿配送，到家政预约、上门维修，再到社区团购和本地商家商城，线上服务正在改变传统的消费方式。

2026-10-27

知识扩展--Firmonertinib治疗携带EGFR P-loop和αC-helix压缩（PACC）突变的晚期非小细胞肺癌

核心研究：Firmonertinib（一种新型口服、可穿透血脑屏障的突变选择性EGFR酪氨酸激酶抑制剂）在EGFR PACC突变NSCLC中的临床前活性及1b期FURTHER临床试验结果。

2026-10-20

如何批量修改文件后缀，先让文件扩展名显示出来，再按类型分三步改完

从网盘、聊天软件和邮件附件里下载下来的一堆文件堆在同一个文件夹里，准备归类的时候打开一看，后缀什么情况都有。有的图片干脆没有后缀，系统不认它；有的文档后缀是一串乱码，双击没有任何反应；还有的压缩包后缀整个消失，里面是重要资料，就是打不开。这些东西以后都用得上，但按类型排进同一个文件夹这件事，就是推进不下去。

2026-09-11

App Inventor 2 扩展开发实战：从Java小白到发布第一个.aix自定义插件

刚接触App Inventor 2时，大部分人会被它现成的组件库"惯坏"——想听歌有Player、想拍照有Camera、想存数据有TinyDB。但做着做着就发现，有些需求官方组件根本覆盖不了：比如需要批量图像处理、声波频率分析、多点触控缩放画布……这时候再转去学原生Android开发，成本又太高。

2026-07-24

🔥 零代码接口工具 APIAuto 5，AI 问答&文档、CI/CD、扩展脚本 🌟 Star 破 2K

Header: ORDER_IN('a', 'bc') 设置请求头生成规则参数注入 RANDOM_DB, ORDER_DB 支持传自定义请求体 body，以及表名扩展为

2026-06-02

无远弗届，驭光而至，通用代码生成器：光船，开启动词算子体系扩展的大门之二

无远弗届，驭光而至，通用代码生成器：光船，开启动词算子体系扩展的大门之二动词算子体系的通用代码生成器拥有出众的劳动生产率和易用性。如果说它还有什么弱点，那就是功能覆盖的范围还是相对固定，不是很广泛。

2026-01-29

架构可扩展・功能高适配，揭秘大型复杂系统背后的核心技术力量 | 葡萄城技术团队

这场转型不仅印证了低代码在企业级应用场景的实战价值，更全方位展现了活字格在技术架构、功能扩展性、性能稳定性等核心维度的硬实力。

2025-12-29

【店滴云】1.4.8发布，优化微信生态能力接入，扩展微信第三方平台

公众号与小程序初始化兼容admin接口增加对微信第三方平台的全局扩展

2024-03-08

别再 mybaits(plus) 以及一堆的扩展了，国产的新一代 sqltoy-orm 5.2.54 发版

开源地址： github:https://github.com/sagframe/sagacity-sqltoy gitee:https://gitee.com/sagacity/sagacity-sqltoy idea 插件 (可直接在 idea 中检索安装):https://github.com/threefish/sqltoy-idea-plugins 更新内容 1、sql查询filters中增加默认值设置2、修复@ loop在循环内容以:loopValues[i]参数开头且没有空格场景下的缺陷3、针对(h2\kingbase\postgresql15\dm\sqlite\gaussdb) 强化saveOrUpdate\saveAllIgnoreExist场景4、排查(h2\kingbase\postgresql15\dm\sqlite\gaussdb) identity主键保存时是否可以直接赋值5、针对BLOB类型从直接取rs.getObject() 返回，改为getObject后转成byte[] 数组返回，避免BLOB报已经关闭的错误6、针对Oracle、db2、sqlserver、dm、kingbase 在执行saveOrUpdate场景下多租户改到了框架默认的TenantFilterInterceptor中，即针对merge into xxx ta using () as tv on (ta.xx=tv.xx and ta.tenantId=?) 模式7、针对Gaussdb 数组保存错误，改为pst.setArray()8、兼容查询传参:names(paradeName1).values(new Object[]{v1,v2})单个参数名，值是数组场景的兼容 sqltoy 的关键优势： //------------------了解 sqltoy的关键优势: -------------------------------------------------------------------------------------------*/ //1、最简最直观的sql编写方式(不仅仅是查询语句)，采用条件参数前置处理规整法，让sql语句部分跟客户端保持高度一致 //2、sql中支持注释(规避了对hint特性的影响,知道hint吗?搜oracle hint)，和动态更新加载，便于开发和后期维护整个过程的管理 //3、支持缓存翻译和反向缓存条件检索(通过缓存将名称匹配成精确的key)，实现sql简化和性能大幅提升 //4、支持快速分页和分页优化功能，实现分页最高级别的优化，同时还考虑到了cte多个with as情况下的优化支持 //5、支持并行查询 //6、根本杜绝sql注入问题 //7、支持行列转换、分组汇总求平均、同比环比计算，在于用算法解决复杂sql，同时也解决了sql跨数据库问题 //8、支持保留字自动适配 //9、支持跨数据库函数自适配,从而非常有利于一套代码适应多种数据库便于产品化,比如oracle的nvl，当sql在mysql环境执行时自动替换为ifnull //10、支持分库分表 //11、提供了取top、取random记录、树形表结构构造和递归查询支持、updateFetch单次交互完成修改和查询等实用的功能 //12、sqltoy的update、save、saveAll、load 等crud操作规避了jpa的缺陷,参见update(entity,String...forceUpdateProps)和updateFetch //13、提供了极为人性化的条件处理：排它性条件、日期条件加减和提取月末月初处理等 //14、提供了查询结果日期、数字格式化、安全脱敏处理，让复杂的事情变得简单，大幅简化sql或结果的二次处理工作 //-----------------------------------------------------------------------------------*/ sqltoy 特点介绍： sqltoy 的核心构建思想 sqltoy 的对比 mybatis (plus) 的核心点：查询语句编写、可阅读性、可维护性对象化 crud 是基础，但 sqltoy 有针对性的改进：update、updateSaveFetch、updateFetch 等 sqltoy 的缓存翻译，大幅减少表关联简化 sql，让你的查询性能成几何级提升极致的分页，同样帮助你实现查询的性能大幅提升快速分页:@fast () 实现先取单页数据然后再关联查询，极大提升速度分页优化器:page-optimize 让分页查询由两次变成 1.3~1.5 次 (用缓存实现相同查询条件的总记录数量在一定周期内无需重复查询 sqltoy 的分页取总记录的过程不是简单的 select count (1) from (原始 sql)；而是智能判断是否变成:select count (1) from 'from 后语句 '，并自动剔除最外层的 order by sqltoy 支持并行查询：parallel="true"，同时查询总记录数和单页数据，大幅提升性能便利的跨数据库统计计算：数据旋转便利的跨数据库统计计算：无限极分组统计 (含汇总求平均) 便利的跨数据库统计计算：同比环比

2023-06-13

高性能高扩展的亿级电商全端实时数据仓库全实现（PC、移动、小程序）

高性能高扩展的亿级电商全端实时数据仓库全实现（PC、移动、小程序），以热门的互联网电商实际业务应用场景为案例讲解，对电商数据仓库的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、月大盘收入报表

2019-12-03

ElasticSearch Shard——本质上是做分布式扩展，副本对于集群的稳定性有很强的影响

如果需要重新建立索引，将会是一个巨大的开销，为了支持未来可能的水平扩展，我们会为集群分配比node数更多的shard数，也就是说每个节点会有多个Shard。

2017-11-07

从 A 股扩展到美股和港股后，我才发现实时选股最难维护的是数据接口

我以前在做跨市场选股时发现，最初为 A 股编写的数据处理逻辑，一旦扩展到港股和美股，就会出现代码映射、字段类型、交易时段和行情时间不一致的问题。

2026-10-15

可扩展性从来不是靠性能堆出来的：我常年在用的 10 个生产级 JS 库

前几天做 code review，看到一段很典型的代码：一个下单接口里，先 fetch 拉第三方数据，直接 .then 拿来往数据库塞，塞完还顺手发了封邮件——全挤在一个请求里。写的人没错，功能是通的，本地跑得飞快。

2026-07-16

《Spring 手撸专栏》第 7 章：所向披靡，实现应用上下文，自动识别、资源加载、扩展机制

而本章节说到不把代码写死，就是因为我们需要继续在手写 Spring 框架中继续扩展新的功能，如一个Bean的定义和实例化的过程前后，是否可以满足我们进行自定义扩展，对Bean对象执行一些修改、增强、记录等操作呢

2021-06-16

cassandra mongodb选择——cassandra：分布式扩展好，写性能强，以及可以预料的查询；mongodb：非事务，支持复杂查...

and predictable query performance, add up to a high-performance workhorse in Cassandra. cassandra——分布式扩展好

2017-11-13

戴尔Edge网关5000系列和全新分析功能颠覆物联网市场扩展端到端的物联网产品组合

Edge网关5000包含工业级外形设计、扩展的输入输出接口以及广泛的操作温度范围，提供了一个有望替代目前昂贵的专有物联网产品的边缘计算解决方案。利用传感器生成的数据做出明智的决策是物联网的核心目标。

2017-09-03

《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》一 1.3 NoSQL不是万能的

本节书摘来自华章出版社《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》一书中的第1章，第1.1节，南森·马茨（Nathan Marz） [美] 詹姆斯·沃伦（JamesWarren）著马延辉

2017-05-01

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。