首页 文章 精选 留言 我的

精选列表

搜索[最小权限],共10016篇文章
优秀的个人博客,低调大师

python spark 求解最大 最小 平均

rdd=sc.parallelizeDoubles(testData); Now we’ll calculate the mean of our dataset. 1 LOGGER.info("Mean: "+rdd.mean()); There are similar methods for other statistics operation such as max, standard deviation, …etc. Every time one of this method is invoked , Spark performs the operation on the entire RDD data. If more than one operations performed, it will repeat again and again which is very inefficient. To solve this, Spark provides “StatCounter” class which executes once and provides results of all basic statistics operations in the same time. 1 StatCounterstatCounter=rdd.stats(); Now results can be accessed as follows, 1 2 3 4 5 6 7 LOGGER.info("Count:"+statCounter.count()); LOGGER.info("Min:"+statCounter.min()); LOGGER.info("Max:"+statCounter.max()); LOGGER.info("Sum:"+statCounter.sum()); LOGGER.info("Mean: "+statCounter.mean()); LOGGER.info("Variance: "+statCounter.variance()); LOGGER.info("Stdev:"+statCounter.stdev()); 摘自:http://www.sparkexpert.com/tag/rdd/ 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7154042.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

docker 制作最小化Java镜像

前提:目前大部分的java images都是根据centos和Ubuntu做的,结果是镜像非常大,基本上300-500m,太影响docker的使用了。 思路:换更加轻量级的linux系统,删除jdk中无关的东西 先下载jdk的tar包,然后删除jdk中无关的东西 将jdk1.6.0_33.tgz 解压到 /usr/java/jdk 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 rm-rf/usr/java/jdk/*src.zip\ /usr/java/jdk/lib/missioncontrol\ /usr/java/jdk/lib/visualvm\ /usr/java/jdk/lib/*javafx*\ /usr/java/jdk/jre/lib/plugin.jar\ /usr/java/jdk/jre/lib/ext/jfxrt.jar\ /usr/java/jdk/jre/bin/javaws\ /usr/java/jdk/jre/lib/javaws.jar\ /usr/java/jdk/jre/lib/desktop\ /usr/java/jdk/jre/plugin\ /usr/java/jdk/jre/lib/deploy*\ /usr/java/jdk/jre/lib/*javafx*\ /usr/java/jdk/jre/lib/*jfx*\ /usr/java/jdk/jre/lib/amd64/libdecora_sse.so\ /usr/java/jdk/jre/lib/amd64/libprism_*.so\ /usr/java/jdk/jre/lib/amd64/libfxplugins.so\ /usr/java/jdk/jre/lib/amd64/libglass.so\ /usr/java/jdk/jre/lib/amd64/libgstreamer-lite.so\ /usr/java/jdk/jre/lib/amd64/libjavafx*.so\ /usr/java/jdk/jre/lib/amd64/libjfx*.so 以下dockerfile 基于AlpineLinux 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 #AlpineLinuxwithaglibc-2.21andOracleJava7 FROMdocker.io /jeanblanchard/alpine-glibc #MAINTAINERFoxChan #JavaVersion #ENVJAVA_VERSION_MAJOR7 #ENVJAVA_VERSION_MINOR60 #ENVJAVA_PACKAGEjdk #installjava ADDjdk /usr/java/jdk #Setenvironment ENVJAVA_HOME /usr/java/jdk ENVPATH${PATH}:${JAVA_HOME} /bin 才158.3 MB,太酷了! 本文转自银狐博客51CTO博客,原文链接http://blog.51cto.com/foxhound/1725221如需转载请自行联系原作者 战狐

优秀的个人博客,低调大师

Awfice —— 世界上最小的 Office 套件

Awfice 是一系列微型办公套件应用程序: 文字处理器、电子表格、绘图应用程序和演示文稿制作工具 每个小于 1KB 的纯 JavaScript 每个实际上只是一行代码 打包为数据 URL,因此你可以立即使用它们,无需下载或安装 你也可以离线使用它们 但是它们不能存储它们的状态,所以无论你输入什么都会在页面刷新时丢失 也可以作为“保护你的隐私”功能出售 保存作业的唯一方法是保存 HTML 或将其发送到打印机/打印为 PDF。 文本编辑器 - 59 字节 一个简单的富文本编辑器。输入任何你想要的,它不会被保存在任何地方,但它可能对快速一次性笔记很方便。你应该能够使用 Ctrl+B 和 Ctrl+I 将文本选择标记为粗体或斜体。撤消/重做也应该有效。你还可以从其他来源复制/粘贴文本和图像。 复制并添加到书签或在 URL 栏中打开: data:text/html,<body contenteditable style=line-height:1.5;font-size:20px> 尝试一下 电子表格 - 679 字节 带有数学公式的非常基本的电子表格。它有 100 行和 26 列 (A..Z)。如果单元格中的值以“=”开头,则将其计算为公式。你可以参考其他单元格值,即“=(A10+A11)/A12”。在引擎盖下它使用 eval(),所以要小心。 复制并添加到书签或在 URL 栏中打开: data:text/html,<table id=t><script>z=Object.defineProperty,p=parseFloat;for(I=[],D={},C={},q=_=>I.forEach(e=>{try{e.value=D[e.id]}catch(e){}}),i=0;i<101;i++)for(r=t.insertRow(-1),j=0;j<27;j++)c=String.fromCharCode(65+j-1),d=r.insertCell(-1),d.innerHTML=i?j?"":i:c,i*j&&I.push(d.appendChild((f=>(f.id=c+i,f.onfocus=e=>f.value=C[f.id]||"",f.onblur=e=>{C[f.id]=f.value,q()},get=_=>{v=C[f.id]||"";if("="!=v.charAt(0))return isNaN(p(v))?v:p(v);with(D)return eval(v.slice(1))},a={get},z(D,f.id,a),z(D,f.id.toLowerCase(),a),f))(document.createElement`input`)))</script><style>#t{border-collapse:collapse}td{border:1px solid gray;text-align:right}input{border:none;width:4rem;text-align:center}</style> 尝试一下 绘图应用程序 - 327 字节 复制并添加到书签或在 URL 栏中打开: data:text/html,<canvas id=v><script>d=document,d.body.style.margin=0,P="onpointer",c=v.getContext`2d`,v.width=innerWidth,v.height=innerHeight,c.lineWidth=2,f=0,d[P+"down"]=e=>{f=e.pointerId+1;e.preventDefault();c.beginPath();c.moveTo(e.x,e.y)};d[P+"move"]=e=>{f==e.pointerId+1&&c.lineTo(e.x,e.y);c.stroke()},d[P+"up"]=_=>f=0</script></canvas> 尝试一下

优秀的个人博客,低调大师

python spark 求解最大 最小 平均 中位数

rating_data_raw = sc.textFile("%s/ml-100k/u.data" % PATH) print rating_data_raw.first() num_ratings = rating_data_raw.count() print "Ratings: %d" % num_ratings # In[35]: rating_data = rating_data_raw.map(lambda line: line.split("\t")) ratings = rating_data.map(lambda fields: int(fields[2])) max_rating = ratings.reduce(lambda x, y: max(x, y)) min_rating = ratings.reduce(lambda x, y: min(x, y)) mean_rating = ratings.reduce(lambda x, y: x + y) / float(num_ratings) median_rating = np.median(ratings.collect()) ratings_per_user = num_ratings / num_users ratings_per_movie = num_ratings / num_movies print "Min rating: %d" % min_rating print "Max rating: %d" % max_rating print "Average rating: %2.2f" % mean_rating print "Median rating: %d" % median_rating print "Average # of ratings per user: %2.2f" % ratings_per_user print "Average # of ratings per movie: %2.2f" % ratings_per_movie # In[36]: # we can also use the stats function to get some similar information to the above ratings.stats() 上面是粗暴的做法 简单的做法: >>> all_data = sc.parallelize([1,2,3,4,5,6,7,8,100]) >>> all_data.mean() 15.11111111111111 >>> all_data.max() 100 >>> all_data.min() 1 >>> all_data.median() Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'RDD' object has no attribute 'median' >>> all_data.stats() (count: 9, mean: 15.1111111111, stdev: 30.0903987804, max: 100.0, min: 1.0) 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7153889.html ,如需转载请自行联系原作者

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册