搜索[scala]结果-低调大师优秀个人博客

精选列表

搜索[scala]，共1922篇文章

挑逗 Java 程序员的那些 Scala 绝技

有个问题一直困扰着 Scala 社区，为什么一些 Java 开发者将 Scala 捧到了天上，认为它是来自上帝之吻的完美语言；而另外一些 Java 开发者却对它望而却步，认为它过于复杂而难以理解。

2018-10-22

聊聊JavaScript和Scala的表达式 Expression

先看下这段神奇的Java代码： public static void main(String[] args) throws Exception { doSomethingMagic(); System.out.printf("2 + 2 = %d", 2 + 2); } 执行结果：2 + 2 = 5 那么doSomethingMagic到底做了什么神奇的事情呢？先看代码： private static void doSomethingMagic() throws Exception { Class cache = Integer.class.getDeclaredClasses()[0]; Field c = cache.getDeclaredField("cache"); c.setAccessible(true); Integer[] array = (Integer[]) c.get(cache); array[132] = array[133]; } 所以这个例子其实包含了Java中整型类型Integer的一个知识点。可能有的朋友对于doSomethingMagic里面的代码有点摸不着头脑，让我们先查看上图第17行 2 + 2反编译出来的代码：编辑器将2+ 2的值先计算出来，等于4。最后System.out.println打印出来的值，实际上是Integer.valueOf(4)的返回值。那么我们就查看JDK里Integer.valueOf的实现：上面的实现代码，从830行到832行，逻辑非常清楚：如果valueOf的参数i在IntegerCache.low和IntegerCache.high之间，即[-128, 127]的闭区间，则直接从IntegerCache这个缓存区域里返回。只有当输入参数i不在[-128,127]区间内，才执行代码832，基于输入参数i创建一个新的Integer实例。带着这个理念，我们再看doSomethingMagic就清楚多了。这个方法通过Java反射将上图IntegerCache的成员cache设置成可访问:setAccessible(true), 然后将IntegerCache的第132个元素的值用第133个元素的值覆盖。我们从Eclipse调试器里发现，Integer cache里第132个元素的值为4，第133个元素的值为5。本来Integer.valueOf方法，对于输入4，从Integer cache里返回第132个元素的值，即4。现在这个元素的值被第133个元素即5覆盖了，所以最后得到了 2 + 2 = 5。用一句话概括这个场景： 2 + 2 = 4 = Integer.valueOf(4) = 5 ( 因为4在Integer cache里对应的记录已经被我们的代码显式替换成了5）。要获取更多Jerry的原创技术文章，请关注公众号"汪子熙"或者扫描下面二维码:

2018-09-03

Scala关键字lazy的理解和使用

Scala中使用关键字lazy来定义惰性变量，实现延迟加载(懒加载)。惰性变量只能是不可变变量，并且只有在调用惰性变量时，才会去实例化这个变量。

2018-04-06

【问题】java.lang.NoSuchMethodError: scala.Product.$init$

运行Spark任务，报错java.lang.NoSuchMethodError: scala.Product.

2017-11-16

每天学一点Scala之匿名函数

1、定义如果一个函数没有名字的话，就是匿名函数了。只使用一次，并没有多次调用 2、匿名函数的使用场景将匿名函数，直接赋值给变量将匿名函数，作为函数的参数进行使用 3、匿名函数的几种表现形式？或者呈现形式没有参数输入，没有返回值的匿名函数有参数输入，没有返回值的匿名函数有参数输入，有返回值的匿名函数 4、匿名函数的语法规则，有两种形式吧:[一种有输入参数，一种没有输入参数] (参数名：参数类型) =>函数体函数体 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 package com.xej.learning.nimingFunction object AnonymousFunction{ def main(args : Array[String]) : Unit = { //对于有参数输入的匿名函数，调用时，同样要用参数输入哦 kafkaName( "apachekafka" ) println( "--->:\t" +flumeName( "apacheflume" )) sparkName //匿名函数的使用场景--1，作为参数，传入给高阶函数 //下面，map,foreach里，就是匿名函数 Array( 3 , 2 , 1 , 5 ).map{(x : Int) = >x+ 2 }.foreach(x = >print(x+ "" )) println( "\n----------------------------------------------------" ) Array( 3 , 2 , 1 , 5 ).map{ _ + 1 }.foreach(x = >print(x+ "" )) } //匿名函数的使用场景--2，直接赋值给变量 //参数：有参数输入，函数体：无返回值，形式的匿名函数//函数体里，可能有很多条语句哦， //只是最终结果，是有返回值的 val kafkaName = (name : String) = >println( "--kafka-->" +name) //参数：有参数输入，函数体：有返回值，形式的匿名函数 val flumeName = (name : String) = > "--flume-->" +name //参数：无参数输入，函数体：无返回值，形式的匿名函数 val sparkName = println( "----thisisspark------" ) } spark源码，marathon源码中，都大量使用了匿名函数下面是marathon源码中的样例本文转自故新51CTO博客，原文链接：http://blog.51cto.com/xingej/1962419，如需转载请自行联系原作者

2017-11-07

每天学一点Scala之apply方法

apply方法一般什么地方出现此方法一般在伴生对象中实现的目的：改变了创建伴生类实例的方式，不再通过new的方式，而是直接使用类名()的方式，scala底层会隐式的调用apply方法 1 2 3

2017-11-07

《Scala机器学习》一一3.2 理解Spark的架构

3.2 理解Spark的架构并行化是将工作负载划分为在不同线程或不同节点上执行的子任务。下面介绍Spark实现并行化的原理，以及它如何管理子任务的执行和子任务之间的通信。3.2.1 任务调度Spark工作负载的划分由弹性分布式数据集（Resilient Distributed Dataset，RDD）的分区数决定，这是Spark的基本抽象和管道结构。RDD是一种可并行操作的、不可变元素的分区集合。具体细节可能取决于Spark的运行模式，图3-2为Spark任务/资源调度的示意图。图3-2 通用的Spark任务调度示意图。尽管在图中没有明确标识，Spark Context通常会在端口4040上打开一个HTTP UI（并发情形将打开4041、4042等），在任务执行期间会一直这样。Spark Master UI的端口通常是8080（虽

2017-08-01

《Scala机器学习》一一3.5 Spark的性能调整

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.5节,作者：[美] 亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-03

《Scala机器学习》一一3.6 运行Hadoop的HDFS

本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.6节,作者：[美] 亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-03

《Scala机器学习》一一1.3 数值字段概述

本节书摘来自华章计算机《Scala机器学习》一书中的第1章，第1.3节,作者：[美] 亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-02

Spark机器学习1·编程入门(scala/java/python)

/bin/run-example org.apache.spark.examples.SparkPi scala import org.apache.spark.SparkContext import

2016-12-20

Spark 的键值对（pair RDD）操作，Scala实现

[(String, Int)] = MapPartitionsRDD[9] at map at <console>:29 scala> pairs.foreach(println) (

2016-07-03

Spark工程开发常用函数与方法(Scala语言)

{SaveMode, DataFrame}import scala.collection.mutable.ArrayBufferimport main.asiainfo.coc.tools.Configureimport

2015-10-09

spark 之 Scala 环境搭建，开发工具使用

1，首先介绍官网网站 http://scala-lang.org/ 下载windows 的exe直接进行安装就行。安装后有个本地文档可以使用： 2，工具使用继续使用eclipse。

2014-03-15