首页 文章 精选 留言 我的

精选列表

搜索[官方镜像]，共10000篇文章
优秀的个人博客,低调大师

《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南（三）

JSON数据集 Scala Java Python R Sql Spark SQL在加载JSON数据的时候，可以自动推导其schema并返回DataFrame。用SQLContext.read.json读取一个包含String的RDD或者JSON文件，即可实现这一转换。 注意，通常所说的json文件只是包含一些json数据的文件，而不是我们所需要的JSON格式文件。JSON格式文件必须每一行是一个独立、完整的的JSON对象。因此，一个常规的多行json文件经常会加载失败。 // sc是已有的SparkContext对象 val sqlContext = new org.apache.spark.sql.SQLContext(sc) // 数据集是由路径指定的 // 路径既可以是单个文件，也可以还是存储文本文件的目录 val path = "examples/src/main/resources/people.json" val people = sqlContext.read.json(path) // 推导出来的schema，可由printSchema打印出来 people.printSchema() // root // |-- age: integer (nullable = true) // |-- name: string (nullable = true) // 将DataFrame注册为table people.registerTempTable("people") // 跑SQL语句吧！ val teenagers = sqlContext.sql("SELECT name FROM people WHERE age >= 13 AND age <= 19") // 另一种方法是，用一个包含JSON字符串的RDD来创建DataFrame val anotherPeopleRDD = sc.parallelize( """{"name":"Yin","address":{"city":"Columbus","state":"Ohio"}}""" :: Nil) val anotherPeople = sqlContext.read.json(anotherPeopleRDD) Hive表 Spark SQL支持从Apache Hive读写数据。然而，Hive依赖项太多，所以没有把Hive包含在默认的Spark发布包里。要支持Hive，需要在编译spark的时候增加-Phive和-Phive-thriftserver标志。这样编译打包的时候将会把Hive也包含进来。注意，hive的jar包也必须出现在所有的worker节点上，访问Hive数据时候会用到（如：使用hive的序列化和反序列化SerDes时）。 Hive配置在conf/目录下hive-site.xml，core-site.xml（安全配置），hdfs-site.xml（HDFS配置）文件中。请注意，如果在YARN cluster（yarn-cluster mode）模式下执行一个查询的话，lib_mananged/jar/下面的datanucleus 的jar包，和conf/下的hive-site.xml必须在驱动器（driver）和所有执行器（executor）都可用。一种简便的方法是，通过spark-submit命令的–jars和–file选项来提交这些文件。 Scala Java Python R 如果使用Hive，则必须构建一个HiveContext，HiveContext是派生于SQLContext的，添加了在Hive Metastore里查询表的支持，以及对HiveQL的支持。用户没有现有的Hive部署，也可以创建一个HiveContext。如果没有在hive-site.xml里配置，那么HiveContext将会自动在当前目录下创建一个metastore_db目录，再根据HiveConf设置创建一个warehouse目录（默认/user/hive/warehourse）。所以请注意，你必须把/user/hive/warehouse的写权限赋予启动spark应用程序的用户。 // sc是一个已有的SparkContext对象 val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)") sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src") // 这里用的是HiveQL sqlContext.sql("FROM src SELECT key, value").collect().foreach(println) 和不同版本的Hive Metastore交互 Spark SQL对Hive最重要的支持之一就是和Hive metastore进行交互，这使得Spark SQL可以访问Hive表的元数据。从Spark-1.4.0开始，Spark SQL有专门单独的二进制build版本，可以用来访问不同版本的Hive metastore，其配置表如下。注意，不管所访问的hive是什么版本，Spark SQL内部都是以Hive 1.2.1编译的，而且内部使用的Hive类也是基于这个版本（serdes，UDFs，UDAFs等） 以下选项可用来配置Hive版本以便访问其元数据： 属性名 默认值 含义 spark.sql.hive.metastore.version 1.2.1 Hive metastore版本，可选的值为0.12.0 到 1.2.1 spark.sql.hive.metastore.jars builtin 初始化HiveMetastoreClient的jar包。这个属性可以是以下三者之一： builtin 目前内建为使用Hive-1.2.1，编译的时候启用-Phive，则会和spark一起打包。如果没有-Phive，那么spark.sql.hive.metastore.version要么是1.2.1，要就是未定义 maven 使用maven仓库下载的jar包版本。这个选项建议不要再生产环境中使用 JVM格式的classpath。这个classpath必须包含所有Hive及其依赖的jar包，且包含正确版本的hadoop。这些jar包必须部署在driver节点上，如果你使用yarn-cluster模式，那么必须确保这些jar包也随你的应用程序一起打包 spark.sql.hive.metastore.sharedPrefixes com.mysql.jdbc, org.postgresql, com.microsoft.sqlserver, oracle.jdbc 一个逗号分隔的类名前缀列表，这些类使用classloader加载，且可以在Spark SQL和特定版本的Hive间共享。例如，用来访问hive metastore 的JDBC的driver就需要这种共享。其他需要共享的类，是与某些已经共享的类有交互的类。例如，自定义的log4j appender spark.sql.hive.metastore.barrierPrefixes (empty) 一个逗号分隔的类名前缀列表，这些类在每个Spark SQL所访问的Hive版本中都会被显式的reload。例如，某些在共享前缀列表（spark.sql.hive.metastore.sharedPrefixes）中声明为共享的Hive UD函数 用JDBC连接其他数据库 Spark SQL也可以用JDBC访问其他数据库。这一功能应该优先于使用JdbcRDD。因为它返回一个DataFrame，而DataFrame在Spark SQL中操作更简单，且更容易和来自其他数据源的数据进行交互关联。JDBC数据源在java和python中用起来也很简单，不需要用户提供额外的ClassTag。（注意，这与Spark SQL JDBC server不同，Spark SQLJDBC server允许其他应用执行Spark SQL查询） 首先，你需要在spark classpath中包含对应数据库的JDBC driver，下面这行包括了用于访问postgres的数据库driver SPARK_CLASSPATH=postgresql-9.3-1102-jdbc41.jar bin/spark-shell 远程数据库的表可以通过Data Sources API，用DataFrame或者SparkSQL 临时表来装载。以下是选项列表： 属性名 含义 url 需要连接的JDBC URL dbtable 需要读取的JDBC表。注意，任何可以填在SQL的where子句中的东西，都可以填在这里。（既可以填完整的表名，也可填括号括起来的子查询语句） driver JDBC driver的类名。这个类必须在master和worker节点上都可用，这样各个节点才能将driver注册到JDBC的子系统中。 partitionColumn, lowerBound, upperBound, numPartitions 这几个选项，如果指定其中一个，则必须全部指定。他们描述了多个worker如何并行的读入数据，并将表分区。partitionColumn必须是所查询的表中的一个数值字段。注意，lowerBound和upperBound只是用于决定分区跨度的，而不是过滤表中的行。因此，表中所有的行都会被分区然后返回。 fetchSize JDBC fetch size，决定每次获取多少行数据。在JDBC驱动上设成较小的值有利于性能优化（如，Oracle上设为10） Scala Java Python R Sql val jdbcDF = sqlContext.read.format("jdbc").options( Map("url" -> "jdbc:postgresql:dbserver", "dbtable" -> "schema.tablename")).load() 疑难解答 JDBC driver class必须在所有client session或者executor上，对java的原生classloader可见。这是因为Java的DriverManager在打开一个连接之前，会做安全检查，并忽略所有对原声classloader不可见的driver。最简单的一种方法，就是在所有worker节点上修改compute_classpath.sh，并包含你所需的driver jar包。 一些数据库，如H2，会把所有的名字转大写。对于这些数据库，在Spark SQL中必须也使用大写。 性能调整 对于有一定计算量的Spark作业来说，可能的性能改进的方式，不是把数据缓存在内存里，就是调整一些开销较大的选项参数。 内存缓存 Spark SQL可以通过调用SQLContext.cacheTable(“tableName”)或者DataFrame.cache()把tables以列存储格式缓存到内存中。随后，Spark SQL将会扫描必要的列，并自动调整压缩比例，以减少内存占用和GC压力。你也可以用SQLContext.uncacheTable(“tableName”)来删除内存中的table。 你还可以使用SQLContext.setConf 或在SQL语句中运行SET key=value命令，来配置内存中的缓存。 属性名 默认值 含义 spark.sql.inMemoryColumnarStorage.compressed true 如果设置为true，Spark SQL将会根据数据统计信息，自动为每一列选择单独的压缩编码方式。 spark.sql.inMemoryColumnarStorage.batchSize 10000 控制列式缓存批量的大小。增大批量大小可以提高内存利用率和压缩率，但同时也会带来OOM（Out Of Memory）的风险。 其他配置选项 以下选项同样也可以用来给查询任务调性能。不过这些选项在未来可能被放弃，因为spark将支持越来越多的自动优化。 属性名 默认值 含义 spark.sql.autoBroadcastJoinThreshold 10485760 (10 MB) 配置join操作时，能够作为广播变量的最大table的大小。设置为-1，表示禁用广播。注意，目前的元数据统计仅支持Hive metastore中的表，并且需要运行这个命令：ANALYSE TABLE <tableName> COMPUTE STATISTICS noscan spark.sql.tungsten.enabled true 设为true，则启用优化的Tungsten物理执行后端。Tungsten会显式的管理内存，并动态生成表达式求值的字节码 spark.sql.shuffle.partitions 200 配置数据混洗（shuffle）时（join或者聚合操作），使用的分区数。 分布式SQL引擎 Spark SQL可以作为JDBC/ODBC或者命令行工具的分布式查询引擎。在这种模式下，终端用户或应用程序，无需写任何代码，就可以直接在Spark SQL中运行SQL查询。 运行Thrift JDBC/ODBC server 这里实现的Thrift JDBC/ODBC server和Hive-1.2.1中的HiveServer2是相同的。你可以使用beeline脚本来测试Spark或者Hive-1.2.1的JDBC server。 在Spark目录下运行下面这个命令，启动一个JDBC/ODBC server ./sbin/start-thriftserver.sh 这个脚本能接受所有 bin/spark-submit 命令支持的选项参数，外加一个 –hiveconf 选项，来指定Hive属性。运行./sbin/start-thriftserver.sh –help可以查看完整的选项列表。默认情况下，启动的server将会在localhost:10000端口上监听。要改变监听主机名或端口，可以用以下环境变量： export HIVE_SERVER2_THRIFT_PORT=<listening-port> export HIVE_SERVER2_THRIFT_BIND_HOST=<listening-host> ./sbin/start-thriftserver.sh \ --master <master-uri> \ ... 或者Hive系统属性 来指定 ./sbin/start-thriftserver.sh \ --hiveconf hive.server2.thrift.port=<listening-port> \ --hiveconf hive.server2.thrift.bind.host=<listening-host> \ --master <master-uri> ... 接下来，你就可以开始在beeline中测试这个Thrift JDBC/ODBC server: ./bin/beeline 下面的指令，可以连接到一个JDBC/ODBC server beeline> !connect jdbc:hive2://localhost:10000 可能需要输入用户名和密码。在非安全模式下，只要输入你本机的用户名和一个空密码即可。对于安全模式，请参考beeline documentation. Hive的配置是在conf/目录下的hive-site.xml，core-site.xml，hdfs-site.xml中指定的。 你也可以在beeline的脚本中指定。 Thrift JDBC server也支持通过HTTP传输Thrift RPC消息。以下配置（在conf/hive-site.xml中）将启用HTTP模式： hive.server2.transport.mode - Set this to value: http hive.server2.thrift.http.port - HTTP port number fo listen on; default is 10001 hive.server2.http.endpoint - HTTP endpoint; default is cliservice 同样，在beeline中也可以用HTTP模式连接JDBC/ODBC server: beeline> !connect jdbc:hive2://<host>:<port>/<database>?hive.server2.transport.mode=http;hive.server2.thrift.http.path=<http_endpoint> 转载自 并发编程网 - ifeve.com
2017-05-19
优秀的个人博客,低调大师

《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南（一）

Spark SQL, DataFrames 以及 Datasets 编程指南 概要 Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算的时候，无论你使用哪种API或语言，Spark SQL使用的执行引擎都是同一个。这种底层的统一，使开发者可以在不同的API之间来回切换，你可以选择一种最自然的方式，来表达你的需求。 本文中所有的示例都使用Spark发布版本中自带的示例数据，并且可以在spark-shell、pyspark shell以及sparkR shell中运行。 SQL Spark SQL的一种用法是直接执行SQL查询语句，你可使用最基本的SQL语法，也可以选择HiveQL语法。Spark SQL可以从已有的Hive中读取数据。更详细的请参考Hive Tables这一节。如果用其他编程语言运行SQL，Spark SQL将以DataFrame返回结果。你还可以通过命令行command-line或者JDBC/ODBC使用Spark SQL。 DataFrames DataFrame是一种分布式数据集合，每一条数据都由几个命名字段组成。概念上来说，她和关系型数据库的表 或者 R和Python中的data frame等价，只不过在底层，DataFrame采用了更多优化。DataFrame可以从很多数据源（sources）加载数据并构造得到，如：结构化数据文件，Hive中的表，外部数据库，或者已有的RDD。 DataFrame API支持Scala,Java,Python, andR。 Datasets Dataset是Spark-1.6新增的一种API，目前还是实验性的。Dataset想要把RDD的优势（强类型，可以使用lambda表达式函数）和Spark SQL的优化执行引擎的优势结合到一起。Dataset可以由JVM对象构建（constructed）得到，而后Dataset上可以使用各种transformation算子（map，flatMap，filter 等）。 Dataset API 对Scala和Java的支持接口是一致的，但目前还不支持Python，不过Python自身就有语言动态特性优势（例如，你可以使用字段名来访问数据，row.columnName）。对Python的完整支持在未来的版本会增加进来。 入门 入口：SQLContext Scala Java Python R Spark SQL所有的功能入口都是SQLContext类，及其子类。不过要创建一个SQLContext对象，首先需要有一个SparkContext对象。 val sc: SparkContext // 假设已经有一个 SparkContext 对象 val sqlContext = new org.apache.spark.sql.SQLContext(sc) // 用于包含RDD到DataFrame隐式转换操作 import sqlContext.implicits._ 除了SQLContext之外，你也可以创建HiveContext，HiveContext是SQLContext 的超集。 除了SQLContext的功能之外，HiveContext还提供了完整的HiveQL语法，UDF使用，以及对Hive表中数据的访问。要使用HiveContext，你并不需要安装Hive，而且SQLContext能用的数据源，HiveContext也一样能用。HiveContext是单独打包的，从而避免了在默认的Spark发布版本中包含所有的Hive依赖。如果这些依赖对你来说不是问题（不会造成依赖冲突等），建议你在Spark-1.3之前使用HiveContext。而后续的Spark版本，将会逐渐把SQLContext升级到和HiveContext功能差不多的状态。 spark.sql.dialect选项可以指定不同的SQL变种（或者叫SQL方言）。这个参数可以在SparkContext.setConf里指定，也可以通过 SQL语句的SET key=value命令指定。对于SQLContext，该配置目前唯一的可选值就是”sql”，这个变种使用一个Spark SQL自带的简易SQL解析器。而对于HiveContext，spark.sql.dialect默认值为”hiveql”，当然你也可以将其值设回”sql”。仅就目前而言，HiveSQL解析器支持更加完整的SQL语法，所以大部分情况下，推荐使用HiveContext。 创建DataFrame Spark应用可以用SparkContext创建DataFrame，所需的数据来源可以是已有的RDD（existingRDD），或者Hive表，或者其他数据源（data sources.） 以下是一个从JSON文件创建DataFrame的小栗子： Scala Java Python R val sc: SparkContext // 已有的 SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) val df = sqlContext.read.json("examples/src/main/resources/people.json") // 将DataFrame内容打印到stdout df.show() DataFrame操作 DataFrame提供了结构化数据的领域专用语言支持，包括Scala,Java,PythonandR. 这里我们给出一个结构化数据处理的基本示例： Scala Java Python R val sc: SparkContext // 已有的 SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) // 创建一个 DataFrame val df = sqlContext.read.json("examples/src/main/resources/people.json") // 展示 DataFrame 的内容 df.show() // age name // null Michael // 30 Andy // 19 Justin // 打印数据树形结构 df.printSchema() // root // |-- age: long (nullable = true) // |-- name: string (nullable = true) // select "name" 字段 df.select("name").show() // name // Michael // Andy // Justin // 展示所有人，但所有人的 age 都加1 df.select(df("name"), df("age") + 1).show() // name (age + 1) // Michael null // Andy 31 // Justin 20 // 筛选出年龄大于21的人 df.filter(df("age") > 21).show() // age name // 30 Andy // 计算各个年龄的人数 df.groupBy("age").count().show() // age count // null 1 // 19 1 // 30 1 DataFrame的完整API列表请参考这里：API Documentation 除了简单的字段引用和表达式支持之外，DataFrame还提供了丰富的工具函数库，包括字符串组装，日期处理，常见的数学函数等。完整列表见这里：DataFrame Function Reference. 编程方式执行SQL查询 SQLContext.sql可以执行一个SQL查询，并返回DataFrame结果。 Scala Java Python R val sqlContext = ... // 已有一个 SQLContext 对象 val df = sqlContext.sql("SELECT * FROM table") 创建Dataset Dataset API和RDD类似，不过Dataset不使用Java序列化或者Kryo，而是使用专用的编码器（Encoder）来序列化对象和跨网络传输通信。如果这个编码器和标准序列化都能把对象转字节，那么编码器就可以根据代码动态生成，并使用一种特殊数据格式，这种格式下的对象不需要反序列化回来，就能允许Spark进行操作，如过滤、排序、哈希等。 Scala Java // 对普通类型数据的Encoder是由 importing sqlContext.implicits._ 自动提供的 val ds = Seq(1, 2, 3).toDS() ds.map(_ + 1).collect() // 返回: Array(2, 3, 4) // 以下这行不仅定义了case class，同时也自动为其创建了Encoder case class Person(name: String, age: Long) val ds = Seq(Person("Andy", 32)).toDS() // DataFrame 只需提供一个和数据schema对应的class即可转换为 Dataset。Spark会根据字段名进行映射。 val path = "examples/src/main/resources/people.json" val people = sqlContext.read.json(path).as[Person] 和RDD互操作 Spark SQL有两种方法将RDD转为DataFrame。 1. 使用反射机制，推导包含指定类型对象RDD的schema。这种基于反射机制的方法使代码更简洁，而且如果你事先知道数据schema，推荐使用这种方式； 2. 编程方式构建一个schema，然后应用到指定RDD上。这种方式更啰嗦，但如果你事先不知道数据有哪些字段，或者数据schema是运行时读取进来的，那么你很可能需要用这种方式。 利用反射推导schema Scala Java Python Spark SQL的Scala接口支持自动将包含case class对象的RDD转为DataFrame。对应的case class定义了表的schema。case class的参数名通过反射，映射为表的字段名。case class还可以嵌套一些复杂类型，如Seq和Array。RDD隐式转换成DataFrame后，可以进一步注册成表。随后，你就可以对表中数据使用SQL语句查询了。 // sc 是已有的 SparkContext 对象 val sqlContext = new org.apache.spark.sql.SQLContext(sc) // 为了支持RDD到DataFrame的隐式转换 import sqlContext.implicits._ // 定义一个case class. // 注意：Scala 2.10的case class最多支持22个字段，要绕过这一限制， // 你可以使用自定义class，并实现Product接口。当然，你也可以改用编程方式定义schema case class Person(name: String, age: Int) // 创建一个包含Person对象的RDD，并将其注册成table val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF() people.registerTempTable("people") // sqlContext.sql方法可以直接执行SQL语句 val teenagers = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19") // SQL查询的返回结果是一个DataFrame，且能够支持所有常见的RDD算子 // 查询结果中每行的字段可以按字段索引访问: teenagers.map(t => "Name: " + t(0)).collect().foreach(println) // 或者按字段名访问: teenagers.map(t => "Name: " + t.getAs[String]("name")).collect().foreach(println) // row.getValuesMap[T] 会一次性返回多列，并以Map[String, T]为返回结果类型 teenagers.map(_.getValuesMap[Any](List("name", "age"))).collect().foreach(println) // 返回结果: Map("name" -> "Justin", "age" -> 19) 转载自 并发编程网 - ifeve.com
2017-05-19
优秀的个人博客,低调大师

《Spark 官方文档》在Amazon EC2上运行Spark

在Amazon EC2上运行Spark Spark的ec2目录下有一个spark-ec2脚本，可以帮助你在Amazon EC2上启动、管理、关闭Spark集群。该脚本能在EC2集群上自动设置好Spark和HDFS。本文将会详细描述如何利用spark-ec2脚本来启动和关闭集群，以及如何在集群提交作业。当然，首先你必须在Amazon Web Services site上注册一个EC2的账户。 spark-ec2可以管理多个命名集群。你可以用它来启动一个新集群（需要提供集群大小和集群名称），关闭一个已有的集群，或者登陆到一个集群。每一个集群的机器将会被划分到不同的EC2安全组（EC2 security groups）当中，而这些安全组的名字是由集群的名称派生而来。例如，对于一个命名为test的集群，其主节点（master）将被分到一个叫test-master的安全组，而其他从节点（slave）将被分配到test-slaves安全组。spark-ec2脚本会自动根据你提供的集群名称，来创建安全组。你可以在EC2的控制台（Amazon EC2 Console）中使用这些名字。 准备工作 首先，你需要创建Amazon EC2 key pair。这需要登陆Amazon Web Services账号，在AWS控制台（AWS console）上点击侧边栏上的Key Pairs来创建，并下载。同时，你要确保给这私匙文件附上600权限（即：可读可写）以便使用ssh登陆。 使用spark-ec2的时候，一定要设置好这两个环境变量，AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY，并使其指向你的Amazon EC2 access key ID和secret access key。这些都可以在AWS主页（AWS homepage）上，点击 Account > Security Credentials > Access Credentials获得。 启动集群 切换到你下载的spark的ec2目录下 运行命令./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name>，其中<keypair>是你的Amazon EC2 key pair的名字（你创建Amazon EC2 key pair的时候所指定的名字），<key-file>是Amazon EC2 key pair的私钥（private key）文件，<num-slaves>是slave节点个数（至少是1），<cluster-name>是你指定的集群名称。 例如： bash exportAWS_SECRET_ACCESS_KEY=AaBbCcDdEeFGgHhIiJjKkLlMmNnOoPpQqRrSsTtU \ export AWS_ACCESS_KEY_ID=ABCDEFG1234567890123 ./spark-ec2 --key-pair=awskey \ --identity-file=awskey.pem \ --region=us-west-1 \ --zone=us-west-1a \ launch my-spark-cluster 集群启动完成后，检查一下集群调度器是否启动，同时，你可以在Web UI上查看是否所有的slave节点都正确的展示出来了，Web UI的链接在脚本执行完以后会打印在屏幕上（通常这个链接是 http://<master-hostname>:8080） 你可以运行./spark-ec2 –help 来查看更多的选项。以下是比较重要的一些选项： –instance-type=<instance-type> 可以指定EC2机器的实例类型。目前，该脚本只支持64-bit的实例类型。 –region=<ec2-region>可以指定EC2集群部署于哪个地域，默认地域是 us-east-1。 –zone=<ec2-zone>可以指定EC2集群实例部署在哪些地区（EC2的可用地区）。指定这个参数时注意，有时候因为在某些地区可能出现容量不够，因此你可能需要在其他地区启动EC2集群。 –ebs-vol-size=<GB>可以在每个节点上附加一个EBS（弹性可持续存储）卷，并指定其总容量，这些存储时可持久化的，即使集群重启也不会丢失。 –spot-price=<price> 将启动竞价型实例（Spot Instances）工作节点，这些节点可以按需分配，可竞价，并且可以设定竞价最高价格（以美元计）。 –spark-version=<version> 可以在集群中预先加载指定版本的spark。<version>可以是一个版本号（如：0.7.3）或者是一个git hash值。默认会使用最新版本的spark。 –spark-git-repo=<repository url> 可以指定一个自定义的git库，从而下载并部署该git库中特定的spark构建版本。默认使用Apache Github mirror。如果同时指定了spark版本，那么–spark-version参数值不能使用版本号，而必须是一个git提交对应的git commit hash（如：317e114）。 如果启动过程中由于某些原因失败了（如：没有给private key文件设定正确的文件权限），你可以用–resume选项来重启并继续已有集群的部署过程。 在VPC（Amazon Virtual Private Cloud）上启动集群 运行 ./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> –vpc-id=<vpc-id> -subnet-id=<subnet-id> launch <cluster-name>，其中，<keypair>是你的EC2 key pair（之前已经创建的），<key-file>是key pair中的私钥文件，<num-slaves>是从节点个数（如果你是第一次用，可以先设成1），<vpc-id>是VPC的名称，<subnet-id> 是你的子网名称，最后<cluster-name>是你的集群名称。 例如： bash export AWS_SECRET_ACCESS_KEY=AaBbCcDdEeFGgHhIiJjKkLlMmNnOoPpQqRrSsTtU \ export AWS_ACCESS_KEY_ID=ABCDEFG1234567890123 ./spark-ec2 --key-pair=awskey \ --identity-file=awskey.pem \ --region=us-west-1 \ --zone=us-west-1a \ --vpc-id=vpc-a28d24c7 \ --subnet-id=subnet-4eb27b39 \ --spark-version=1.1.0 \ launch my-spark-cluster 运行应用 转到你下载的spark的ec2目录下 执行./spark-ec2 -k <keypair> -i <key-file> login <cluster-name>远程登录到你的EC2集群，其中，<keypair>和<key-file>的说明见本文上面（这里只是为了方便说明，你也可以使用EC2的控制台） 如果需要把代码或数据部署到EC2集群中，你可以在登录后，使用脚本 ~/spark-ec2/copy-dir，并指定一个需要RSYNC同步到所有从节点（slave）上的目录。 如果你的应用需要访问一个很大的数据集，最快的方式就是从Amazon S3或者Amazon EBS设备上加载这些数据，然后放到你集群中的HDFS上。spark-ec2脚本已经为你设置好了一个HDFS，其安装目录为/root/ephemeral-hdfs，并且可以使用该目录下的bin/hadoop脚本访问。需要特别注意的是，这个HDFS上的数据，在集群停止或重启后，会被自动删掉。 集群中也有可以持久的HDFS，其安装路径为/root/persistent-hdfs，这个HDFS保存的数据即使集群重启也不会丢失。但一般情况下，这个HDFS在每个节点上可使用的空间较少（约为3GB），你可以用spark-ec2的选项–ebs-vol-size来指定每个节点上持久化HDFS所使用的空间大小。 最后，如果你的应用出错，你可以看看改应用在slave节点的日志，日志位于调度器工作目录下（/root/spark/work）。当然，你也可以通过web UI（http://<master-hostname>:8080）查看一下集群状态。 配置 你可以编辑每个节点上的/root/spark/conf/spark-env.sh文件来设置Spark配置选项（如：JVM选项参数）。这个文件一旦更改，你必须将其复制到集群中所有节点上。最简单的方式仍然是使用 copy-dir 这个脚本。首先，编辑主节点（master）上的spark-env.sh文件，然后，运行 ~/spark-ec2/copy-dir /root/spark/conf 将conf目录RSYNC到所有工作节点上。 configuration guide这一边文档说明了有哪些可用的选项配置。 终止集群 请注意，如果EC2节点被关闭后，是没有办法恢复其数据的！所以，请务必确保在关闭节点之前，将所有重要的数据复制出来，备份好。 切换到spark下的ec2目录 运行命令 ./spark-ec2 destroy <cluster-name> 暂停和重启集群 spark-ec2脚本同样支持暂停集群。这种情况下，集群实例所使用的虚拟机都是被停止，但不会销毁，所以虚拟机上临时盘数据都会丢失，但root分区以及持久HDFS（persistent-hdfs）上的数据不会丢失。停止机器实例不会多花EC2周期（意味着不用为机器实例付费），但会持续EBS存储的计费。 要停止一个集群，你需要切到ec2目录下，运行 ./spark-ec2 –region=<ec2-region> stop <cluster-name> 如果过后又要重启，请运行 ./spark-ec2 -i <key-file> –region=<ec2-region> start <cluster-name> 如果需要最终销毁这个集群，并且不再占用EBS存储空间，需要运行 ./spark-ec2 –region=<ec2-region> destroy <cluster-name>（如前一小节所述） 限制 对“集群计算”的支持有个限制 – 无法指定一个局部群组。不过，你可以在<cluster-name>-slaves群组中手工启动一些slave节点，然后用 spark-ec2 launch –resume 这个命令将手工启动的节点组成一个集群。 如果你发现一些新的限制或者有什么建议，欢迎贡献（contribute）到社区。 访问S3上的数据 Spark文件接口允许你通过相同的URI格式访问所有在Amazon S3上的数据，当然这些数据格式必须是Hadoop所支持的。你可以通过这种URI格式指定S3路径 s3n://<bucket>/path。在启动Spark集群的时候，可以使用选项–copy-aws-credentials来指定访问S3的AWS证书。更完整的访问S3所需的Hadoop库可以在这里查看Hadoop S3 page. 另外，访问S3的时候，你不仅可以将单个文件路径作为输入，同时也可以将整个目录路径作为输入。 转载自并发编程网 - ifeve.com
2017-05-19
优秀的个人博客,低调大师

官方教程：教你用好微信JS-SDK接口

微信开放JS-SDK接口，开发者和行业用户可谓是欢欣鼓舞、奔走相告，目测将激起一大波第三方开发商的创新产品！真真是H5开发者的利好！但也有用户表示，还不了解JS-SDK接口到底是啥，究竟怎么用。现在，小编就通过大量实战案例为大家逐一讲解，争取让大家都会用、且用好JS-SDK接口，赶紧往下看吧！ 1、分享类接口：支持获取“分享到朋友圈”、“发送给朋友”、“分享到QQ”和“分享到微博”按钮的用户点击状态，同时支持自定义分享内容。 小编解读：说起分享接口应用，最常见的莫过于公众号文章分享。通过分享按钮，用户可以将自己喜欢的文章分享给微信好友，也可分享到微信朋友圈。 通过此次开放的分享接口，开发者获得了新的能力： 可以在用户分享时，为其设置个性化的分享图片、标题、描述等，从而使分享的内容更生动有趣，以获得更好的传播效果。 同时，通过此接口，开发者还可以获知用户是否分享了网页，帮助其更好地评估网页服务是否受用户喜爱等。 2、图像类接口：支持拍照，并从手机相册选择、上传、下载和预览图片。 小编解读：“云打印”已开通了图像类接口，用户可以自由选择、打印手机相册中已有的照片，或是即时拍摄一张照片。打印前，可通过大图预览确认照片选择是否有误。 这实际上帮助开发者在网页上流畅、低成本地实现了选图或拍照的功能，也为用户带去了更好的使用体验。 大家熟悉的“印美图”，就是通过图像类接口，接收用户上传的照片，从而帮助用户完成打印服务。今后，运营者、商家通过H5页面发起照片征集等活动时，图像类接口也能帮上忙了。 3、音频类接口：支持语音的录制、播放和暂停播放，同时支持将语音快速上传到云端服务器，或从云端服务器将语音快速下载到网页。 小编解读：“微邮筒”早前已开通了音频类接口，用户在制作明信片时，可以同时录一段语音。当亲朋好友或自己收到明信片时，扫一扫明信片上的二维码，即可收听该段语音。 如此一来，语音就脱离了手机存储的限制，用户在任何时候、通过任何帐号，只要打开微信扫码即可获取语音片段，让记忆更坚固、长久。 4、智能类接口：支持将语音快速地转换成文字。开发者无需掌握语音识别相关技术，只需简单引用微信JS-SDK提供的方法即可实现。 小编解读：微信的语音输入、语音转文字功能已上线有段时间了，受到用户的广泛好评。 事实上，TA能做的还有更多。比如“付费通账单查缴”就借此为用户提供了“语音缴费”服务。用户不用按键，对着手机说出账单户号，就像平时用微信跟朋友聊天一样，然后点击“确认”即缴费成功，可谓是“躺着都可以完成”。便捷的缴费体验赢得了用户的青睐，该帐号上线仅仅5天，就拥了11539名用户，交易成功1862笔，交易金额达到20万元。 因此，语音识别等智能类接口的开放，对一些开发能力稍弱的运营方来说，无疑是重大利好。 5、设备信息类接口：支持获取当前手机设备的网络状态，如2G、3G、4G或Wi-Fi，为用户提供流畅的浏览体验。 小编解读：精心设计的界面、互动体验，如果因为用户手机网络原因而无法呈现，出现跳转迟缓、显示不全等状况，不仅白白浪费了运营者的前期努力，也容易挫伤用户参与积极性，留下不佳的印象。如果能够获取用户当前手机设备状态，通过技术手段加以干预，比如根据设备网络状态推送合适的网页版本，那么将大大减少此类状况的发生，用户体验也将更有保障。 6、地理位置类接口：支持获取用户的地理位置信息（前提是获得用户同意），支持使用微信的内置地图查看器，查看地理位置或导航。 小编解读：“大众点评”已将地理位置功能应用得相当成熟，当用户发起团购美食、电影票、订酒店等需求时，“大众点评”可以立即根据用户实时位置，向用户展示其位置周边相应商家。用户打开相关商品、服务详情页后，还可点击商家地址，调出地图、查询导航指引。 7、界面操作类接口：支持隐藏或显示微信内置浏览器“右上角菜单”、“分享到朋友圈”、“发送给朋友”、“复制链接”等指定按钮，支持关闭当前网页窗口并返回公众号会话。 小编解读：众所周知，点击微信界面右上角的“···”，将打开微信所有的菜单按钮，但对不同类型的商家、活动来说，并非所有菜单按钮都有用，冗余的按钮反而会耽误时间，干扰用户选择。界面操作类接口的开放，能帮助运营者关闭不需要的按钮，优化选择界面，也能提升用户操作效率。 8、微信扫一扫接口：支持使用微信扫一扫，扫描一维码或二维码，并将用户扫码内容交由微信处理或返回给网页由网页处理。 小编解读：除了扫街景、翻译，微信扫一扫在购物中的应用也已十分广泛，京东、当当等许多网站均支持微信扫码支付结算，用户在逛街时，通过微信扫描商品条形码，亦可即时查询到线上购买价格。 除此之外，微信扫一扫亦可扫实物。微信与Panda.W在广州花城大道开展的“微信扫熊猫”图象识别合作，首创通过实物、3D图形加入微信扫码新功能，用户直接扫描实物，就能进入相应的商品售卖页面，开始购物。从看见到购买、售后无缝对接，大大缩短用户犹豫期，帮助商家有效促进了销售。 9、微信小店接口：支持从网页跳转到指定的微信小店商品页，支持浏览商品的详细信息，支持完整的购买、客服等流程。 小编解读：花心思做了H5推广页面，用户还得通过扫码、加关注、找入口，才能开始购买商品？太慢了！今后，用户只需轻轻一点，就能直接打开相应微信小店的商品详情页，光速完成详情查询和咨询、购买。 10、微信卡券接口：支持批量添加卡券、调起使用门店卡券列表及获取用户选择列表。 小编解读：简而言之，通过这个能力，商家能批量添加多种卡券，并直接为用户展示其附近的门店能够使用那些卡券，引导其选择领取。同时，通过对后台“用户选择列表”进行数据分析，能够快速了解相应商圈的用户喜好、整体产品受欢迎程度等，比如XX小区附近用户更爱“牛堡+姜饮”，以便后期的商品调配与优化经营。 11、微信支付接口：支持有支付权限的公众号在网页发起一个微信支付请求。 小编解读：在某些场景下，相对于图文消息，网页多样化的呈现形式更能满足运营者的需求。如“腾讯公益”，需要向用户介绍项目进程、项目详情等，信息量较大，同时又需要兼顾用户捐款的便捷性，因此，在网页能够直接发起微信支付请求的需求非常迫切。如今，用户在查看完“腾讯公益”各项目介绍内容后，已能直接在网页底部点击捐款按钮，就能立即通过微信支付进行捐款。 附微信开放JS-SDK接口权限列表：
2015-01-10

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-17 大小: 1MB 下载: 2次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2025-12-17 大小: 1.42GB 下载: 1次
热门标签
Jdk25 Redis SpringCloud SpringBoot4 Service Mesh Kubernetes OpenAi Rocky Docker DeepSeek HarmonyOS6 Gemini3 Nacos3

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273