首页 文章 精选 留言 我的

精选列表

搜索[win10],共582篇文章
优秀的个人博客,低调大师

win10 spark+scala+eclipse+sbt 安装配置

版权声明:本文由董可伦首发于https://dongkelun.com,非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/80224035 我的原创地址:https://dongkelun.com/2018/03/15/winSparkConf/ 1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格 2、安装spark 2.1 下载 下载地址:http://spark.apache.org/downloads.html,我下载的是 spark-2.2.1-bin-hadoop2.7.tgz 2.2 安装 解压到指定路径下即可,比如 D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7 2.3 配置环境变量 在系统变量Path添加一条:D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7\bin 即可 3、安装hadoop 3.1 下载 下载地址:https://archive.apache.org/dist/hadoop/common/(需要和spark对应的版本保持一致,我选择的hadoop-2.7.1.tar.gz) (此链接下载较慢,可选择其他镜像下载其他版本如:http://mirror.bit.edu.cn/apache/hadoop/common/) 3.2 安装 解压到指定路径下即可,比如 D:\Company\bigdata\hadoop-2.7.1 3.3 配置环境变量 在系统变量里添加 HADOOP_HOME:D:\Company\bigdata\hadoop-2.7.1 3.4 下载winutils.exe 1.下载地址:https://github.com/steveloughran/winutils(找到对应的版本下载) 2. 将其复制到 %HADOOP_HOME% 即D:\Company\bigdata\hadoop-2.7.1\bin 3.5 解决/temp/hive 不可写错误 执行以下语句:D:\Company\bigdata\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/hive 即可,参考:http://mangocool.com/1473838702533.html 3.6 运行验证spark 在命令行输入:spark-shell,出现如下图所示即为成功(其中warn信息已在日志配置文件里去掉) 4、安装对应版本的scala(scala-2.11.8.msi) 4.1 下载 下载地址:https://www.scala-lang.org/download/all.html 4.2 安装 一键式安装到指定目录:D:\Company\bigdata\scala 4.3 配置环境变量 安装过程中已经自动配好 4.4 验证 输入scala -version 查看版本号 ,输入scala 进入scala的环境 5、在eclipse上安装scala插件 5.1安装 在Eclipse中选择Help->Install new Software 等待一会儿: 然后下一步下一步 中间有一个警告,点ok即可,最后根据提示重启eclipse即可安装完成 5.1运行scala程序 5.1.1 新建scala project 5.1.2 将默认的sacala版本改为之前安装的版本 5.1.3 编写salca程序,即可像运行java一样运行scala 6、安装sbt 6.1 下载(sbt-1.1.1.msi) 下载地址:https://www.scala-sbt.org/download.html 6.2 安装 一键式安装到指定目录:D:\Company\bigdata\scala-sbt 6.3 配置环境变量 SBT_HOME=D:\Company\bigdata\scala-sbt path=%SBT_HOME%\bin 6.3 配置本地仓库 编辑:conf/sbtconfig.txt # Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot.directory=D:/Company/bigdata/scala-sbt/boot/ -Dsbt.global.base=D:/Company/bigdata/scala-sbt/.sbt -Dsbt.ivy.home=D:/Company/bigdata/scala-sbt/.ivy2 -Dsbt.repository.config=D:/Company/bigdata/scala-sbt/conf/repo.properties 增加文件 conf/repo.properties [repositories] local Nexus osc : https://code.lds.org/nexus/content/groups/main-repo Nexus osc thirdparty : https://code.lds.org/nexus/content/groups/plugin-repo/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly typesafe2: http://repo.typesafe.com/typesafe/releases/ sbt-plugin: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/ sonatype: http://oss.sonatype.org/content/repositories/snapshots uk_maven: http://uk.maven.org/maven2/ ibibli: http://mirrors.ibiblio.org/maven2/ repo2: http://repo2.maven.org/maven2/ 6.4 验证 输入:sbt (第一次使用会下载复制一些文件) 7、安装eclipse的sbt插件:sbteclipse sbteclipse是eclipse的sbt插件,但与一般eclipse插件的配置及使用并不相同。 sbteclipse项目源码托管在github上:https://github.com/typesafehub/sbteclipse (7.1和7.2不确定是否是必须的,一台机器不需要,另一台因在~/.sbt文件下没有1.0和0.13文件夹,执行这两步即可) 7.1 下载项目 git clone https://github.com/sbt/sbteclipse.git 或下载zip再解压 7.2 编译 进入到sbteclipse目录下,输入 sbt compile 7.3 添加全局配置文件 新建:~/.sbt/1.0/plugins/plugins.sbt(网上好多说是:~/.sbt/0.13/plugins/plugins.sbt,但我两个电脑都不行) addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "5.2.4") 7.4 进入到之前创建的项目ScalaDemo目录下 添加sbt配置文件build.sbt name := "ScalaDemo" version := "1.0" scalaVersion := "2.11.8" javacOptions ++= Seq("-source", "1.8", "-target", "1.8") libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.2.1" ) 输入 sbt 然后输入eclipse 等待相关的依赖下载完,就可以在eclipse 看到依赖的jar了 7.5 最后将src bulid path 一下,就可以在scala代码里导入spark包了 8、 如果想调用本地spark,在SparkConf或者在SparkSession设置matser为local(本地模式)即可

优秀的个人博客,低调大师

在Win10上安装支持GPU训练的Tensorflow

在前面的文章中,我展示了如何测试你的Linux系统,看看你是否有支持TensorFlow的GPU,并在当时承诺接下来介绍Windows和MacOS的相关知识。因此,在本文中,我讲介绍如何测试支持GPU的Windows系统,如果你有这方面的需求,可以在获得TensorFlow的构建并确保其正常工作,本文会介绍安装和配置所需的驱动程序。 但在你进一步研究学习之前,你还需要了解一下Python pip,而这些通常不会在Windows的机器上出现。 1.获取Python和Pip 有很多方法可以安装Windows版的Python和pip,但是我发现最简单的方法是到Python站点下载可执行文件安装程序。 一旦你下载了它,启动它,并确保选择安装的自定义选项。这会将你带入一个配置对话框,你可以选择pip该对话框作为安装选项。 我建议你只选择他们。 完成安装

优秀的个人博客,低调大师

最早版本Win10即将失效:最糟糕的来了!

在“Windows即服务”的主导思想下,微软一直在为Windows 10带来功能和稳定性更新,短短2年时间内已经发布了第三个重大版本升级——“创意者更新”。 不过,至今仍有很多人在使用最初发布的“原始版”Windows 10系统。 对此,微软已经表示,“原始版”Windows 10将在五月份“周二补丁”发布后失去支持,最终版本也会停留在1507。 微软强调,失去支持之后,“原始版”Windows 10将仍可继续使用,但不再会收到任何更新。 而且,用户还要面对比安全更加糟糕的情况——稳定性和兼容性下降。 微软称,由于Windows 10至今已经有了多次驱动程序架构和内核级别的改进,因此“原始版”Windows 10可能会出现无法与现在最新版驱动程序兼容的情况。 所以,无论如何都建议仍在使用“原始版”Windows 10的用户将系统升级至最新版本。

优秀的个人博客,低调大师

微软Project Europe或将帮助Win10应用开发

微软关起门来,也是有不少在做的内部项目的,微软自然期望能够将这些项目带上台面,转化成生产力。国外媒体报道称,微软一支不知名的团队最近正在搞一个名为“Project Europe(欧洲项目?)”的项目。 当前有关Project Europe项目的消息几乎是空白的,不过微软在巴塞罗那的Build Tour上首次进行了宣传,但仅是一张写上了该项目名称的幻灯片。 微软在幻灯片上说这是“相关UWP的一个秘密项目”,或许这是帮助微软持续进行UWP全局应用推进的项目,说不定还能帮助解决当前Windows Modern应用部分匮乏的问题。 实际上,相关UWP以及构建应用生态,微软已经发不过好几个类似的项目了,其中一些是支持将其他平台(如Android、iOS)的应用移植到Windows 10平台,而且令这些应用既支持PC,也支持智能手机。 Project Islandwood和Astoria就是这么来的,不过后者已经被砍掉,原因不明。目前Islandwood项目仍在持续,而Astoria原本是让Android应用可以经过简单修改就运行在Windows 10 Mobile平台的项目。除此之外,微软还投入了Project Centennial,就是将Win32桌面应用带到应用商店,做成UWP全局通用应用。 未来几周应该就会有相关Project Europe项目的更多信息出现,主要应该还是跟开发者相关的。 本文转自d1net(转载)

优秀的个人博客,低调大师

取代安卓/Win10!谷歌送上 Fuchsia 上手体验

谷歌显然并不甘愿躺在安卓的功劳簿上坐享其成,况且后者的身份还是“庶出”。 所以,他们开发了Fuchsia(灯笼海棠),继Android和Chrome OS之后的第三款操作系统,而且这次的野心和定位都非常高,基于非Linux的自主微内核“Magenta”,而且同时为搭载高速处理器的现代手机和PC服务,也就是要统一安卓和Chrome OS。 现在,9to5Google拿到了搭载谷歌Fuchsia的原型手机,并送上了上手体验。 Fuchsia手机系统起名为Armadillo(犰狳) UI,主屏幕是正在运行应用程序的垂直滚动列表,类似于Android上的最近应用程序界面视图。底部是个人卡片,包含基本信息如时间,日期和某些设置项的切换。 Fuchsia中一个比安卓7.0明显先进的功能是,支持多达4个程序同屏同时运行,不过考虑到它要进驻桌面,这样的特性也不难理解。 不过,因为是非常早期的预览形态,所以很难捕捉到最终成型的系统会是什么样,我们不妨拭目以待吧,也许颠覆安卓/iOS甚至Windows的就是谷歌的这个灯笼海棠。 本文来自开源中国社区 [http://www.oschina.net]

优秀的个人博客,低调大师

win10下cmd的替代者cmder使用详解

windows自带的cmd的痛点: - 复制和黏贴信息不方便, - 不支持双屏和分屏, - 很多命令和linux的不一样,例如没有ls这个命令 - 默认字体和颜色太Low了,没办法变更 针对cmd痛点,找到了替代者cmder cmder下载 - 官网:[https://cmder.net/](https://cmder.net/) - 有mini版和full版,根据自己的需要下载 - full版带了git,文件比较大117M - 我个人喜欢mimi版9M多,因为已经安装过git了,就不需要full版了 - 注意下载链接会跳到github,如果不能访问github,可以找下面的我准备的百度网盘链接。 - 链接:[https://pan.baidu.com/s/1K9UmAvz3JuKwU02eEnZpMg](https://pan.baidu.com/s/1K9UmAvz3JuKwU02eEnZpMg) 提取码:54b3 cmder安装 - 下载下来是一个zip压缩包,解压出来,放置到你的软件目录下就好, cmder.exe的快捷方式发送到桌面 - 把cmder的完整文件目录路径,添加到系统环境变量path中,就可以在cmd中直接启动cmder - 添加到鼠标右键,先**【以管理员身份】**启动cmd,然后输入Cmder.exe /REGISTER ALL 配置cmder - 启动cmder只有,使用win+alt+p会调出设置面板 - interface language中可以设置语言为中文 - 在choose color scheme 选择配色 - 在fonts中设置字体, - 在appearance中设置外观,可以隐藏标签 修改默认的人字符为$,习惯linux或mac的都是$,看着人字不习惯 - 找到cmder的文件目录, vendor文件中的clink.lua - 打开后,找到local lambda = "λ",内做如下修改"λ"替换成"$" - 重新打开cmder就可以了 常用命令 ``` Tab 自动路径补全 Ctrl+T 建立新页签 Ctrl+W 关闭页签 Ctrl+Tab 切换页签 Alt+F4 关闭所有页签 Alt+Shift+1 开启cmd.exe Alt+Shift+2 开启powershell.exe Alt+Shift+3 开启powershell.exe (系统管理员权限) Ctrl+1 快速切换到第1个页签 Ctrl+n 快速切换到第n个页签( n值无上限) Alt + enter 切换到全屏状态 Ctr+r 历史命令搜索 Win+Alt+P 开启工具选项视窗 ``` 关于中文乱码 将下面的4行命令添加到cmder/config/aliases文件末尾 ``` l=ls --show-control-chars la=ls -aF --show-control-chars ll=ls -alF --show-control-chars ls=ls --show-control-chars -F ``` 还有就是养成良好的编码习惯文件命名最好不要有中文。

优秀的个人博客,低调大师

win10和win server 2016新的TCP功能介绍

TCP Fast Open (TFO) - RFC 7413 TFO允许在TCP握手期间发送和接收初始SYN分组中的数据。如果客户端和服务器都支持TFO功能,则可以减少建立到同一服务器的多个TCP连接的延迟。这是通过在初始TCP握手之后在客户端上存储TFO cookie来实现的。如果客户端稍后重新连接,则此TFO cookie将发送到服务器,从而允许连续的TCP握手跳过一个往返延迟,从而减少延迟。 TCP快速打开默认情况下在Windows 10周年更新和更新的Linux 3.7 +内核中启用。它在Chrome中不适用于个人电脑(仅适用于Android / Chrome操作系统,请参阅: Chrome : / / flags /并查找“TCP快速打开”标志)。它可以在MS Edge浏览器中启用(请参阅关于:About:Flags setting "TCP Fast Open")。 您可以在命令提示符中使用以下命令查看当前值: netsh int tcp show global 它可以使用以下方法设置: netsh int tcp set global fastopen=enabled (default: enabled, possible values: enabled, disabled, default) 建议:保持默认值,在操作系统中启用即可,因为应用程序需要单独支持/启用它。它仍然需要更广泛的试用和适配。 注意:它可能会导致一些较旧的中间件/路由器/防火墙丢弃的数据包出现问题,这些中间件/路由器/防火墙不喜欢报头较大的SYN数据包。 Initial Congestion Window (IW, or ICW) - RFC 6928 初始拥塞窗口确定TCP在等待确认和根据线路条件调整传输速度之前可以发送多少数据。传统上(RFC 3390),这是在2和4段之间,然而,随着更快的宽带连接,已经建议将允许的TCP初始窗口( IW )增加到10段。 Windows 10和Server 2012 R2中的默认值为4 MSS,使用周年更新时,Internet模板的默认值将增加到10 MSS,这是一件好事。它不能直接在Windows 10 Home / Pro上更改,您必须将模板更改为“compat”以限制它,这将适得其反。 官方建议: 10比4好。 Tail Loss Probe (TLP) - experimental IETF draft 旨在提高丢包恢复能力。默认情况下,对于RTT超过10ms的连接启用此选项。 官方建议:最好保持启用状态,这是默认设置。 Recent ACKnowledgement (RACK) - experimental IETF draft 根据时间检测数据包丢失,而不是检查数据包序列。默认情况下,对于使用SACK的10ms RTT以上的连接启用此选项。客户端Windows 10操作系统已在“Internet”模板中启用,在“compat”模板中禁用,并且设置为只读。 官方建议: 尚不完全清楚,在某些边缘情况下可能有用,而收益可能会被间接费用抵消。需要进一步测试。 Windows Low Extra Delay BAckground Transport (LEDBAT) - RFC 6817 它是为后台传输设计的拥塞控制模块,因此它们仅消耗未使用的后台带宽,而不会干扰其他TCP连接。它是没有文档记录的、实验性的,并且不容易配置。 官方建议: 不相干,因为我们不能测试、改变或使用它

优秀的个人博客,低调大师

Win10周年升级新增52000个emoji表情

据外媒报道,微软在最新的Windows 10周年升级新增了52000个emoji表情,其中既有跨种族的家庭头像表情也有单亲家庭头像表情,当然Insider项目下广受用户喜欢的吉祥物--忍者猫自然也不能少。另外,新增的emoji表情还对老表情进行一些调整改进,如采用粗的轮廓、更高的清晰度、更深的颜色以及在处理跨种族家庭上跟iOS 9.3的差异。 在上面这幅图中可以看到,Windows 10提供跨种族家庭一体的emoji表情,但iOS 9.3却没有,这几位家庭成员则都是独立开来的表情。 此外,Windows 10周年升级对Unicode 9的支持还意味着这套系统能对其他emoji表情展开肤色调色。 从现在起,微软在emoji这场大战中似乎已经迈出了重要的一大步,它不仅仅开始支持Unicode 9而且还有自己特有的表情。 ====================================分割线================================ 本文转自d1net(转载)

优秀的个人博客,低调大师

iOS全部150万应用归Win10?微软大计划

据外媒报道,微软为了弥补自身应用匮乏的问题,决定在Windows 10上开启UWP(通用应用)模式,即兼容Android和iOS应用。当Android流产后,微软加快了iOS项目的进度,几个月前把Windows Bridge for iOS工具的代码放到了GitHub上。 微软在技术文章里概述了如何在Xcode中创建一款基本的“待办事项清单”应用,然后使用Windows Bridge for iOS工具来移植这款应用使其在Windows 10中顺利运行。 微软称,开发者需要一台Windows 10 PC、Visual Studio 2015和Windows Bridge for iOS工具。当然还需要安装OS X 10.11和Xcode 7的Mac。 从这些动作可以洞悉,微软有信心建立起Windows 10生态。据可查资料显示,目前,App Store和Google Play的应用数量在150万款以上,微软应用商店官宣的数字是66万。 本文转自d1net(转载)

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册