首页 文章 精选 留言 我的

精选列表

搜索[零代码平台],共10000篇文章
优秀的个人博客,低调大师

零基础搭建Hadoop大数据处理-环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。 VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名。 所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP互相能访问。 需要注意的几个问题。nat如果上网首先需要查看物理机(pc机)这个服务器已经启动。上网的原理:流量是走的物理网卡,但是它的ip,却是和物理机没有关系的。也就是说,无论你怎么更换网络环境,你的虚拟机都不需要做改变。这就是它的优点。 首先在安装VMware 之后,我们会看到多了两个网卡 这个如果经过网络配置的折磨,应该能找到着两个网卡:vmnet1和vmnet8,这里讲的是vmnet8。 重点看右侧第三图你会看到ip地址,这个ip地址,因个人而异,也就是说不同网络,不同环境,这个ip变化的概率是很大的。可能是192.168.0.1等等。这里也相当于我们编程的一个变量,这里是需要你根据你的环境来赋值的,建议vmnet1到vmnet8分别设置192.168.10.1到192.168.80.1,好作区分。 上面我们通过看到的虚拟机网卡的ip,为了避免混肴,上面的虚拟网卡和本地网络适配器处于同一界面。如下图: 而下面则是在打开虚拟机之后,通过菜单弹出 弹出之后,我们在看一下虚拟机的(交换机)vmnet8. 可以看到vmnet8子网ip和虚拟机网卡是出于同一个网段的。 同时在右侧net设置界面,我们可以看到网关为:192.168.106.2,改成192.168.80.2 虚拟机的设置会用到。 Linux基础知识 Linux的学习也是一个过程,因为可能你连最简单的开机和关机命令都不会,更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。 首先我们需要使用一些命令,进行网络配置,但是在网络配置中,这里面又必须懂得虚拟机的一些知识,所以前面的虚拟机知识需要掌握扎实一些。 在此注意CentOS7与CentOS6的命令有些不同,会一些常用命令是必备,每次开机或启动解压安装授权都是最基本的知识,其它的可以暂时不用学。 CentOS中安装java环境 下载对应32或64位jdk,设置好JDK环境变量PATH,具体的配置可自行Google。 环境准备 修改机器名,每个系统中都要修改成这样。 打开终端,切换到root用户下修改机器名称。 $sudosu $vim/etc/sysconfig/network 在其中添加“HOSTNAME=H32” 添加每个服务器IP对应的机器名 三个ip地址都添加到各自的/etc/hosts文件中 每个系统中都要修改成这样 #编辑hosts vim/etc/hosts 关闭SELinux #编辑SELinux配置文件 vim/etc/selinux/config #改状态 SELINUX=disabled SSH设置 进入H30,查看ssh是否安装,如果有,继续,没有安装下。 rpm-qa|grepssh 时间服务器安装 这里需要安装时间服务器,其他的服务器通过这个来进行多机器时间的同步,分布式部署时机器时间不一致会导致数据错误或组件内通讯错误。 安装httpd服务 httpd是Apache超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程,它会建立一个处理请求的子进程或线程的池。 安装yum-utils yum install yum-utils 用于在线yum安装 它是基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令,而且命令简洁而又好记。(需要机器能访问外网) 准备资源和环境 下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive的最新版本) Java基础知识 由于Hadoop框架源码都是以java来写,因此最好都以java作为开发的最佳语言,虽然说有些用C#做了封装,但性能已大打折扣。(这就是为什么说Java的学大数据有很大的优势,其它语言的还需要重新学习Java) Eclipse IDE使用 Linux和Windows下源码编译技术 还有最重要的是你的网速要好,因为安装过程中会下载依赖包,网不好会卡到你怀疑人生。 最后还需要有耐心,每台机子的环境都不一样,而且每个人下载的包的版本也有可能不一样 会导致各种问题,此时就需要耐心的去看日志,不停的尝试和仔细的对比安装步骤,可能就是少了个变量 或大小写错误或是要重启。 环境准备就这么多,下一章开始讲如何安装Hadoop集群。 本文作者:欢醉 来源:51CTO

优秀的个人博客,低调大师

这个勒索软件即服务已经实现零编码需求

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 一新发现的勒索软件家族通过勒索软件即服务(RaaS)商业模式提供,让网络罪犯们得以轻松定制自己的恶意软件。 该勒索软件家族由安全研究员Xylitol发现,命名为“撒旦(Satan)”,由于只需创建账号即可使用,任何有意的罪犯都能用。勒索收益仅需给作者抽成30%,让该RaaS颇具吸引力。 事实上,该RaaS有意让使用者不用投入太多精力,因为它会处理赎金支付和新功能的添加。不过,成为会员得收点发行费,但开发者宣称,成功的案例会奖励更高的赎金支付提成。 “撒旦”RaaS站点的欢迎页面上写有该服务的说明,注册用户能访问一个控制台,通过多个页面设置他们自己的勒索软件。这些设置页面包括:恶意软件、释放器、翻译、账户、通知和消息。 “恶意软件”页面上,属意罪犯可自定义他们自己的勒索软件:设定赎金数额、赎金保持不变的天数、过期增长率。“释放器”页面辅助会员打造恶意微软Word宏或CHM安装程序,通过垃圾邮件或其他方式投送恶意软件。 会员可在“翻译”页面扩展用于勒索信的语言,在“账户”页面跟踪被感染受害者的数量、已支付数和其他信息。“通知”页面用于显示来自RaaS开发者的消息,而“消息”页面则是为“客户服务”请求所设。 “撒旦”运营者会专门要求会员不要与VirusTotal共享下载勒索软件样本,降低安全厂商遇到该变种的可能性。该服务目前在地下论坛上打广告,恶意载荷和盈利模式都有介绍。 为规避分析,“撒旦”勒索软件内置了很多虚拟化检查,只要觉得自身运行在虚拟机里,立马终止进程。如果检查通过,该恶意软件会将自身注射进TaskHost.exe进程,然后开始加密被感染计算机上的文件。 该勒索软件目前针对350多种文件类型,安全研究人员还在分析其加密算法。他们现在所知道的,是该恶意软件会在被加密文件的文件名后添加上.stn后缀,而不是在编码该文件名之前。 加密过程中,“撒旦”会在每个包含有被加密文件的文件夹中,释放出一个名为“HELP_DECRYPT_FILES.html”的勒索信。加密完所有文件后,它会运行cipher.exe程序,清除C盘上未使用空间的所有数据。 “撒旦”的勒索信包含有***的受害者ID和一条通向TOR匿名支付站点的URL,以及用户恢复被加密文件应遵循的指令。勒索信还宣称使用了AES-256和RSA-2048加密算法,不过,这一点尚有待证实。

优秀的个人博客,低调大师

零成本体验 ODPS 大数据分析

大数据是大势所趋,地球人都知道。但是想体验和学习使用大数据系统,却没那么简单。至少要先注册云账号,开通 ODPS 服务,建立自己的 project,下载并配置好 odpscmd 这样的工具,然后学习使用各种命令来执行诸如建表、上传数据、跑 SQL 作业等任务。 现在,我们提供了 ODPS notebook 来简化这一流程, 不需要注册阿里云账号,我们随 notebook 提供了免费的云账号。 不需要建立 project,我们随 notebook 提供了 odpsdemo_dev。 不需要提前学习文档,我们随 notebook 提供了图文并茂、循序渐进的教学流程。 只要两行命令启动 notebook docker,就可以在自己的机器上完成体验: docker pull registry.aliyuncs.com/odps/odps-notebo

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册