首页 文章 精选 留言 我的

精选列表

搜索[ATH事业群],共10000篇文章
优秀的个人博客,低调大师

阿里官方python群开始正式招募啦,I want you !

刚刚过完节日的你是否依然还是不在状态,云栖社区的运营小编已经忙的不亦乐乎啦, 最近两周的直播已经安排上,接下来会陆续更新。。。。。。 近两周直播排期 直播主题:Python深度学习第二讲——数据增广 直播时间:2月15日20:00—21:00 课程大纲:1、基于python的深度学习应用大观;2、基于python的深度学习数据增广方法;3、python数据增广所用库及代码解析; 直播讲师:猫饼君,香港城市大学理学硕士,曾在南洋理工大学参加过机器学习算法相关项目,现任职计算机视觉算法工程师,专注于计算机视觉算法研究及应用落地。 直播主题:python基础学习——爬虫分享 直播时间:2月20日 直播讲师:罗攀,阿里特邀专家,林学的研究僧《从零开始学Python网络爬虫》《从零开始学Python数据分析》作者Python中文社区、Python爱好者社

优秀的个人博客,低调大师

AI干货分享:基于群签名的新一代区块链技术

一、去中心化技术和区块链技术的前世今生 郭晓峰:区块链(BlockChain)其实并没有那么神秘,它本质上是一个提供去中心化的(Decentralized)次序的技术。在对它进行深入讨论钱,我们首先要从去中心化技术和区块链技术的发展谈起。 去中心化是相对于分布式(Distributed)而言的,主要有两种代表性的技术,P2P和区块链技术。 P2P(peer-to-peer,对等网络)是一种unordered decentralized technology,是在对等者(Peer)之间分配任务和工作负载的分布式应用架构。其中比较有代表性的案例为早期的Gnutella,BitTorrent等。最近比较火的IPFS也属于这个范畴。这种技术的特点是不提供事件次序,因此没法支持交易处理。世纪初的时候P2P的技术风靡全球,但是最终没有形成巨大的bu

优秀的个人博客,低调大师

阿里云ECS,使用VPC网络统一集群网络出口

今日在家,偶然想起自己还有4张10元ecs代金券,不用白不用,平常这种小额代金券都是用来买临时带宽了,今天打算做点别的用处:研究下阿里云的VPC网络。 关于VPC网络的用处,今天只讲一点,就是统一网络出口(表现为:内网所有对公网的访问,都使用同一个IP)。 曾经在工作中,开发测试期间只有一台ECS,什么问题都没有发现。 然而等到项目上线时刻,线上业务要求必须通过SLB提高可用性,这就变成了多台web服务器。由于是新业务,因此这次SLB后端只挂了两台经典网络ECS用作web服务器。此处SLB的使用,实现了其中一台机器不中断业务的高可用效果,同时也实现了统一网络入口功能(对公网仅有一个IP入口)。就在此时遇到了新的问题,这个web业务中包含微信公众号开发。做过公众号开发的同学应该知道,微信公众号开发要求填写服务器IP白名单,从而引发了问题: 现有2台ECS均具备1M的公网带宽,因此,两台ecs上发起的请求到微信那边,分别会表现出各自的公网IP,也就是白名单需要2个IP。 实际上问题并不局限于此,当以后业务规模加大的时候,每增加一台后端ECS,就需要追加一个白名单IP,这对于将来实现自动弹性扩展增减服务器显然不合理。在这样的场景下,VPC网络的优势就明显提现了出来。 了解这部分知识,最好是先懂一点网络组网基础。如果看懂了这张网络拓扑图。本文主旨就已经明确 接下来的操作,是我模拟这个业务需求使用的选型方案,通过这个方案,就做到了统一web集群出口功能: 1,创建VPC网络,创建VPC交换机,创建VPC路由器 (我这里因为有一台老的vpc机器,就直接偷懒修改了已有的vpc网络) 2,购买弹性公网IP,也就是EIP产品。 3,购买NAT网关,这里的是12元/天,通过网关将EIP绑定到VPC交换机 4,购买两台ECS,1核1G,无公网,选择刚才已创建的“vpctest”VPC网络。 5,到机器里分别看下访问公网时的公网IP,均为弹性IP的ip值。达到逾期效果 经过了以上步骤,我就可以将这个vpc下的服务器用于微信公众号web服务,实现随便添加机器,不需要考虑微信后台的服务器ip白名单了。当然,这里隐藏了一个步骤,就是要统一公众号开发入口还得购买SLB,因为vpc的nat网关这里仅仅是统一出口,统一入口的事情需要交给SLB去实现。 原文地址:https://www.opengps.cn/Blog/View.aspx?id=50,文章的更新编辑依此链接为准。欢迎关注源站原创文章!

优秀的个人博客,低调大师

centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境 安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。 1)安装中文输入法: 1、需要root权限,所以要用root登录 ,或su root 2、yum install "@Chinese Support" 2)安装ssh或者vsftp 使用chkconfig --list来查看是否装有vsftpd服务; 使用yum命令直接安装: yum install vsftpd 查看与管理ftp服务: 启动ftp服务:service vsftpd start 查看ftp服务状态:service vsftpd status 重启ftp服务:service vsftpd restart 关闭ftp服务:service vsftpd stop 3)jdk安装 参考http://my.oschina.net/kt431128/blog/269262 2、修改主机名 本人安装一个虚拟机,然后通过虚拟机-》管理-》克隆 完成其他两台机器的安装,现在存在的一个问题就是主机名是一样的,这个明显不是自己想要的,所以需要修改其余两台的主机名。 [root@slaver2 sysconfig]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=slaver 3、配置/ect/hosts,三台服务器的配置一样 vi /etc/hosts 192.168.21.128 master 192.168.21.131 slaver 192.168.21.130 slaver2 4、创建用户(使用root用户创建后来发现Browse the filesystem 报错,后来查文档,建议使用新建的用户) useradd hadoop passwd hadoop 输入密码,确认 5、ssh无密码登录 参考:http://my.oschina.net/kt431128/blog/269266 6、HADOOP的下载和环境的配置 http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/ [ ] hadoop-2.2.0.tar.gz 07-Oct-2013 14:46 104M hadoop环境变量的配置: vi/etc/profile 在文件的最下面添加 export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0 export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs export YARN_LOG_DIR=$HADOOP_LOG_DIR export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 注:在64位操作系统上需要加入一下红色部分的配置信息 网上看到的另一种解决办法: 在使用./sbin/start-dfs.sh或./sbin/start-all.sh启动时会报出这样如下警告: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now. .... Java: ssh: Could not resolve hostname Java: Name or service not known HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known 64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known .... 这个问题的错误原因会发生在64位的操作系统上,原因是从官方下载的hadoop使用的本地库文件(例如lib/native/libhadoop.so.1.0.0)都是基于32位编译的,运行在64位系统上就会出现上述错误。 解决方法之一是在64位系统上重新编译hadoop,另一种方法是在hadoop-env.sh和yarn-env.sh中添加如下两行: export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 注:/usr/zkt/hadoop2.2.0/hadoop-2.2.0为自定义的下载hadoop文件的解压路径 7、修改hadoop的配置文件hadoop2.2.0/etc/hadoop 1、修改hadoop-env.sh 、yarn-env.sh 确保hadoop运行所需要的java环境 # The java implementation to use. export JAVA_HOME=/usr/java/jdk1.7.0_55 2、修改core-site.xml文件 定义文件系统的配置 <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/zkt/hadoop2.2.0/tmp</value> </property> </configuration> 3、修改hadfs-site.xml 定义名称节点和数据节点 <configuration> <property> <name>dfs.datanode.data.dir</name> <value>/usr/zkt/hadoop2.2.0/hdf/data</value> <final>true</final> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/zkt/hadoop2.2.0/hdf/name</value> <final>true</final> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 4、修改mapred-site.xml Configurations for MapReduce Applications <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> 5、修改yarn-site.xml文件 该文件主要用于: 1、Configurations for ResourceManager and NodeManager: 2、Configurations for ResourceManager: 3、Configurations for NodeManager: 4、Configurations for History Server (Needs to be moved elsewhere): <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> 8、创建第7步配置文件中多出的文件夹 data tmp name log mkdir -r /usr/zkt/hadoop2.2.0/hdf/data 等 9、为这些文件夹赋权限 比较关键 不然文件生成的时候无文件创建、写权限 su - root chown -R hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看chown命令) 或者切换到hadoop用户下 通过chmod -R 777 data 赋权限 10、将配置好的hadoop分别拷贝到 slaver 和slaver2主机上 scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver:/usr/zkt/hadoop2.2.0/ scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver2:/usr/zkt/hadoop2.2.0/ 11、hadoop namenode的初始化 如果 hadoop环境变量配置没问题直接使用 hdfs namenode -format hadoop command not found 解决办法: echo $PATH 发现hadoop的环境变量是:/home/hadoop/bin 而不是我们配置的环境变量,我们需要把hadoop-2.2.0包下的bin、sbin文件夹拷贝到/home/hadoop/下,再次echo $PATH,发现可以了。 12、关闭防火墙 三台服务器的防火墙都需要关闭 查看iptables状态: service iptables status iptables开机自动启动: 开启: chkconfig iptables on 关闭: chkconfig iptables off iptables关闭服务: 开启: service iptables start 关闭: service iptables stop 13、启动hadoop start-all.sh 关闭hadoop stop-all.sh 14、查看启动的节点进程 jps 15、查看启动后的服务信息 master中应该有ResourceManager服务,slave中应该有nodemanager服务 查看集群状态:./bin/hdfs dfsadmin –report 查看文件块组成: ./bin/hdfsfsck / -files -blocks 查看各节点状态: http://master:50070

优秀的个人博客,低调大师

【斩获7枚offer,入职阿里平台事业部】横扫阿里、美团、京东、之后,我写下了这篇面经!

自身情况 跳槽之前,楼主在一个小型互联网公司,主要是做互联网彩票。 其中做过面向用户的 APP,也有o2o模式的,也有b2b模式的的项目,用的技术比较杂,没有指定的规范,只要能完成任务就可以,技术挑战也不是很大。 然后我只能把我所做的东西做好,推动一些新技术更是难上加难,主要都是业务为主,对于高并发、高可用等技术 方案犹如天上月亮一样,只可远观,而不可亵玩焉。 然而去年10月,国家发布 新的法律条文,互联网彩票属于非法彩票,这个公司业务全部下架,所以开始着手打算找寻新的工作,冲刺大厂的机会终于来啦。 面试准备 我面试准备时间大 概有2个月左右,主要还是两块,一是基础技术、二是项目。我大概花了一个月的时间,快速复习了一遍之前学习过的知识以及写在简历上的技能。 对于项目,重点是项目和技术的融合,因为我本身对整个项目的业务非常熟悉,这个时间花费的不

优秀的个人博客,低调大师

英特尔人工智能事业部副总裁专访

AI芯片的战场更加热闹了。4月18日,Facebook宣布招聘ASIC和FPGA设计工程师,向设计自己的AI芯片迈出了第一步。 4月19日,国内巨头阿里巴巴宣布正在自主研发AI芯片。这款由阿里巴巴达摩院研发的AI芯片是一款神经网络芯片,名叫Ali-NPU,将用于图像和视频分析、云计算等商业场景的AI推理运算问题。 Facebook和阿里巴巴的入局,表明互联网巨头自主研发AI芯片已是大势所趋。在此之前,谷歌、苹果、微软、亚马逊等公司,都纷纷自研AI芯片。 谷歌从2012年左右开始研发名为张量处理器(TPU)的专用AI芯片,现在已经公布到第二代,既能推理也能训练,针对谷歌的深度学习框架TensorFlow做了优化;2017年谷歌开放Cloud TPU云服务,任何人都能通过谷歌云租借TPU。此外,谷歌还自研了图像专用芯片Pixel Visua

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册