笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2019-04-30

Python爬虫入门教程 20-100 慕课网免费课程抓取

1. 慕课网免费课程-写在前面美好的一天又开始了，今天咱继续爬取IT在线教育类网站，慕课网，这个平台的数据量并不是很多，所以爬取起来还是比较简单的 2. 慕课网免费课程准备爬取打开我们要爬取的页面，寻找分页点和查看是否是异步加载的数据。进行了一些相应的分析，发现并没有异步数据，只需要模拟翻页就，在进行HTML的解析就可以获取数据了，翻页数据如下，合计3...

719

阅读约2分钟

2019-04-30

阿里云AMQP Spring集成

概述本文主要演示如何使用Spring集成开发阿里云的AMQP。主要配置及步骤 1、pom.xml <dependencies> <dependency> <groupId>org.springframework.amqp</groupId> <artifactId>spring-rabbit&l...

996

阅读约1分钟

2019-04-30

Aliyun Linux 2 软件更新 - 2019.05.01

1. 添加下列新包： Dragonfly-0.3.0-3.al7: 阿里巴巴开源的基于P2P镜像及文件分发系统，官网：https://d7y.io/ ; tengine-2.3.0-1.al7: 在 Nginx 基础上加入阿里巴巴定制功能的 Web 服务器，官网：http://tengine.taobao.org/ ; luajit-2.0.4-3.1.al...

608

阅读约2分钟

2019-04-30

TCP 粘包拆包

粘包问题在 TCP 这种字节流协议上做应用层分包是网络编程的基本需求。分包指的是在发生一个消息(message)或一帧(frame)数据时，通过一定的处理，让接收方能从字节流中识别并截取(还原)出一个个消息。因此，“粘包问题”是个伪命题短连接分包对于短连接的 TCP 服务，分包不是一个问题，只要发送方主动关闭连接，就表示一个消息发送完毕，接收方 rea...

663

阅读约4分钟

2019-04-30

老司机告诉你大数据开发：学Hadoop好还是Spark好？

相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种平台的比较与选择吧，看看对于工作和发展，到底哪个更好。一、Hadoop与Spark 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支...

672

阅读约8分钟

2019-04-30

jar包冲突解决的一些经验

开篇最近因为一些原因遇到了一些jar包冲突的实际问题，包括tomcat无法加载某lib包，hadoop上mr任务依赖lib版本问题，tomcat依赖包找不到等等。这些问题归结起来能够很好的检验几个关键问题：1、双亲委派原则的理解；2、maven依赖传递的原则；3、java classpath路径先后顺序问题。双亲委派原则说明： 1、首先，检查一下...

1341

阅读约10分钟

2019-04-30

大数据好学习吗？如何快速掌握大数据开发技能

大数据好学习吗？如何快速掌握大数据开发技能？经常被学员问到：大数据好学吗？想学大数据怕学不会等问题。我想说的是，大数据在当下是个非常热门的话题，大数据在深刻的影响着这个世界，在促进传统行业升级改造、引领新兴产业和新兴应用蓬勃发展、提升社会运行和管理效率等方面，大数据正引发新一轮革命。大数据是时代潮流，如果学一下就会了，那大数据行业现在恐怕已经被挤破门槛了吧，...

598

阅读约3分钟

2019-04-30

大数据方面核心技术有哪些？新人必读

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的...

752

阅读约21分钟

2019-04-30

容器安全拾遗 - Rootless Container初探

近期Docker 19.03中发布了一个重要的特性 “Rootless Container支持”。趁着五一假期，快速验证一下。本文参考了Experimenting with Rootless Docker 一文的内容，并且补充了更多的细节和上手内容。 Rootless容器背景与架构 Docker和Kubernetes已经成为企业IT架构的基础设施，其自身安全...

689

阅读约2分钟

2019-04-29

函数计算的正确使用姿势——CDN 触发器

前言首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。 Fun: 是一个用于支持Serverles...

648

阅读约2分钟

2019-04-29

Cglib 和 Mica Bean copy 生成字节码对比

1. 前言距离上上篇【mica cglib 增强——【01】cglib bean copy 介绍】已经过去一个月八一天。距离上一篇【Java Bean Copy 性能大比拼】已过去一个月零一天。督促自己早日完成整个系列的文章，今天我将带领大家从字节码的层面来分析。注：对于java 字节码感兴趣的朋友也可以阅读《Java虚拟机规范》，Oracle...

757

阅读约19分钟

2019-04-29

我很喜欢玩游戏，那么我就适合做游戏程序员吗？

作者：黄小斜文章来源：【程序员江湖】游戏在今天的普及度已经不是端游时代可以比肩的了。如今人手一台手机、平板就可以吃鸡、打农药，不仅是男生，也有很多女生加入了游戏圈。相信现在在看文章的你也玩游戏，虽然爱玩的程度不同，但是至少都是感兴趣的，当然你也知道，手游行业利润高，游戏程序员自然也吃香，能一边赚钱一边玩游戏，岂不是人生一大幸事呢？其实当年我也是这么想的。...

509

阅读约6分钟

2019-04-29

回调函数

回调函数：调用者调用被调函数。C++回调函数的形式：（1）第一种是跟C语言差不多，利用指针调用。（2）第二种是调用类中非静态成员函数，此时要把类的对象与函数一起传过去。

658

阅读约1分钟

2019-04-29

一篇文章告诉你Python上下文管理器怎么用

公众号：pythonislover 一般我们操作文件的时候，大家都会知道我们使用with的方式去写，一般如下 with open('xxxx/test.txt') as f: 'xxxxxx' 那么我们为什么要使用这种方式去操作文件呢？因为with这种方式自动帮我们执行了close关闭文件句柄的操作，免的我们忘记关闭句柄，浪费资源。那我们为什么是使用wit...

628

阅读约14分钟

2019-04-29

Python的装饰器原来是这么用的

公众号：pythonislover Python的装饰器，是一个Python中一个比较难以理解的知识点，今天我试试说一说，说的如果不好，请见谅。装饰器，从字面意思来说，就是修饰一个事物的，在Python里面的作用就是让一个已经存在的函数拥有一个以前没有的功能。装饰器本质上还是一个函数，知识他的功能是为其他函数添加新功能。那有人会说，我在原来的函数里面加...

582

阅读约8分钟

2019-04-29

Python爬虫如-何爬取ajax网页之爬取雪球网文章

公众号：pythonislover 1.效果图 2.传送门点击传送门 3.发工具之后，往下滑时会出现一个接口（当然滑的越多接口越多） 4.我们通过对比两个及以上的接口进行分析它们的不同之处（这叫找规律）可以发现max_id是在变化的，其他都是不变的，而且count是返回的文章数目有15个，所以max_id只要自增15就可以实现翻页了，是不是很简单 5.我们可...

781

阅读约10分钟

2019-04-29

一篇文章理清Python多线程之同步条件，信号量和队列

公众号：pythonislover 今天这篇文章大概介绍下python多线程中的同步条件Event,信号量(Semaphore)和队列(queue)，这是我们多线程系列的最后一篇文章，以后将会进入python多进程的系列。同步条件(Event) 先说说为什么我们需要这个同步条件，我们的python多线程在执行task过程中，是相互竞争的，大家都可以先获取c...

624

阅读约19分钟

2019-04-29

一篇文章理清Python多线程同步锁，死锁和递归锁

公众号：pythonislover 前面说到过python多线程的基本使用，大概的内容有几点 1.创建线程对象 t1 = threading.Thread(target=say,args=('tony',)) 2.启动线程 t1.start() 后面又说了两个点就是join和守护线程的概念但是不知道大家有没有注意到一点就是前面说的两个功能是相互独立的，相互...

516

阅读约18分钟

2019-04-29

一篇文章搞懂Python多线程简单实现和GIL

公众号：pythonislover 今天开始打算开一个新系列，就是python的多线程和多进程实现，这部分可能有些新手还是比较模糊的，都知道python中的多线程是假的，但是又不知道怎么回事，首先我们看一个例子来看看python多线程的实现。 import threading import time def say(name): print('你好%s at...

714

阅读约19分钟

2019-04-29

Python爬虫入门教程 18-100 煎蛋网XXOO图片抓取

1.煎蛋网XXOO-写在前面很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。整体看上去，煎蛋网的妹子图质...

634

阅读约6分钟

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

文章列表

Python爬虫入门教程 20-100 慕课网免费课程抓取

阿里云AMQP Spring集成

Aliyun Linux 2 软件更新 - 2019.05.01

TCP 粘包拆包

老司机告诉你大数据开发：学Hadoop好还是Spark好？

jar包冲突解决的一些经验

大数据好学习吗？如何快速掌握大数据开发技能

大数据方面核心技术有哪些？新人必读

容器安全拾遗 - Rootless Container初探

函数计算的正确使用姿势——CDN 触发器

Cglib 和 Mica Bean copy 生成字节码对比

我很喜欢玩游戏，那么我就适合做游戏程序员吗？

回调函数

一篇文章告诉你Python上下文管理器怎么用

Python的装饰器原来是这么用的

Python爬虫如-何爬取ajax网页之爬取雪球网文章

一篇文章理清Python多线程之同步条件，信号量和队列

一篇文章理清Python多线程同步锁，死锁和递归锁

一篇文章搞懂Python多线程简单实现和GIL

Python爬虫入门教程 18-100 煎蛋网XXOO图片抓取

资源下载

Nacos

Spring

Rocky Linux

WebStorm

欢迎您来访！