搜索[快速入门]结果-低调大师优秀个人博客

精选列表

搜索[快速入门]，共10000篇文章

xmake从入门到精通12：通过自定义脚本实现更灵活地配置

描述域对于刚入门的新手用户，或者仅仅是维护一些简单的小项目，通过完全在描述配置就已经完全满足需求了，那什么是描述域呢？

2020-07-18

答好友困惑：Java零基础如何入门，不知道怎么学，迷茫ING

答好友困惑：Java零基础如何入门，不知道怎么学，迷茫ING 几个星期之前，我在知乎上看到一个提问，说是：对于完全没有经验零基础自身的数学底子也很弱学习Java应该怎么学习呢？

2020-04-15

【Elasticsearch 入门公开课】Elasticsearch 搜索、文档CRUD、索引及分词原理介绍-回顾篇

讲师：阮一鸣——eBay Pronto 平台技术负责人、极客时间『Elasticsearch 核心技术与实战』课程讲师课程为了更多同学能快速体验 Elasticsearch，为大家提供了免费的阿里云 Elasticsearch

2020-03-19

从零开始入门 K8s | K8s 安全之访问控制

关注“阿里巴巴云原生”公众号，回复关键词**“入门”**，即可下载从零入门 K8s 系列文章 PPT。

2020-03-17

从零开始入门 K8s | Kubernetes API 编程利器：Operator 和 Operator Framework

关注“阿里巴巴云原生”公众号，回复关键词**“入门”**，即可下载从零入门 K8s 系列文章 PPT。

2020-02-25

阿里云服务器入门级和企业级性能有什么差别？

阿里云入门级ECS云服务器和阿里云企业级云服务器性能有什么差别呢？这是很多想购买云服务器的朋友都很想知道的问题。

2020-02-21

阿里云服务器入门级和企业级性能有哪些差别？

阿里云入门级ECS云服务器和阿里云企业级云服务器性能有什么差别呢？这是想选择云服务器的朋友都很想知道的。

2020-01-09

Python入门无从下手？Python学习教程（知识架构）给你准备好了

然后我在说下对于web开发要学习的内容 1:学习一门入门python web框架，我推荐 django，别问为什么。

2019-11-11

《区块链DAPP开发入门、代码实现、场景应用》笔记1——天外飞仙DAPP

2020区块链各种应用都上马了，跟我一起学《区块链DAPP开发入门、代码实现、场景应用》吧。

2019-10-22

Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy

/ 2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步的数据，只需要打开开发者工具，就能快速的定位到想要的数据

2019-05-14

分布式系统设计新手入门---2，微服务架构中拆分的实践

分布式系统设计新手入门---2，微服务架构中拆分的实践引言在这篇文章中将从分析一个开源项目的可分布性入手，介绍如何使用AP&RP技术。这是一个关于分布式系统设计新手入门的系列文章中的第二篇。

2019-05-06

Python爬虫入门教程 15-100 石家庄政民互动数据爬取

1. 石家庄政民互动数据爬取-写在前面今天，咱抓取一个网站，这个网站呢，涉及的内容就是网友留言和回复，特别简单，但是网站是gov的。网址为http://www.sjz.gov.cn/col/1490066682000/index.html 首先声明，为了学习，绝无恶意抓取信息，不管你信不信，数据我没有长期存储，预计存储到重装操作系统就删除。 2. 石家庄政民互动数据爬取-网页分析点击更多回复，可以查看到相应的数据。数据量很大14万条,，数据爬完，还可以用来学习数据分析，真是nice 经过分析之后，找到了列表页面。数据的爬取这次我们采用的是 selenium ，解析页面采用lxml，数据存储采用pymongo ，关于selenium 你可以去搜索引擎搜索相关的教程，好多的，主要就是打开一个浏览器，然后模拟用户的操作，你可以去系统的学习一下。 3. 石家庄政民互动数据爬取-撸代码导入必备模块 from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from lxml import etree import pymongo import time 打开浏览器，获取总页码这个操作最重要的步骤，你搜索之后就会知道，需要提前下载一个叫做 chromedriver.exe 的东东，然后把他配置好，自行解决去吧~ # 加载浏览器引擎，需要提前下载好 chromedriver.exe 。 browser = webdriver.Chrome() wait = WebDriverWait(browser,10) def get_totle_page(): try: # 浏览器跳转 browser.get("http://www.sjz.gov.cn/zfxxinfolist.jsp?current=1&wid=1&cid=1259811582187") # 等待元素加载到 totle_page = wait.until( EC.presence_of_element_located((By.CSS_SELECTOR,'input[type="hidden"]:nth-child(4)')) ) # 获取属性 totle = totle_page.get_attribute('value') # 获取首页数据，这个地方先不必须 ############################## #get_content() ############################## return totle except TimeoutError: return get_totle_page() 上面的代码在测试之后，你会得到如下结果这时候，你已经得到20565这个总页码数目了，只需要进行一系列循环的操作即可，接下来有一个重要的函数，叫做next_page 这个函数里面，需要进行一个模拟用户行为的操作，输入一个页码，然后点击跳转。 def main(): totle = int(get_totle_page()) # 获取完整页码 for i in range(2,totle+1): print("正在加载第{}页数据".format(i)) # 获取下一页 next_page(i) if __name__ == '__main__': print(main()) 输入页码，点击跳转 def next_page(page_num): try: input = wait.until( EC.presence_of_element_located((By.CSS_SELECTOR,"#pageto")) ) submit = wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR,"#goPage")) ) input.clear() # 清空文本框 input.send_keys(page_num) # 发送页码 submit.click() # 点击跳转 #get_content(page_num) except TimeoutException: next_page(page_num) 以上代码实现的效果动态演示为 4. 石家庄政民互动数据爬取-解析页面可以进行翻页之后，通过browser.page_source 获取网页源码，网页源码通过lxml进行解析。编写相应的方法为 def get_content(page_num=None): try: wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, "table.tably")) ) html = browser.page_source # 获取网页源码 tree = etree.HTML(html) # 解析 tables = tree.xpath("//table[@class='tably']") for table in tables: name = table.xpath("tbody/tr[1]/td[1]/table/tbody/tr[1]/td")[0].text public_time = table.xpath("tbody/tr[1]/td[1]/table/tbody/tr[2]/td")[0].text to_people = table.xpath("tbody/tr[1]/td[1]/table/tbody/tr[3]/td")[0].text content = table.xpath("tbody/tr[1]/td[2]/table/tbody/tr[1]/td")[0].text repl_time = table.xpath("tbody/tr[2]/td[1]/table/tbody/tr[1]/td")[0].text repl_depart = table.xpath("tbody/tr[2]/td[1]/table/tbody/tr[2]/td")[0].text repl_content = table.xpath("tbody/tr[2]/td[2]/table/tbody/tr[1]/td")[0].text # 清理数据 consult = { "name":name.replace("网友：",""), "public_time":public_time.replace("时间：",""), "to_people":to_people.replace("留言对象：",""), "content":content, "repl_time":repl_time.replace("时间：",""), "repl_depart":repl_depart.replace("回复部门：",""), "repl_content":repl_content } # 数据存储到mongo里面 #save_mongo(consult) except Exception: # 这个地方需要特殊说明一下 print("异常错误X1") print("浏览器休息一下") time.sleep(60) browser.get("http://www.sjz.gov.cn/zfxxinfolist.jsp?current={}&wid=1&cid=1259811582187".format(page_num)) get_content() 在实际的爬取过程中发现，经过几百页之后，就会限制一下IP，所以当我们捕获页面信息出错，需要暂停一下，等待页面正常之后，在继续爬取数据。 5. 石家庄政民互动数据爬取-数据存储到mongodb里面爬取到的最终数据，我存储到了mongodb里面，这个就没有什么难度了，我们按照常规的套路编写即可。 6. 石家庄政民互动数据爬取-写在最后由于这次爬取的网站是gov的，所以建议不要用多线程，源码也不发送到github上去了，要不惹祸，如果有任何疑问，请评论。nice boy她专科学历27岁从零开始学习c，c++，python编程语言29岁编写百例教程30岁掌握10种编程语言，用自学的经历告诉你，学编程就找梦想橡皮擦

2019-04-27

Python爬虫入门教程 7-100 蜂鸟网图片爬取之二

1. 蜂鸟网图片-简介今天玩点新鲜的，使用一个新库 aiohttp ，利用它提高咱爬虫的爬取速度。安装模块常规套路 pip install aiohttp 运行之后等待，安装完毕，想要深造，那么官方文档必备：https://aiohttp.readthedocs.io/en/stable/ 接下来就可以开始写代码了。我们要爬取的页面，这一次选取的是 http://bbs.fengniao.com/forum/forum_101_1_lastpost.html 打开页面，我们很容易就获取到了页码好久没有这么方便的看到页码了。尝试用 aiohttp 访问这个页面吧，模块的引入，没有什么特殊的，采用 import 即可如果我们需要使用 Asyncio + Aiohttp异步IO 编写爬虫，那么需要注意，你需要异步的方法前面加上 async 接下来

2019-04-16

Python爬虫入门教程 8-100 蜂鸟网图片爬取之三

1. 蜂鸟网图片-啰嗦两句前几天的教程内容量都比较大，今天写一个相对简单的，爬取的还是蜂鸟，依旧采用aiohttp 希望你喜欢爬取页面https://tu.fengniao.com/15/ 本篇教程还是基于学习的目的，为啥选择蜂鸟，没办法，我瞎选的。一顿熟悉的操作之后，我找到了下面的链接https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=2&tagsId=15&action=getPicLists 这个链接返回的是JSON格式的数据 page =2页码，那么从1开始进行循环就好了 tags=15 标签名称，15是儿童，13是美女，6391是私房照，只能帮助你到这了，毕竟我这是专业博客ヾ(◍°∇°◍)ﾉﾞ action=getPicLists接口地址，不变的地方 2.

2019-04-16

Python爬虫入门教程 6-100 蜂鸟网图片爬取之一

1. 蜂鸟网图片简介国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。 2. 蜂鸟网图片网站分析第一步，分析要爬取的网站有没有方法爬取，打开页面，找分页 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1&not_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2&not_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3&not_in_id=5352384,5352410 http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4&not_in_id=5352384,5352410 上面的页面发现一个关键的参数page=1这个就是页码了，但是另一个比较头疼的问题是，他没有最后的页码，这样我们没有办法确定循环次数，所以后面的代码编写中，只能使用while了这个地址返回的是JSON格式的数据，这个对爬虫来说，非常友好！省的我们用正则表达式分析了。分析这个页面的头文件，查阅是否有反爬措施发现除了HOST和User-Agent以外，没有特殊的点，大网站就是任性，没啥反爬，可能压根不在乎这个事情。第二步，分析图片详情页面，在我们上面获取到的JSON中，找到关键地址关键地址打开之后，这个地方有一个比较骚的操作了，上面图片中标注的URL选的不好，恰好是一个文章了，我们要的是组图，重新提供一个新链接 http://image.fengniao.com/slide/535/5352130_1.html#p=1 打开页面，你可能直接去找规律了，找到下面的一堆链接，但是这个操作就有点复杂了，我们查阅上述页面的源码 http://image.fengniao.com/slide/535/5352130_1.html#p=1 http://image.fengniao.com/slide/535/5352130_1.html#p=2 http://image.fengniao.com/slide/535/5352130_1.html#p=3 .... 网页源码中发现了，这么一块区域大胆的猜测一下，这个应该是图片的JSON，只是他打印在了HTML中，我们只需要用正则表达式进行一下匹配就好了，匹配到之后，然后进行下载。第三步，开始撸代码。 3. 蜂鸟网图片写代码 from http_help import R # 这个文件自己去上篇博客找，或者去github找 import threading import time import json import re img_list = [] imgs_lock = threading.Lock() #图片操作锁 # 生产者类 class Product(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.__headers = {"Referer":"http://image.fengniao.com/", "Host": "image.fengniao.com", "X-Requested-With":"XMLHttpRequest" } #链接模板 self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}&not_in_id={}" self.__res = R(headers=self.__headers) def run(self): # 因为不知道循环次数，所有采用while循环 index = 2 #起始页码设置为1 not_in = "5352384,5352410" while True: url = self.__start.format(index,not_in) print("开始操作:{}".format(url)) index += 1 content = self.__res.get_content(url,charset="gbk") if content is None: print("数据可能已经没有了====") continue time.sleep(3) # 睡眠3秒 json_content = json.loads(content) if json_content["status"] == 1: for item in json_content["data"]: title = item["title"] child_url = item["url"] # 获取到链接之后代码来源，公众号：非本科程序员 img_content = self.__res.get_content(child_url,charset="gbk") pattern = re.compile('"pic_url_1920_b":"(.*?)"') imgs_json = pattern.findall(img_content) if len(imgs_json) > 0: if imgs_lock.acquire(): img_list.append({"title":title,"urls":imgs_json}) # 这个地方，我用的是字典+列表的方式，主要是想后面生成文件夹用，你可以进行改造 imgs_lock.release() 上面的链接已经生成，下面就是下载图片了，也非常简单 # 消费者 class Consumer(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.__res = R() def run(self): while True: if len(img_list) <= 0: continue # 进入下一次循环 if imgs_lock.acquire(): data = img_list[0] del img_list[0] # 删除第一项 imgs_lock.release() urls =[url.replace("\\","") for url in data["urls"]] # 创建文件目录 for item_url in urls: try: file = self.__res.get_file(item_url) # 记得在项目根目录先把fengniaos文件夹创建完毕，代码来源，公众号：非本科程序员 with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f: f.write(file) except Exception as e: print(e) 代码走起，结果

2019-04-15

Python爬虫入门教程 4-100 美空网未登录图片爬取

简介上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。

2019-04-11

好程序员大数据视频教程从零基础入门到精通

好程序员大数据视频教程从零基础入门到精通,学习大数据技术的必经之路是什么?是Hadoop吗?当然不是!如果想要踏入大数据的门槛，一个必须的条件就是我们的编程基础。

2019-04-02

C++从入门到秃顶？学会这三点让你直接到巅峰！！！

等语言在很多方面已经可以代替 C++ 但是也有很多地方是其他语言完全无法替代的，主要集中在需要运行效率比较高的行业，比如游戏、高效的服务器现在学习java、C#等语言的人数远远高于C++，主要是C++的入门门槛太高

2019-02-20

入门级（共享）是什么意思？和通用型的什么区别

入门级（共享）是什么意思？和通用型的什么区别阿里的入门级（共享）ecs 是什么意思？

2018-08-11

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。