首页 文章 精选 留言 我的

精选列表

搜索[快速]，共10000篇文章
优秀的个人博客,低调大师

21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存

注意：数据保存的操作都是在pipelines.py文件里操作的 将数据保存为json文件 spider是一个信号检测 #-*-coding:utf-8-*- #Defineyouritempipelineshere # #Don'tforgettoaddyourpipelinetotheITEM_PIPELINESsetting #See:http://doc.scrapy.org/en/latest/topics/item-pipeline.html fromscrapy.pipelines.imagesimportImagesPipeline#导入图片下载器模块 importcodecs importjson classAdcPipeline(object):#定义数据处理类，必须继承object def__init__(self): self.file=codecs.open('shuju.json','w',encoding='utf-8')#初始化时打开json文件 defprocess_item(self,item,spider):#process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yielditem来的数据对象 #print('文章标题是：'+item['title'][0]) #print('文章缩略图url是：'+item['img'][0]) #print('文章缩略图保存路径是：'+item['img_tplj'])#接收图片下载器填充的，图片下载后的路径 #将数据保存为json文件 lines=json.dumps(dict(item),ensure_ascii=False)+'\n'#将数据对象转换成json格式 self.file.write(lines)#将json格式数据写入文件 returnitem defspider_closed(self,spider):#创建一个方法继承spider，spider是一个信号，当前数据操作完成后触发这个方法 self.file.close()#关闭打开文件 classimgPipeline(ImagesPipeline):#自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类 defitem_completed(self,results,item,info):#使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径 forok,valueinresults: img_lj=value['path']#接收图片保存路径 #print(ok) item['img_tplj']=img_lj#将图片保存路径填充到items.py里的字段里 returnitem#将item给items.py文件的容器函数 #注意：自定义图片下载器设置好后，需要在 将数据保存到数据库 我们使用一个ORM框架sqlalchemy模块，保存数据 数据库操作文件 #!/usr/bin/envpython #-*-coding:utf-8-*- fromsqlalchemy.ext.declarativeimportdeclarative_base fromsqlalchemyimportColumn fromsqlalchemyimportInteger,String,TIMESTAMP fromsqlalchemyimportForeignKey,UniqueConstraint,Index fromsqlalchemy.ormimportsessionmaker,relationship fromsqlalchemyimportcreate_engine #配置数据库引擎信息 ENGINE=create_engine("mysql+pymysql://root:279819@127.0.0.1:3306/cshi?charset=utf8",max_overflow=10,echo=True) Base=declarative_base()#创建一个SQLORM基类 classSendMsg(Base):#设计表 __tablename__='sendmsg' id=Column(Integer,primary_key=True,autoincrement=True) title=Column(String(300)) img_tplj=Column(String(300)) definit_db(): Base.metadata.create_all(ENGINE)#向数据库创建指定表 defdrop_db(): Base.metadata.drop_all(ENGINE)#向数据库删除指定表 defsession(): cls=sessionmaker(bind=ENGINE)#创建sessionmaker类,操作表 returncls() #drop_db()#删除表 #init_db()#创建表 pipelines.py文件 #-*-coding:utf-8-*- #Defineyouritempipelineshere # #Don'tforgettoaddyourpipelinetotheITEM_PIPELINESsetting #See:http://doc.scrapy.org/en/latest/topics/item-pipeline.html fromscrapy.pipelines.imagesimportImagesPipeline#导入图片下载器模块 fromadcimportshujukuasORM#导入数据库文件 classAdcPipeline(object):#定义数据处理类，必须继承object def__init__(self): ORM.init_db()#创建数据库表 defprocess_item(self,item,spider):#process_item(item)为数据处理函数，接收一个item，item里就是爬虫最后yielditem来的数据对象 print('文章标题是：'+item['title'][0]) print('文章缩略图url是：'+item['img'][0]) print('文章缩略图保存路径是：'+item['img_tplj'])#接收图片下载器填充的，图片下载后的路径 mysq=ORM.session() shuju=ORM.SendMsg(title=item['title'][0],img_tplj=item['img_tplj']) mysq.add(shuju) mysq.commit() returnitem classimgPipeline(ImagesPipeline):#自定义一个图片下载内，继承crapy内置的ImagesPipeline图片下载器类 defitem_completed(self,results,item,info):#使用ImagesPipeline类里的item_completed()方法获取到图片下载后的保存路径 forok,valueinresults: img_lj=value['path']#接收图片保存路径 #print(ok) item['img_tplj']=img_lj#将图片保存路径填充到items.py里的字段里 returnitem#将item给items.py文件的容器函数 #注意：自定义图片下载器设置好后，需要在 【转载自：http://www.lqkweb.com】
2019-07-06
优秀的个人博客,低调大师

ACK容器服务发布virtual node addon，快速部署虚拟节点提升集群弹性能力

在上一篇博文中（https://yq.aliyun.com/articles/647119），我们展示了如何手动执行yaml文件给Kubernetes集群添加虚拟节点，然而，手动执行的方式用户体验并不友好，也无法以组件的方式持续升级和管理。现在我们已经可以通过Helm的方式，让ack-virtual-node的部署和管理变得更加简单。首先，让我们简单回顾一下虚拟节点Virtual Node是如何运行的。 虚拟节点Virtual Node 虚拟节点来源于社区的virtual kubelet技术，其实现了kubernetes与弹性容器实例ECI的无缝连接，让kubernetes集群轻松获得极大的弹性能力，而不必受限于集群的节点计算容量。 基于ECI的虚拟节点支持多种功能，其不仅增强了kubernetes集群的弹性，同时提供了丰富的能力扩展，
2019-04-12
优秀的个人博客,低调大师

从采集方面分析如何快速的开发一个完整的iOS直播app源码

开发一款直播app源码，首先需要采集主播的视频和音频，然后传入流媒体服务器，本篇主要讲解如何采集主播的视频和音频，当前可以切换前置后置摄像头和焦点光标,但是美颜功能还没做，可以看见素颜的你。 基本知识介绍 AVFoundation: 音视频数据采集需要用AVFoundation框架.AVCaptureDevice：硬件设备，包括麦克风、摄像头，通过该对象可以设置物理设备的一些属性（例如相机聚焦、白平衡等） AVCaptureDeviceInput：硬件输入对象，可以根据AVCaptureDevice创建对应的AVCaptureDeviceInput对象，用于管理硬件输入数据。 AVCaptureOutput：硬件输出对象，用于接收各类输出数据，通常使用对应的子类AVCaptureAudioDataOutput（声音数据输出对象）、AVCaptureVideoDataOutput（视频数据输出对象） AVCaptionConnection:当把一个输入和输出添加到AVCaptureSession之后，AVCaptureSession就会在输入、输出设备之间建立连接,而且通过AVCaptureOutput可以获取这个连接对象。 AVCaptureVideoPreviewLayer:相机拍摄预览图层，能实时查看拍照或视频录制效果，创建该对象需要指定对应的AVCaptureSession对象，因为AVCaptureSession包含视频输入数据，有视频数据才能展示。 AVCaptureSession: 协调输入与输出之间传输数据 系统作用：可以操作硬件设备工作原理：让App与系统之间产生一个捕获会话，相当于App与硬件设备有联系了， 我们只需要把硬件输入对象和输出对象添加到会话中，会话就会自动把硬件输入对象和输出产生连接，这样硬件输入与输出设备就能传输音视频数据。 捕获音视频步骤: 1.创建AVCaptureSession对象 2.获取AVCaptureDevicel录像设备（摄像头），录音设备（麦克风），注意不具备输入数据功能,只是用来调节硬件设备的配置。 3.根据音频/视频硬件设备(AVCaptureDevice)创建音频/视频硬件输入数据对象(AVCaptureDeviceInput)，专门管理数据输入。 4.创建视频输出数据管理对象（AVCaptureVideoDataOutput），并且设置样品缓存代理(setSampleBufferDelegate)就可以通过它拿到采集到的视频数据 5.创建音频输出数据管理对象（AVCaptureAudioDataOutput），并且设置样品缓存代理(setSampleBufferDelegate)就可以通过它拿到采集到的音频数据 6.将数据输入对象AVCaptureDeviceInput、数据输出对象AVCaptureOutput添加到媒体会话管理对象AVCaptureSession中,就会自动让音频输入与输出和视频输入与输出产生连接. 7.创建视频预览图层AVCaptureVideoPreviewLayer并指定媒体会话，添加图层到显示容器layer中 8.启动AVCaptureSession，只有开启，才会开始输入到输出数据流传输。视频采集额外功能一（切换摄像头） 切换摄像头步骤 1.获取当前视频设备输入对象 2.判断当前视频设备是前置还是后置 3.确定切换摄像头的方向 4.根据摄像头方向获取对应的摄像头设备5.创建对应的摄像头输入对象 6.从会话中移除之前的视频输入对象 7.添加新的视频输入对象到会话中。视频采集额外功能二（聚焦光标） 聚焦光标步骤 1.监听屏幕的点击 2.获取点击的点位置，转换为摄像头上的点，必须通过视频预览图层（AVCaptureVideoPreviewLayer）转 3.设置聚焦光标图片的位置，并做动画 4.设置摄像头设备聚焦模式和曝光模式(注意：这里设置一定要锁定配置lockForConfiguration,否则报错)
2019-04-01
优秀的个人博客,低调大师

[雪峰磁针石博客]数据分析工具pandas快速入门教程4-数据汇聚

我们需要的所有信息可能记录在单独的文件和数据帧中。例如，可能有一个公司信息单独表和股票价格表，数据被分成独立的表格以减少冗余信息。 连接 添加行 4-1.py import pandas as pd df1 = pd.read_csv('data/concat_1.csv') df2 = pd.read_csv('data/concat_2.csv') df3 = pd.read_csv('data/concat_3.csv') print(df1) print(df2) print(df3) row_concat = pd.concat([df1, df2, df3]) print(row_concat) print(row_concat.iloc[3, ]) new_row_series = pd.Series(['n1', 'n2', 'n3', 'n4']) print(pd.concat([df1, new_row_series])) new_row_df = pd.DataFrame([['n1', 'n2', 'n3', 'n4']], columns=['A', 'B', 'C', 'D']) print(new_row_df) print(pd.concat([df1, new_row_df])) print(df1.append(df2)) print(df1.append(new_row_df)) data_dict = {'A': 'n1', 'B': 'n2', 'C': 'n3', 'D': 'n4'} print(df1.append(data_dict, ignore_index=True)) row_concat_i = pd.concat([df1, df2, df3], ignore_index=True) print(row_concat_i) 执行结果 $ python3 4-1.py A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 A B C D 0 a4 b4 c4 d4 1 a5 b5 c5 d5 2 a6 b6 c6 d6 3 a7 b7 c7 d7 A B C D 0 a8 b8 c8 d8 1 a9 b9 c9 d9 2 a10 b10 c10 d10 3 a11 b11 c11 d11 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 0 a4 b4 c4 d4 1 a5 b5 c5 d5 2 a6 b6 c6 d6 3 a7 b7 c7 d7 0 a8 b8 c8 d8 1 a9 b9 c9 d9 2 a10 b10 c10 d10 3 a11 b11 c11 d11 A a3 B b3 C c3 D d3 Name: 3, dtype: object A B C D 0 0 a0 b0 c0 d0 NaN 1 a1 b1 c1 d1 NaN 2 a2 b2 c2 d2 NaN 3 a3 b3 c3 d3 NaN 0 NaN NaN NaN NaN n1 1 NaN NaN NaN NaN n2 2 NaN NaN NaN NaN n3 3 NaN NaN NaN NaN n4 A B C D 0 n1 n2 n3 n4 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 0 n1 n2 n3 n4 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 0 a4 b4 c4 d4 1 a5 b5 c5 d5 2 a6 b6 c6 d6 3 a7 b7 c7 d7 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 0 n1 n2 n3 n4 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 4 n1 n2 n3 n4 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 4 a4 b4 c4 d4 5 a5 b5 c5 d5 6 a6 b6 c6 d6 7 a7 b7 c7 d7 8 a8 b8 c8 d8 9 a9 b9 c9 d9 10 a10 b10 c10 d10 11 a11 b11 c11 d11 添加列 4-2.py In [1]: from numpy import NaN, NAN, nan In [2]: print(NaN == True, NaN == False, NaN == 0, NaN == '', sep='|') False|False|False|False In [3]: print(NaN == NaN, NaN == nan, NaN == NAN, nan == NAN, sep='|') False|False|False|False In [4]: import pandas as pd In [5]: print(pd.isnull(NaN), pd.isnull(nan), pd.isnull(NAN), sep='|') True|True|True In [6]: print(pd.notnull(NaN), pd.notnull(99), pd.notnull("https://china-testing.github.io"), sep='|') False|True|True 执行结果 $ python3 4-2.py A B C D A B C D A B C D 0 a0 b0 c0 d0 a4 b4 c4 d4 a8 b8 c8 d8 1 a1 b1 c1 d1 a5 b5 c5 d5 a9 b9 c9 d9 2 a2 b2 c2 d2 a6 b6 c6 d6 a10 b10 c10 d10 3 a3 b3 c3 d3 a7 b7 c7 d7 a11 b11 c11 d11 A A A 0 a0 a4 a8 1 a1 a5 a9 2 a2 a6 a10 3 a3 a7 a11 A B C D A B C D A B C D new_col_list 0 a0 b0 c0 d0 a4 b4 c4 d4 a8 b8 c8 d8 n1 1 a1 b1 c1 d1 a5 b5 c5 d5 a9 b9 c9 d9 n2 2 a2 b2 c2 d2 a6 b6 c6 d6 a10 b10 c10 d10 n3 3 a3 b3 c3 d3 a7 b7 c7 d7 a11 b11 c11 d11 n4 A B C D A B C D A B C D new_col_list \ 0 a0 b0 c0 d0 a4 b4 c4 d4 a8 b8 c8 d8 n1 1 a1 b1 c1 d1 a5 b5 c5 d5 a9 b9 c9 d9 n2 2 a2 b2 c2 d2 a6 b6 c6 d6 a10 b10 c10 d10 n3 3 a3 b3 c3 d3 a7 b7 c7 d7 a11 b11 c11 d11 n4 new_col_series 0 n1 1 n2 2 n3 3 n4 0 1 2 3 4 5 6 7 8 9 10 11 0 a0 b0 c0 d0 a4 b4 c4 d4 a8 b8 c8 d8 1 a1 b1 c1 d1 a5 b5 c5 d5 a9 b9 c9 d9 2 a2 b2 c2 d2 a6 b6 c6 d6 a10 b10 c10 d10 3 a3 b3 c3 d3 a7 b7 c7 d7 a11 b11 c11 d11 合并不同区间 4-3.py import pandas as pd df1 = pd.read_csv('data/concat_1.csv') df2 = pd.read_csv('data/concat_2.csv') df3 = pd.read_csv('data/concat_3.csv') df1.columns = ['A', 'B', 'C', 'D'] df2.columns = ['E', 'F', 'G', 'H'] df3.columns = ['A', 'C', 'F', 'H'] print(df1) print(df2) print(df3) row_concat = pd.concat([df1, df2, df3]) print(row_concat) print(pd.concat([df1, df2, df3], join='inner')) print(pd.concat([df1,df3], ignore_index=False, join='inner')) df1.index = [0, 1, 2, 3] df2.index = [4, 5, 6, 7] df3.index = [0, 2, 5, 7] print(df1) print(df2) print(df3) col_concat = pd.concat([df1, df2, df3], axis=1) print(col_concat) print(pd.concat([df1, df3], axis=1, join='inner')) 执行结果 $ python3 4-3.py A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 E F G H 0 a4 b4 c4 d4 1 a5 b5 c5 d5 2 a6 b6 c6 d6 3 a7 b7 c7 d7 A C F H 0 a8 b8 c8 d8 1 a9 b9 c9 d9 2 a10 b10 c10 d10 3 a11 b11 c11 d11 A B C D E F G H 0 a0 b0 c0 d0 NaN NaN NaN NaN 1 a1 b1 c1 d1 NaN NaN NaN NaN 2 a2 b2 c2 d2 NaN NaN NaN NaN 3 a3 b3 c3 d3 NaN NaN NaN NaN 0 NaN NaN NaN NaN a4 b4 c4 d4 1 NaN NaN NaN NaN a5 b5 c5 d5 2 NaN NaN NaN NaN a6 b6 c6 d6 3 NaN NaN NaN NaN a7 b7 c7 d7 0 a8 NaN b8 NaN NaN c8 NaN d8 1 a9 NaN b9 NaN NaN c9 NaN d9 2 a10 NaN b10 NaN NaN c10 NaN d10 3 a11 NaN b11 NaN NaN c11 NaN d11 Empty DataFrame Columns: [] Index: [0, 1, 2, 3, 0, 1, 2, 3, 0, 1, 2, 3] A C 0 a0 c0 1 a1 c1 2 a2 c2 3 a3 c3 0 a8 b8 1 a9 b9 2 a10 b10 3 a11 b11 A B C D 0 a0 b0 c0 d0 1 a1 b1 c1 d1 2 a2 b2 c2 d2 3 a3 b3 c3 d3 E F G H 4 a4 b4 c4 d4 5 a5 b5 c5 d5 6 a6 b6 c6 d6 7 a7 b7 c7 d7 A C F H 0 a8 b8 c8 d8 2 a9 b9 c9 d9 5 a10 b10 c10 d10 7 a11 b11 c11 d11 A B C D E F G H A C F H 0 a0 b0 c0 d0 NaN NaN NaN NaN a8 b8 c8 d8 1 a1 b1 c1 d1 NaN NaN NaN NaN NaN NaN NaN NaN 2 a2 b2 c2 d2 NaN NaN NaN NaN a9 b9 c9 d9 3 a3 b3 c3 d3 NaN NaN NaN NaN NaN NaN NaN NaN 4 NaN NaN NaN NaN a4 b4 c4 d4 NaN NaN NaN NaN 5 NaN NaN NaN NaN a5 b5 c5 d5 a10 b10 c10 d10 6 NaN NaN NaN NaN a6 b6 c6 d6 NaN NaN NaN NaN 7 NaN NaN NaN NaN a7 b7 c7 d7 a11 b11 c11 d11 A B C D A C F H 0 a0 b0 c0 d0 a8 b8 c8 d8 2 a2 b2 c2 d2 a9 b9 c9 d9 合并多个数据集 4-4.py import pandas as pd person = pd.read_csv('data/survey_person.csv') site = pd.read_csv('data/survey_site.csv') survey = pd.read_csv('data/survey_survey.csv') visited = pd.read_csv('data/survey_visited.csv') print(person) print(site) print(survey) print(visited) visited_subset = visited.iloc[[0, 2, 6], ] o2o_merge = site.merge(visited_subset, left_on='name', right_on='site') print(o2o_merge) m2o_merge = site.merge(visited, left_on='name', right_on='site') print(m2o_merge) ps = person.merge(survey, left_on='ident', right_on='person') vs = visited.merge(survey, left_on='ident', right_on='taken') print(ps) print(vs) 执行结果 $ python3 4-4.py ident personal family 0 dyer William Dyer 1 pb Frank Pabodie 2 lake Anderson Lake 3 roe Valentina Roerich 4 danforth Frank Danforth name lat long 0 DR-1 -49.85 -128.57 1 DR-3 -47.15 -126.72 2 MSK-4 -48.87 -123.40 taken person quant reading 0 619 dyer rad 9.82 1 619 dyer sal 0.13 2 622 dyer rad 7.80 3 622 dyer sal 0.09 4 734 pb rad 8.41 5 734 lake sal 0.05 6 734 pb temp -21.50 7 735 pb rad 7.22 8 735 NaN sal 0.06 9 735 NaN temp -26.00 10 751 pb rad 4.35 11 751 pb temp -18.50 12 751 lake sal 0.10 13 752 lake rad 2.19 14 752 lake sal 0.09 15 752 lake temp -16.00 16 752 roe sal 41.60 17 837 lake rad 1.46 18 837 lake sal 0.21 19 837 roe sal 22.50 20 844 roe rad 11.25 ident site dated 0 619 DR-1 1927-02-08 1 622 DR-1 1927-02-10 2 734 DR-3 1939-01-07 3 735 DR-3 1930-01-12 4 751 DR-3 1930-02-26 5 752 DR-3 NaN 6 837 MSK-4 1932-01-14 7 844 DR-1 1932-03-22 name lat long ident site dated 0 DR-1 -49.85 -128.57 619 DR-1 1927-02-08 1 DR-3 -47.15 -126.72 734 DR-3 1939-01-07 2 MSK-4 -48.87 -123.40 837 MSK-4 1932-01-14 name lat long ident site dated 0 DR-1 -49.85 -128.57 619 DR-1 1927-02-08 1 DR-1 -49.85 -128.57 622 DR-1 1927-02-10 2 DR-1 -49.85 -128.57 844 DR-1 1932-03-22 3 DR-3 -47.15 -126.72 734 DR-3 1939-01-07 4 DR-3 -47.15 -126.72 735 DR-3 1930-01-12 5 DR-3 -47.15 -126.72 751 DR-3 1930-02-26 6 DR-3 -47.15 -126.72 752 DR-3 NaN 7 MSK-4 -48.87 -123.40 837 MSK-4 1932-01-14 ident personal family taken person quant reading 0 dyer William Dyer 619 dyer rad 9.82 1 dyer William Dyer 619 dyer sal 0.13 2 dyer William Dyer 622 dyer rad 7.80 3 dyer William Dyer 622 dyer sal 0.09 4 pb Frank Pabodie 734 pb rad 8.41 5 pb Frank Pabodie 734 pb temp -21.50 6 pb Frank Pabodie 735 pb rad 7.22 7 pb Frank Pabodie 751 pb rad 4.35 8 pb Frank Pabodie 751 pb temp -18.50 9 lake Anderson Lake 734 lake sal 0.05 10 lake Anderson Lake 751 lake sal 0.10 11 lake Anderson Lake 752 lake rad 2.19 12 lake Anderson Lake 752 lake sal 0.09 13 lake Anderson Lake 752 lake temp -16.00 14 lake Anderson Lake 837 lake rad 1.46 15 lake Anderson Lake 837 lake sal 0.21 16 roe Valentina Roerich 752 roe sal 41.60 17 roe Valentina Roerich 837 roe sal 22.50 18 roe Valentina Roerich 844 roe rad 11.25 ident site dated taken person quant reading 0 619 DR-1 1927-02-08 619 dyer rad 9.82 1 619 DR-1 1927-02-08 619 dyer sal 0.13 2 622 DR-1 1927-02-10 622 dyer rad 7.80 3 622 DR-1 1927-02-10 622 dyer sal 0.09 4 734 DR-3 1939-01-07 734 pb rad 8.41 5 734 DR-3 1939-01-07 734 lake sal 0.05 6 734 DR-3 1939-01-07 734 pb temp -21.50 7 735 DR-3 1930-01-12 735 pb rad 7.22 8 735 DR-3 1930-01-12 735 NaN sal 0.06 9 735 DR-3 1930-01-12 735 NaN temp -26.00 10 751 DR-3 1930-02-26 751 pb rad 4.35 11 751 DR-3 1930-02-26 751 pb temp -18.50 12 751 DR-3 1930-02-26 751 lake sal 0.10 13 752 DR-3 NaN 752 lake rad 2.19 14 752 DR-3 NaN 752 lake sal 0.09 15 752 DR-3 NaN 752 lake temp -16.00 16 752 DR-3 NaN 752 roe sal 41.60 17 837 MSK-4 1932-01-14 837 lake rad 1.46 18 837 MSK-4 1932-01-14 837 lake sal 0.21 19 837 MSK-4 1932-01-14 837 roe sal 22.50 20 844 DR-1 1932-03-22 844 roe rad 11.25 参考资料 技术支持qq群144081101 591302926 567351477 钉钉免费群21745728 本文最新版本地址 本文涉及的python测试开发库 谢谢点赞！ 本文相关海量书籍下载 源码下载 本文英文版书籍下载
2018-08-24
优秀的个人博客,低调大师

Keras快速上手——打造个人的第一个“圣诞老人”图像分类模型

首发地址：https://yq.aliyun.com/articles/288077 2017年已到最后一个月的尾巴，那圣诞节还会远吗？不知道各位对于圣诞节有什么安排或一些美好的回忆，我记得最清楚的还是每年圣诞节前一晚那些包装好的苹果，寓意平平安安。那谈到圣诞节，不可或缺的主角——“圣诞老人”会出现在各地的大街小巷、各种画册上，本文将带领读者使用Keras完成“圣诞老人”图像的分类，算是圣诞节前的预热活动吧。 在介绍正式内容前，读者可以先看这篇内容： 如何利用谷歌图片获得训练数据 在本教程的第一部分，将介绍本文使用的数据集；其次使用Python和Keras训练一个卷积神经网络模型，该模型能够检测一个图像中是否存在圣诞老人， 所选的网络结构类似于LeNet网络；最后，在一系列的图像上评估本文搭建的模型，然后讨论一下本文方法的局限性以及如何拓展等。 “圣诞老人”和“非圣诞老人”数据集 为了训练搭建的模型，本文需要两类图像集： 图像含圣诞老人（“圣诞老人”）; 图像不包含圣诞老人（“不是圣诞老人”） 上周我们用谷歌图片迅速获取训练图像数据集，数据集中包含461张有圣诞老人的图像中，如图1（左）所示；此外从UKBench数据集中随机获取461张不包含圣诞老人，如图1（右）所示。 基于卷积神经网络和Keras搭建的第一个图像分类器 如图2所示，该图是一个典型的Lenet网络结构，最初被用来数字手写体的分类，现将其扩展到其他类型的图像。 本教程主要是介绍如何将深度学习应用于图像分类中，所以不会对Keras和Python语句介绍得非常详细，感兴趣的读者可以看下Deep Learning for Computer Vison with Python这本书。 首先先定义网络架构。创建一个新文件并命名为lenetpy，并插入以下代码： 第2-8行是需要导入的Python包，其中conv2d表示执行卷积，maxpooling2d表示执行最大池化，Activation表示特定的激活函数类型，Flatten层用来将输入“压平”，用于卷积层到全连接层的过渡，Dense表示全连接层。 真正创建Lenet网络结构是代码的第10-12行，每当定义了一个新的卷积神经网络结构时，我喜欢： 把它放在自己的类中（为了命名空间及便于组织） 创建一个静立建造函数，来完成整个模型的建立 建立的模型时需要大量的参数： weight：输入图像的宽度 height：输入图像的高度 depth：输入图像的通道数（1表示单通道图像灰度，3表示标准的RGB图像） claclasses：想要组织的层类别总数 第1第4行定义我们的模型，第15行初始化inputshape，第18-19行正常更新inputshape 现在我们已经初始化我们的模型，可以开始添加其它层，代码如下： 第21-25行创建第一个CONV->RELU->POOL层，卷积层使用20个大小5x5的滤波器，之后紧跟RELU激活函数，最后使用窗口大小为2x2的最大池化操作； 之后定义第二个CONV->RELU->POOL层: 这次卷积层使用50个滤波器，滤波器个数的增加加深整个网络体系结构。 最终的代码块是将数据“压平”以连接全连接层： 第33行能将maxpooling2d层的输出压扁成一个单向量； 第34行显示全连接层包含500个节点，然后紧跟一个ReLU激活函数； 第38行定义另一个全连接层，该层的节点数等于分类的类别数，Dense 层送入softmax分类器输出每类的概率值； 第42行返回模型的调用函数； 使用Keras训练卷积神经网络图像分类器 打开一个新的文件并命名为train_networkpy，并插入以下代码打开 第2 - 18行导入程序需要的数据包； 下面开始解析命令行参数： 这里有两个需要命令行参数，--dataset和--model，以及accuracy/loss图的路径选择。其中--dataset表示模型的训练集，--model表示训练分类器后保存的模型，如果--plot未指定，则默认为plot.PNG。 接下来，设置一些训练变量、初始化列表并设置图像路径： 第32-34行定义模型的训练次数、初始学习率以及批量大小； 第38和39行初始化数据和标签列表，这些列表对应存储图像以及类别标签； 第42-44行获取输入图像路径并将图像随机打乱； 现在对图像进行预处理： 该循环简单的将每个图像的尺寸重新调整为28×28大小（为LeNet所需要的空间尺寸） 能够提取标签是由于我们的数据目录结构如下所示： 因此，imagePath的一个例子为： 从ImagePath提取标签，结果为： 下一步，将数据集分为训练数据集和测试数据集： 第61行进一步预处理输入数据，按比例将数据点[ 0, 255 ]缩放到[ 0, 1 ]范围内； 然后第66-67行将75%数据作为训练集，25%数据作为测试集；第70-71行对标签进行独热编码；随后，通过以下操作增加数据量： 第74-76行创建一个图像发生器，对数据集图像进行随机旋转、移动、翻转、剪切等，通过这种操作允许我们能用一个较小的数据集实现好的结果。 继续深入学习Keras训练图像分类器： 第80-83行使用Adam优化器，由于本文是一个二分类问题，可以使用二进制交叉熵损失函数（binary cross-entropy）。但如果执行的分类任务多于两类，损失函数更换为类别交叉熵（categorical_crossentropy） 第87-89行调用model.fit_generator开始训练网络，第93行保存模型参数，最后画出图像分类器的性能结果： 为了训练网络模型，需要打开一个终端执行以下命令： 可以看到，当网络训练了25个回合后，模型的测试精度为97.40%，损失函数也很低，如下图所示： 评估卷积神经网络图像分类器 打开一个新的文件并命名为test_networkpy，然后开始进行评估： 第2-7行导入需要的数据包，另外注意导入的load_model是训练过程中保存的模型。 下一步，解析命令行参数： 需要两个命令行参数：--model和输入--image，然后加载图像预处理： 预处理与前面几乎一模一样，这里不做过多的解释，只是第25行通过np.expand_dims对数据额外添加了一个维度，如果忘记添加维度，它将导致调用model.predict时出现错误。现在加载图像分类器模型并进行预测： 第29行加载模型，第32行做出预测。最后画出头像以及预测标签： 第35行建立标签，第36行选择对应的概率值，第37行将标签文本显示在图像的左上角，第40-42行调整图像大小为标准的宽度以确保它适应电脑屏幕，最后，第45行显示输出图像，第46行表示当一个键被按下结束显示。 以下是包含圣诞老人图像的实验结果： 以下是不包含圣诞老人图像的实验结果： 本文图像分类模型的局限性 本文图像分类器有一些局限性： 第一个是输入图像尺寸28×28很小。一些示例图像（图像中圣诞老人本身已经很小）调整尺寸为28×28后大大降低圣诞老人的尺寸。 最优的卷积神经网络正常接受输入图像大小一般为200-300像素，因此一些较大尺寸的图像将帮助我们建立一个更强大的图像分类器。然而，使用更大的分辨率的图像会加深网络模型的深度和复杂度，这将意味着需要收集更多的训练数据，以及昂贵的计算训练过程。 因此，如果各位读者想提高本文模型的精度话，有以下四点建议： 收集更多的训练数据（超过5000幅“圣诞老人”图像）； 利用高分辨率的图像在训练。64×64、128×128像素的图像可能效果会更理想； 在训练过程中使用一个更深层次的网络体系结构； 阅读Deep Learning for Computer Vision with Python，里面有更多关于自定义数据集等内容的细节； 总结 本文教你学会利用Keras和Pyhton训练LeNet模型，并用来完成是否含有圣诞老人形象的图像分类，最终目标可以是建立一个应用程序类似于Not Hotdog； “圣诞老人”图像数据集（460幅）是按照之前的教程——通过谷歌图片采集深度学习的图像获得，而“没有圣诞老人”的图像数据集是由从UKBench数据集中挑选得到； 在一系列的测试图像上评估本文搭建的网络模型，在每一种情况下，本文模型都能对输入图像分类正确。 作者信息 Adrain Rosebrock，企业家、博士，专注于图像搜索引擎。 Linkedin:https://www.linkedin.com/in/adrian-rosebrock-59b8732a/ 本文由北邮@爱可可-爱生活老师推荐，阿里云云栖社区组织翻译。 文章原标题《Image classification with Keras and deep learning》，作者：Adrain Rosebrock，译者：海棠，审阅：董邵男。 文章为简译，更为详细的内容，请查看原文 翻译者： 海棠 Wechat：269970760 weibo：Uncle_LLD Email:duanzhch@tju.edu.cn 微信公众号：AI科技时讯
2017-12-27
优秀的个人博客,低调大师

北京Workshop准备条件：《云数据·大计算：快速搭建互联网在线运营分析平台》

实验背景介绍 了解更多2017云栖大会·北京峰会 TechInsight & Workshop. 本手册为云栖大会Workshop之《云计算·大数据：海量日志数据分析与应用》场的前提准备条件所需。主要为保障各位学员在workshop当天能够顺畅进行动手实操，那么本场需要各位学员再参加之前确保自己云账号已免费开通表格存储TableStore、大数据计算服务MaxCompute、DataWorks和Quick BI。 实验涉及大数据产品 表格存储 TableStore 大数据计算服务 MaxCompute 数据工场 DataWorks 智能分析套件Quick BI 其中表格存储TableStore、大数据计算服务MaxCompute的服务Region都选择华北2. 实验环境准备 必备条件：首先需要确保自己有阿里云云账号并已实名认证。详细点击
2017-12-13
优秀的个人博客,低调大师

利用binlog2sql快速闪回误删除数据 - 别拿豆包不当干粮

各位兄弟们，好久不见了！最近一直忙于新书的创作，所以一直没有时间更新博客。不知道这段时间大家学习得怎么样，希望大家通过看我的文章给大家带来帮助。老张我也花费了大量时间录制一些数据库的视频课程，大家要是感兴趣，也可以去学习，不要错过啊！ 今儿抽出时间，给大家分享一篇利用binlog2sql闪回工具，来恢复误删除的数据。我们都知道binlog的作用是备份恢复和完成MySQL的主从复制功能。利用mysqlbinlog工具可以进行基于时间点或者位置偏移量的数据恢复工作，在生产环境中遇到误删除，改错数据的情况，那是常有的事儿。我们都知道Oracle数据库有闪回功能，而MySQL本身没有自带闪回，但我们可以使用binlog2sql来完成这项工作。 我们都知道binlog是以event作为单位，来记录数据库变更的数据信息，闪回就是可以帮助我们重现这些变化数据信息之前的操作。也就是说对于insert操作，会生成delete语句，反之delete操作，会生成insert语句。对于update操作，也会生成相反的update语句。这款工具只能使用在binlog格式为row模式下。 下面进行实战演练：binlog2sql工具的下载地址： https://github.com/danfengcao/binlog2sql第一步：环境准备安装各种依赖的工具包列表 python-pip ， PyMySQL ， python-mysql-replication， wheel argparse 第二步：解压binlog2sql软件，命令如下 unzip binlog2sql-master.zip cd binlog2sql-master pip install –r requirements.txt 第三步：通过python binlog2sql.py --help命令，来查看重要参数的使用; -B, --flashback 生成回滚语句 --start-file 需要解析的binlog文件 --start-position 解析binlog的起始位置 --stop-position解析binlog的结束位置 --start-datetime 从哪个时间点的binlog开始解析，格式必须为datetime --stop-datetime 到哪个时间点的binlog停止解析，格式必须为datetime -d, --databases 只输出目标db的sql -t, --tables 只输出目标tables的sql 第四步：开始模拟数据删除首先删除掉zs库下，t表中的数据 root@db 14:26: [zs]> select * from t; +----+------+---------+ | id | name | address | +----+------+---------+ | 1 | aaa | bj | | 2 | bbb | sh | | 3 | ccc | gz | | 4 | ddd | sy | | 5 | eee | fj | +----+------+---------+ 5 rows in set (0.00 sec) root@db 14:26: [zs]> delete from t; Query OK, 5 rows affected (0.04 sec) root@db 14:27: [zs]> select * from t; Empty set (0.00 sec) 第五步：需要创建一个闪回用户 create user 'zs_test'@'%' identified by '123456'; grant select,replication slave,replication client on *.* to 'zs_test'@'%' ; flush privileges; 第六步：确定当前binlog文件和position位置 root@db 14:41: [zs]> show master status; +---------------------+----------+--------------+------------------+------------------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +---------------------+----------+--------------+------------------+------------------------------------------+ | mysql-binlog.000002 | 2091 | | | e10f0ead-d595-11e7-82cb-080027cd683a:1-8 | +---------------------+----------+--------------+------------------+------------------------------------------+ 可以看到当前binlog是：mysql-binlog.000002位置偏移量：2091 第七步：需要预估下时间，误操作的时间范围应该在下午2点20分到2点30分之间。命令如下：python binlog2sql.py -h192.168.56.102 -P3306 -uzs_test -p123456 -dzs -tt --start-file='mysql-binlog.000002' --start-datetime='2017-11-30 14:20:00' --stop-datetime='2017-11-30 14:30:00'输出结果：DELETE FROM zs.t WHERE address='bj' AND id=1 AND name='aaa' LIMIT 1; #start 1214 end 1427 time 2017-11-30 14:27:46DELETE FROM zs.t WHERE address='sh' AND id=2 AND name='bbb' LIMIT 1; #start 1214 end 1427 time 2017-11-30 14:27:46DELETE FROM zs.t WHERE address='gz' AND id=3 AND name='ccc' LIMIT 1; #start 1214 end 1427 time 2017-11-30 14:27:46DELETE FROM zs.t WHERE address='sy' AND id=4 AND name='ddd' LIMIT 1; #start 1214 end 1427 time 2017-11-30 14:27:46DELETE FROM zs.t WHERE address='fj' AND id=5 AND name='eee' LIMIT 1; #start 1214 end 1427 time 2017-11-30 14:27:46 从解析结果中我们了解到，误操作sql的位置是在1214~1427之间;这样就可以进一步过滤，使用flashback模式生成回滚sql；命令如下：python binlog2sql.py -h192.168.56.102 -P3306 -uzs_test -p123456 -dzs -tt --start-file='mysql-binlog.000002' --start-position=1214 --stop-position=1427 -B >t_rollback.sql 查看闪回导出文件： [root@node3 binlog2sql]# cat t_rollback.sql INSERT INTO `zs`.`t`(`address`, `id`, `name`) VALUES ('fj', 5, 'eee'); #start 1214 end 1427 time 2017-11-30 14:27:46 INSERT INTO `zs`.`t`(`address`, `id`, `name`) VALUES ('sy', 4, 'ddd'); #start 1214 end 1427 time 2017-11-30 14:27:46 INSERT INTO `zs`.`t`(`address`, `id`, `name`) VALUES ('gz', 3, 'ccc'); #start 1214 end 1427 time 2017-11-30 14:27:46 INSERT INTO `zs`.`t`(`address`, `id`, `name`) VALUES ('sh', 2, 'bbb'); #start 1214 end 1427 time 2017-11-30 14:27:46 INSERT INTO `zs`.`t`(`address`, `id`, `name`) VALUES ('bj', 1, 'aaa'); #start 1214 end 1427 time 2017-11-30 14:27:46 第八步：应用回滚文件，恢复数据。命令如下：/usr/local/mysql/bin/mysql -uroot -proot123 zs < t_rollback.sql 第九步：检验恢复数据是否成功 root@db 15:09: [zs]> select * from t; +----+------+---------+ | id | name | address | +----+------+---------+ | 1 | aaa | bj | | 2 | bbb | sh | | 3 | ccc | gz | | 4 | ddd | sy | | 5 | eee | fj | +----+------+---------+ 5 rows in set (0.00 sec) 验证恢复数据成功！ 工具虽小，但功能很强大，我们要善于发现周围的资源，利用这些武器，来帮助我们学习MySQL数据库！今后老张会继续分享新的干货，供大家学习参考！
2017-11-30
优秀的个人博客,低调大师

产品经理教你玩转阿里云负载均衡SLB系列(一):快速入门--什么是负载均衡

负载均衡是一种技术，从字面意义上理解，就是让负载(变得)均衡，负载是什么呢？可以理解为工作量、工作强度。用日常生活中的例子来打比方，一群建筑工人，盖一幢楼房，有搬砖的，有和水泥的，有砌墙的，有刷油漆的，同时每个工人的劳动能力还各有差别，如果让这些工作自组织的干起活来，可能有的人忙到累死，而有的人闲的无聊 ，因此不论大小工地上，都会存在监工、项目经理、包工头等这样的角色，他们会统观全局，识别每个工人的工作强度，合理分配任务，保证建筑活动的正常开展，很大程度上起到了的负载均衡的作用， 这就是负载均衡在生活中的例子。 接下来我们来看看云计算中所说的负载均衡是什么。 阿里云负载均（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务。负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系
2017-11-18
优秀的个人博客,低调大师

新型IoT僵尸网络正快速扩张，家中有这些设备赶快升级打补丁

路由器、家用摄像头是现代一些家庭的标配，给很多人的生活带来了便利和安全保障。不过，如果你家里有下列品牌的路由器和摄像头就要小心了，因为它们可能被病毒感染。 近日，360安全研究人员率先发现一个新的针对IoT设备的僵尸网络，并将其命名为“IoT_reaper”。据悉，该僵尸网络利用路由器、摄像头等设备的漏洞，将僵尸程序传播到互联网，感染并控制大批在线主机，从而形成具有规模的僵尸网络。目前，很多厂商的公开漏洞都已经被IoT_reaper病毒所利用，其中包括Dlink(路由器)、Netgear(路由器)、Linksys(路由器)、Goahead(摄像头)、JAWS(摄像头)、AVTECH(摄像头)、Vacron(NVR)等共9个漏洞，感染量达到近200万台设备，且每天新增感染量达2300多次。 360安全研究人员介绍：该恶意程序脱胎于此前曾导致美国断网的僵尸网络mirai，但比mirami的感染途径更广，如果照目前速度继续肆意扩张，其造成的后果将不堪设想。广大用户应及时为IOT设备升级版本，增强设备密码，关闭共享端口，避免被此类僵尸网络感染。 僵尸网络危害极大 曾使美国网络瘫痪所谓僵尸网络，就是攻击者通过各种途径传播僵尸程序，并感染互联网上的大量主机。被感染的主机将通过一个控制信道接收攻击者的指令，组成一个僵尸网络。之所以被称之为“僵尸网络”，是因为众多被感染的计算机在不知不觉中被人驱赶和指挥，成为被人利用的一种工具，如同中国古老传说中的僵尸群一样。 不要小看这些被控制的“僵尸”设备，在2016年10月21日，造成半个美国互联网都瘫痪的罪魁祸首，就是Mirai僵尸网络控制下的数以十万计的物联网设备。在美国断网事件中，美国域名解析服务提供商Dyn公司遭到了峰值达到1.1Tbps 的DDoS攻击，美国东部出现大面积网络瘫痪，包括Twitter、Facebook在内的多家美国网站无法通过域名访问。 IoT_reaper“青胜于蓝” 扩张速度令人担忧本次发现的IoT_reaper借用了部分mirai的源代码，但是在几个关键行为上有显著区别，且比mirai更加“高明”：恶意代码投入时不再使用弱口令猜测、而是使用iot设备漏洞，扫描发现效率大大提高;主动抑制了扫描速度，被安全研究者发现的几率大大降低。 目前很多厂商的公开漏洞都已经被IoT_reaper病毒所利用，其中包括Dlink(路由器)、Netgear(路由器)、Linksys(路由器)、Goahead(摄像头)、JAWS(摄像头)、AVTECH(摄像头)、Vacron(NVR)等共9个漏洞。 目前来看，IoT_reaper规模较大且正在积极扩张，根据360安全中心提供的最近数据显示，IoT_reaper恶意软件已经感染了近200万台设备，日活量已达到10,000台。此外，研究人员指出，恶意软件中还包含100多个DNS解析服务器，能够发动DNS放大攻击。 所幸目前该僵尸网络除了下载样本的指令以外，没有看到实际的DDoS攻击指令，这反映出该僵尸网络仍然处在早期扩张阶段。“但作者在修改代码，因此需要警惕。”360安全研究人员表示。 鉴于该僵尸网络的创建者以及创建目的还未可知，360安全卫士提醒广大用户，一定要及时升级版本安装补丁，修复系统漏洞;给自己的设备及各个账户设置高强度密码，避免被恶意软件轻易破解;并且要关闭不必要的共享端口，防止被恶意程序入侵后变成“僵尸”。 Dlink https://blogs.securiteam.com/index.php/archives/3364 Goahead https://pierrekim.github.io/blog/2017-03-08-camera-goahead-0day.html JAWS https://www.pentestpartners.com/blog/pwning-cctv-cameras/ Netgear https://blogs.securiteam.com/index.php/archives/3409 Vacron NVR https://blogs.securiteam.com/index.php/archives/3445 Netgear seclists.org/bugtraq/2013/Jun/8 Linksys www.s3cur1ty.de/m1adv2013-004 dlink www.s3cur1ty.de/m1adv2013-003 AVTECH https://github.com/Trietptm-on-Security/AVTECH 原文发布时间为：2017-10-30 本文作者：佚名 本文来自云栖社区合作伙伴51CTO，了解相关信息可以关注51CTO。
2017-11-01

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-03-01 大小: 1MB 下载: 6次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-03-02 大小: 1.42GB 下载: 3次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
Jdk25 Docker Redis Rocky Kubernetes SpringBoot4 DeepSeek OpenAi Gemini3 SpringCloud Service Mesh HarmonyOS6 Nacos3

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册