首页 文章 精选 留言 我的

精选列表

搜索[读写分离],共10000篇文章
优秀的个人博客,低调大师

STS Python_SDK授权临时用户读写OSS资源

名词解释 RAM (Resource Access Management)和STS(Security Token Service)是阿里云提供的权限管理系统。RAM主要的作用是控制账号系统的权限。您可以使用RAM在主账号的权限范围内创建子用户,给不同的子用户分配不同的权限从而达到授权管理的目的。STS是一个安全凭证(Token)的管理系统。您可以使用STS来完成对于临时用户的访问授权。 子账号(RAM account):从阿里云的主账号中创建出来的子账号,在创建的时候可以分配独立的密码和权限,每个子账号拥有自己AccessKey,可以和阿里云主账号一样正常的完成有权限的操作。一般来说,这里的子账号可以理解为具有某种权限的用户,可以被认为是一个具有某些权限的操作发起者。 角色(Role):表示某种操作权限的虚拟概念,但是没有独立的登录密码和AccessKey。说明子账号可以扮演角色,扮演角色时候的权限是该角色自身的权限。 授权策略(Policy):用来定义权限的规则,比如允许用户读取或写入某些资源。 资源(Resource):代表用户可访问的云资源,比如OSS所有的Bucket、OSS的某个Bucket,或OSS的某个Bucket下面的某个Object等。 扮演角色(Assume role)扮演角色是实体用户获取角色身份的安全令牌的方法。一个实体用户调用STS APIAssumeRole可以获得角色的安全令牌,使用安全令牌可以访问云服务API。 这里将手动定义授权策略(Policy),将授权策略授权给角色 ,然后子账号(RAM account)通过扮演角色_方法 _获取 角色 的 安全令牌对 资源 进行操作.RAM 用户可以使用 API 扮演 RAM 角色。当 RAM 用户被授予AliyunSTSAssumeRoleAccess权限策略之后,可以使用其访问密钥调用 STS APIAssumeRole接口,以获取某个角色的安全令牌,从而使用安全令牌访问资源。 新建用户,角色,授权策略 新建RAM用户 登录RAM 控制台。 在左侧导航栏的人员管理菜单下,单击用户。 单击新建用户,输入登录名称和显示名称。说明单击添加用户,可一次性创建多个 RAM 用户。 在访问方式区域下,选择控制台密码登录或编程访问。 控制台密码登录:可以完成对登录安全的基本设置,包括自动生成或自定义登录密码、是否要求下次登录时重置密码以及是否要求开启多因素认证。 编程访问:将会自动为 RAM 用户创建访问密钥(AccessKey)。RAM 用户可以通过 API 或其他开发工具访问阿里云。 说明为了保障账号安全,建议仅为 RAM 用户选择一种登录方式。避免 RAM 用户离开组织后仍可以通过访问密钥访问阿里云资源。 单击确认。 授权RAM用户AssumeRole接口权限 登录RAM 控制台。 在左侧导航栏的人员管理菜单下,单击用户。 在用户列表中找到刚才创建的用户,单击列表【操作】栏下的【添加权限】 在弹出对话框中的【系统权限策略】搜索并添加_AliyunSTSAssumeRoleAccess_ 单击确认。 新建自定义权限策略test_policy 登录RAM 控制台。 在左侧导航栏的权限管理菜单下,单击权限策略管理。 单击新建权限策略。 填写策略名称和备注。 配置模式选择可视化配置或脚本配置。 若选择可视化配置:单击添加授权语句,根据界面提示,对权限效力、操作名称和资源等进行配置。 若选择脚本配置,请参考语法结构编辑策略内容。 单击确认。 下面为OSS所有权限语法示例 { "Statement": [ { "Action": "oss:*", "Effect": "Allow", "Resource": "*" } ], "Version": "1" } 新建角色testRole 注:这里角色有三种类型,创建可信实体为阿里云账号的RAM角色 云账号登录RAM控制台。 在左侧导航栏,单击RAM角色管理。 单击新建RAM角色。 选择可信实体类型为阿里云账号,单击下一步。 输入角色名称和备注。 选择云账号后,单击完成。 将自定义权限策略授权给角色 登录RAM 控制台。 在左侧导航栏的权限管理菜单下,单击授权。 单击新增授权。 在被授权主体区域下,输入 RAM 角色名称后,单击需要授权的 RAM 角色。 在左侧权限策略名称列表下,单击需要授予 RAM 角色的权限策略。说明在右侧区域框,选择某条策略并单击 ×,可撤销该策略。 单击确定。 完成授权后可在角色管理中查看授权详情 注:这里策略主体类型有两种,权限策略也可直接授权给用户 通过STS完成临时授权 STS基本概念 阿里云临时安全令牌(Security Token Service,STS)是阿里云提供的一种临时访问权限管理服务。 RAM角色(RAM role)一种虚拟的RAM用户。RAM角色的全局资源描述符(Role ARN)Role ARN是角色的全局资源描述符(Aliyun Resource Name,简称ARN),用来指定具体角色。每个角色都有一个唯一的全局资源描述符。格式:acs:ram::$accountID:role/$roleName。 可信实体(Trusted entity)角色的可信实体是指可以扮演角色的实体用户身份。创建角色时必须指定可信实体,角色只能被受信的主体扮演。可信实体可以是受信的阿里云账号、受信的阿里云服务或身份提供商。 扮演角色(Assume role)扮演角色是实体用户获取角色身份的安全令牌的方法。一个实体用户调用STS APIAssumeRole可以获得角色的安全令牌,使用安全令牌可以访问云服务API。 注:这里需要区分下RAM角色与扮演角色的区别,可信实体通过扮演角色_方法___获取 RAM角色的安全令牌 扮演角色的API接口概览 STS提供API调用接口每个请求都需要指定如下信息: 要执行的操作:Action参数。 每个操作接口都需要包含的公共请求参数。 操作接口所特有的请求参数。 调用AssumeRole接口获取一个临时身份。参考API RoleArn表示的是需要扮演的角色ID,角色的ID可以在角色管理>角色详情中找到。 RoleSessionName是一个用来标示临时凭证的名称,一般来说建议使用不同的应用程序用户来区分。 Policy表示的是在扮演角色的时候额外加上的一个权限限制。此参数可以限制生成的STS token的权限,若不指定则返回的token拥有指定角色的所有权限。 DurationSeconds指的是临时凭证的有效期,单位是s,最小为900,最大为3600。 id和secret表示的是需要扮演角色的子账号的AccessKey。 AssumeRole接口请求示例 https://sts.aliyuncs.com?Action=AssumeRole &RoleArn=acs:ram::123456789012****:role/adminrole &RoleSessionName=alice &DurationSeconds=3600 &Policy=<url_encoded_policy> &<公共请求参数> AssumeRole接口返回格式(json) { "Credentials": { "AccessKeyId": "STS.L4aBSCSJVMuKg5U1****", "AccessKeySecret": "wyLTSmsyPGP1ohvvw8xYgB29dlGI8KMiH2pK****", "Expiration": "2015-04-09T11:52:19Z", "SecurityToken": "********" }, "AssumedRoleUser": { "arn": "acs:sts::123456789012****:assumed-role/AdminRole/alice", "AssumedRoleUserId":"34458433936495****:alice" }, "RequestId": "6894B13B-6D71-4EF5-88FA-F32781734A7F" } 通过STS_SDK完成角色扮演 这里将通过官方提供的SDK模块进行具体的角色扮演 安装相关SDK包 pip install oss2pip install aliyun-python-sdk-corepip install aliyun-python-sdk-stssts sdkgithub 地址 获取临时身份信息 # 在控制台将 AliyunSTSAssumeRoleAccess 权限授权给子用户testRole,testRole操作AssumeRole接口,获取临时身份 def fetch_sts_info(access_key_id, access_key_secret, sts_role_arn): """子用户角色扮演获取临时身份的信息 :param access_key_id: 子用户的 access key id :param access_key_secret: 子用户的 access key secret :param sts_role_arn: STS角色的Arn :return StsInfo 返回临时身份信息对象 """ # 配置要访问的STS endpoint REGIONID = 'cn-hongkong' ENDPOINT = 'sts.cn-hongkong.aliyuncs.com' region_provider.add_endpoint('Sts', REGIONID, ENDPOINT) clt = client.AcsClient(access_key_id, access_key_secret, 'cn-hongkong') request = AssumeRoleRequest.AssumeRoleRequest() #request.set_accept_format('json') #指定角色ARN request.set_RoleArn(sts_role_arn) #设置会话名称,审计服务使用此名称区分调用者 request.set_RoleSessionName('oss-python-sdk-example') #发起请求,并得到response response = clt.do_action_with_exception(request) #格式化输出返回结果,将字符串结果转化为字典类型 i = json.loads(oss2.to_unicode(response)) #实例化StsInfo类,并将通过sts获取的临时身份信息存入 global StsInfo StsInfo = StsInfo() StsInfo.access_key_id = i['Credentials']['AccessKeyId'] StsInfo.access_key_secret = i['Credentials']['AccessKeySecret'] StsInfo.security_token = i['Credentials']['SecurityToken'] StsInfo.request_id = i['RequestId'] StsInfo.expiration = oss2.utils.to_unixtime(i['Credentials']['Expiration'], '%Y-%m-%dT%H:%M:%SZ') #返回StsInfo对象 return StsInfo 将临时身份信息存入json文件 根据需求,可将临时身份信息存储到json文件中,等到临时身份过期后再重新请求,避免重复请求,造成临时身份泛滥,引发资源匮乏与安全隐患 def save_info(): #存储临时身份信息 with open('StsInfo.json','w',encoding='utf-8') as f: data = {'sts_key_id':StsInfo.access_key_id,'sts_key_secret':StsInfo.access_key_secret,'sts_secrity_token':StsInfo.security_token,'sts_expire_date':StsInfo.expiration,'sts_reques_id':StsInfo.request_id} json.dump(data,f,ensure_ascii=False) f.close def open_info(): #读取临时身份信息 with open('./StsInfo.json','r',encoding='utf-8') as f: global STSINFO STSINFO = json.load(f) return STSINFO 通过临时身份操作Bucket资源 def buck_put_object(): #打印验证临时身份信息 print(StsInfo) print('key id:',StsInfo.access_key_id) print("key_secret:",StsInfo.access_key_secret) print("secrity_token:",StsInfo.security_token) print("request_id:",StsInfo.request_id) print("expiration:",StsInfo.expiration) #实例化Bucket对象,并上传字符串 auth = oss2.StsAuth(StsInfo.access_key_id, StsInfo.access_key_secret, StsInfo.security_token) bucket = oss2.Bucket(auth,endpoint,'fralychen') result = bucket.put_object('fralychen','good good study day day up') 全部代码 # -*- conding:utf-8 -*- import json import os import oss2 from aliyunsdkcore import client from aliyunsdkcore.profile import region_provider from aliyunsdksts.request.v20150401 import AssumeRoleRequest ##定义一些变量 access_key_id = 'LTAI4FoMe6umpCSFQdEC9neg' access_key_secret = 'jgEvtFOqIAGqKZve7zMvg8dJhSZv9J' bucket_name = 'fralychen' endpoint = 'oss-cn-hongkong.aliyuncs.com' sts_role_arn = 'acs:ram::1149877324567510:role/testrole' # 确认上面的参数都填写正确了 for param in (access_key_id, access_key_secret, bucket_name, endpoint, sts_role_arn): assert '<' not in param, '请设置参数:' + param #创建StsToken类方便用来存储临时身份信息 class StsInfo(object): """AssumeRole返回的临时身份信息 :param str access_key_id: 临时身份的access key id :param str access_key_secret: 临时身份的access key secret :param int expiration: 过期时间,UNIX时间,自1970年1月1日UTC零点的秒数 :param str security_token: 临时身份Token :param str request_id: 请求ID """ def __init__(self): self.access_key_id = '' self.access_key_secret = '' self.expiration = 0 self.security_token = '' self.request_id = '' # 在控制台将 AliyunSTSAssumeRoleAccess 权限授权给RAM子用户之后才能通过RAM用户获取临时身份信息 def fetch_sts_info(access_key_id, access_key_secret, sts_role_arn): """子用户角色扮演获取临时身份的信息 :param access_key_id: 子用户的 access key id :param access_key_secret: 子用户的 access key secret :param sts_role_arn: STS角色的Arn :return StsInfo 返回临时身份信息对象 """ # 配置要访问的STS endpoint _REGIONID = 'cn-hongkong' _ENDPOINT = 'sts.cn-hongkong.aliyuncs.com' region_provider.add_endpoint('Sts', _REGIONID, _ENDPOINT) clt = client.AcsClient(access_key_id, access_key_secret, 'cn-hongkong') request = AssumeRoleRequest.AssumeRoleRequest() #request.set_accept_format('json') #指定角色ARN request.set_RoleArn(sts_role_arn) #设置会话名称,审计服务使用此名称区分调用者 request.set_RoleSessionName('oss-python-sdk-example') #设置临时身份过期时间 request.set_DurationSeconds(DurationSeconds) #发起请求,并得到response response = clt.do_action_with_exception(request) #格式化输出返回结果,将字符串结果转化为字典类型 i = json.loads(oss2.to_unicode(response)) #实例化StsInfo类并将临时身份信息存入对象 global StsInfo StsInfo = StsInfo() StsInfo.access_key_id = i['Credentials']['AccessKeyId'] StsInfo.access_key_secret = i['Credentials']['AccessKeySecret'] StsInfo.security_token = i['Credentials']['SecurityToken'] StsInfo.request_id = i['RequestId'] StsInfo.expiration = oss2.utils.to_unixtime(i['Credentials']['Expiration'], '%Y-%m-%dT%H:%M:%SZ') #存储临时身份信息 save_info() #使用sts授权的临时身份上传文件到bucket def buck_put_object(sts_key_id, sts_key_secret, sts_secrity_token): """上传字符串到资源 :param sts_key_id: 临时身份的 access key id :param sts_key_secret: 临时身份的 access key secret :param sts_secrity_token: 临时身份的 secrity token :retu """ #实例化Bucket对象,并上传字符串 auth = oss2.StsAuth(sts_key_id, sts_key_secret, sts_secrity_token) bucket = oss2.Bucket(auth,endpoint,'fralychen') result = bucket.put_object('fralychen','good good study day day up') #根据需求,可将临时身份信息存储到json文件中,等到临时身份过期后再重新请求,避免重复请求,用户泛滥 def save_info(): #存储临时身份信息 with open('StsInfo.json','w',encoding='utf-8') as f: data = {'sts_key_id':StsInfo.access_key_id,'sts_key_secret':StsInfo.access_key_secret,'sts_secrity_token':StsInfo.security_token,'sts_expire_date':StsInfo.expiration,'sts_reques_id':StsInfo.request_id} json.dump(data,f,ensure_ascii=False) f.close def open_info(): #读取临时身份信息 with open('./StsInfo.json','r',encoding='utf-8') as f: global STSINFO STSINFO = json.load(f) return STSINFO #定义临时身份过期时间 DurationSeconds = 900 try: open_info() except IOError: print("Error: 没有用户信息文件或文件读取失败") print("初始化身份信息,临时身份信息存储中....") fetch_sts_info(access_key_id, access_key_secret, sts_role_arn) print("临时身份信息存储完毕,当前目录下StsInfo.json") else: if oss2.utils.http_to_unixtime(oss2.utils.http_date()) + DurationSeconds > STSINFO["sts_expire_date"]: buck_put_object(sts_key_id = STSINFO["sts_key_id"],sts_key_secret = STSINFO["sts_key_secret"], sts_secrity_token = STSINFO["sts_secrity_token"]) print("上传成功,good_lucky") else: print("更新临时用户信息,请稍后") fetch_sts_info(access_key_id, access_key_secret, sts_role_arn) buck_put_object(sts_key_id = STSINFO["sts_key_id"],sts_key_secret = STSINFO["sts_key_secret"], sts_secrity_token = STSINFO["sts_secrity_token"]) print("上传成功,good_lucky")

优秀的个人博客,低调大师

【Python初级】StringIO和BytesIO读写操作的小思考

from io import StringIO; f = StringIO(); f.write('Hello World'); s = f.readline(); print s; 上面这种方法“无论如何”都读不出f的内容,使用readlines和循环也不行。 但是,用以下的方法,却可以“正常读取”: from io import StringIO; f = StringIO('Hello World'); s = f.readline(); print s; 这是为什么呢? 这是因为the stream position的原因,当你用: d = StringIO('Hello World') 其stream position为0(可以通过d.tell()获得),而后执行: d.readline() stream position移动到11.因此当我们再次执行d.readline()时,返回的是空字符串。演示见图: 类似的,使用: f = StringIO() stream position也为0,但执行了: f.write('Hello World') 之后,stream position就移动到11了,因此此时你再执行readline时返回的依旧是空字符串。 当然咯,既然这个读取是和stream position的位置有关系,那么要能够在当前情况下还能读取'Hello World!',我们可以调整这个指针的位置,执行: f.seek(0) 再进行读取操作,即可。 下面利用BytesIO进行演示,是一样的道理:

优秀的个人博客,低调大师

Django前后端分离实践之DRF--03

一、序列化 1. 创建表 以出版社的表为例子,例如出版社有名字和所属地区 选区_051 class Publisher(models.Model): name = models.CharField(max_length=32, verbose_name='名称', unique=True) address = models.CharField(max_length=128, verbose_name='地址') def __str__(self): return self.name class Meta: verbose_name = '出版社' verbose_name_plural = verbose_name 选区_162 2. 生成迁移文件和执行迁移 在这里我们暂时用sqlite数据库 python manage.py makemigrations python manage.py migrate 3. 什么是序列化 维基百科资料关于序列化的介绍 3.1 关于序列化的解释: 在程序运行的过程中,所有的变量都是在内存中,比如,定义一个dict: d = dict(name='Zhangsan', age=26, score=75) 可以随时修改变量,比如把name改成'LiSi',但是一旦程序结束,变量所占用的内存就被操作系统全部回收。如果没有把修改后的'LiSi'存储到磁盘上,下次重新运行程序,变量又被初始化为'Zhangsan'。 <b style='color:red'>我们把变量从内存中变成可存储或传输的过程称之为序列化</b>,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。 序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。 反过来,<b style='color:red'>把变量内容从序列化的对象重新读到内存里称之为反序列化</b>,即unpickling。 3.2 JSON <b style='color:red'>如果我们要在不同的编程语言之间传递对象,就必须把对象序列化为标准格式</b>,比如XML,但更好的方法是序列化为JSON,因为JSON表示出来就是一个字符串,可以被所有语言读取,也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式,并且比XML更快,而且可以直接在Web页面中读取,非常方便。 JSON表示的对象就是标准的JavaScript语言的对象,JSON和Python内置的数据类型对应如下: JSON类型 Python类型 {} dict [] list "string" str 1234.56 int或float true/false True/False null None Python内置的json模块提供了非常完善的Python对象到JSON格式的转换: 3.3 把Python对象变成一个JSON: import json d = dict(name='Zhangsan', age=26, score=75) # dumps()方法返回一个str,内容就是标准的JSON json_str= json.dumps(d) 3.4 要把JSON反序列化为Python对象,用loads()方法: json_str = '{"age": 26, "score": 75, "name": "Zhangsan"}' json.loads(json_str) 4. 通过以下方式可以实现API: 编写视图: from .models import Publisher from django.http import HttpResponse def publisher_list(request): # 查询出所有的出版社 queryset = Publisher.objects.all() # 转换成python中的列表 data = [] for i in queryset: # 每一个对象都手动转化成一个字典 p_tmp = { 'name': i.name, 'address': i.address } data.append(p_tmp) import json return HttpResponse(json.dumps(data), content_type='application/json') 选区_163 配置路由: url(r'^publishers/', views.publisher_list) 启动项目 python manage.py runserver 选区_164 手动添加数据 选区_165 刷新浏览器 选区_166 选区_167 5. 对于以上的方案进行第一次改进: data = [] from django.forms.models import model_to_dict for i in queryset: data.append(model_to_dict(i)) 注意:这种方式有缺陷,很多字段无法转换成字典,比如图片 选区_168 6. 对于以上的方案进行第二次改进(使用Django自带的serializers): data = [] from django.core import serializers data = serializers.serialize('json', queryset) import json return HttpResponse(data, content_type='application/json') 注意:此时data已经是json类型 选区_169 刷新浏览器 选区_170 二、DRF提供的序列化 DRF提供的方案更加先进,更高级别的序列化方案,不仅仅可以实现从数据库里面读取数据,更可以存数据(增删改查) 1. 在APP下创建一个序列化一个文件 我们自己定义一个序列化 from rest_framework import serializers # 类名固定为表名称 + Serializer class PublisherSerializer(serializers.Serializer): # read_only必须为True,因为我们模型里面的id是一个自增字段,不可写,自动生成 id = serializers.IntegerField(read_only=True) name = serializers.CharField(max_length=32) address = serializers.CharField(max_length=128) 选区_171 2. 使用自己定义的序列化 非常方便的把我们的对象转化成一个字典 from app01 import models,serializers p1 = models.Publisher.objects.first()# 先找到一个出版社的对象 s = serializers.PublisherSerializer(p1) s.data 选区_172 3. 给自定义的序列化增加一个'create'和'update'的功能 重写父类 def create(self, validated_data): # validated_data参数不需要特意去记,就是经过校验的数据 return models.Publisher.objects.create(**validated_data) def update(self, instance, validated_data): instance.name = validated_data.get('name', instance.name) instance.address = validated_data.get('address', instance.address) instance.save() return instance 使用 from app01 import models,serializers p2 = {'name':'图灵出版社','address':'大兴天宫院'} s = serializers.PublisherSerializer(data=p2) s.is_valid()# 如果数据检测没有问题 Out[5]: True s.validated_data # 可以查看类型,观察到这是一个有序字典 Out[6]: OrderedDict([('name', '图灵出版社'), ('address', '大兴天宫院')]) s.save() # 保存到数据库 Out[7]: <Publisher: 图灵出版社> 选区_173 刷新浏览器 选区_174 在视图里面使用 # 第三次改进 from app01 import serializers # 如果是多个对象,一定要写many = True,就是说我们是多个对象, # many=True告诉程序要用遍历的方式去给我们做序列化 s = serializers.PublisherSerializer(queryset, many=True) import json return HttpResponse(json.dumps(s.data), content_type='application/json') 选区_175 4. 改进自定义序列化模块 因为那些字段,我们已经在模型中创建,没有必要再创建一次,所以我们再进行一次改进 class PublisherSerializer(serializers.ModelSerializer): class Meta: model = models.Publisher # 我们要使用的模型 # 我们要使用的字段 fields = ( 'id', 'name', 'address' ) 选区_176 刷新浏览器,依旧可以正常运行,也就说是我们可以自己去写每一个字段,当然可以用ModelSerializer,直接使用我们的模型(相当于和我们数据库里面的表字段一一对应) 选区_177

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册