Openstack Paste.ini 文件详解
目录 目录 pasteini 配置文件详解 composite pipeline filter app DEFAULT server Request 被 pasteini 处理的流程 如何加载 pasteini 配置文件 factory 工厂函数 paste.ini 配置文件详解 paste.ini 文件的格式类似于INI格式，每个 Section 的格式均为 [type:name]。 这里重要的是理解几种不同 type 的 Section 的作用： composite [composite:main] use = egg:Paste#urlmap /v2.0 = public_api /v3 = api_v3 / = public_version_api [composite:admin] use = egg:Paste#urlmap /v2.0 = admin_api /v3 = api_v3 / = admin_version_api composite section：Request 进来后第一个通过的 Section，表示需要将一个 HTTP URL Request 调度到一个或者多种 Application 上。 paste.ini 中有两种类型的 [composite：main|admin]。Request 会通过哪一个 composite 由请求 URL 的端口或者 name 参数来决定，下面会有介绍。 use：是一个关键字，指定处理请求的代码，这里表示我们使用 Paste egg包中 urlmap 来实现 composite 请求分发方式。 ==> 决定请求的分发方式为 urlmap(urlmap 算是一个通用的请求分发程序) /v2.0 /v3 /：是 urlmap 进行分发时，需要使用到的参数。 URL为 /v3 开头的请求会路由给 pipeline api_v3 处理(也可以直接是一个 app section) egg 是 python 的一个包 pipeline [pipeline:api_v3] # The last item in this pipeline must be service_v3 or an equivalent # application. It cannot be a filter. pipeline = sizelimit url_normalize request_id build_auth_context token_auth admin_token_auth json_body ec2_extension_v3 s3_extension simple_cert_extension revoke_extension federation_extension oauth1_extension endpoint_filter_extension service_v3 pipeline section : 指定的 section 有如下要求： 1.最后一个名字对应的 section 一定要是一个 app 类型。 2.非最后一个名字对应的 section 一定要是一个 filter 类型。 filter [filter:sizelimit] paste.filter_factory = oslo_middleware.sizelimit:RequestBodySizeLimiter.factory filter section: 是一个实现了过滤器功能的中间件(将 Application 进行进一步的封装)，用于过滤 Request 和 Response。 程序员可以通过添加 filter 来增加对 Request 和 Response 进行操作的功能。EG. 我在实现一个 application 之前需要对 Request 进行身份验证，那么就让这个 Request 通过提供身份验证功能的 filter 即可。 paste.filter_factory 表示调用哪个函数来获得这个 filter 中间件。sizelimit是 [pipeline:api_v3] 指定的第一个 filter ，作用是限制请求的大小。 app [app:service_v3] paste.app_factory = keystone.service:v3_app_factory app: 一个 app 就是一个实现主要功能的具体的 application 。所以 app 必须是 Callable Object 类型，接受的参数(environ,start_response)，这是WSGI Server交给Application的符合WSGI规范的参数。 Application 需要完成的任务是响应 envrion 中的请求，准备好响应头 headers 和消息体 body，然后交给 start_response 处理，返回响应消息体。 [pipeline:api_v3] 的最后一个元素，必须是一个 app section 。 paste.app_factory ：表示调用哪个函数来获得 application keystone.service:v3_app_factory 指定处理请求和响应的 application paste.app_factory = keystone.service:v3_app_factory这一种方式，将一个 app 指向了一段 python 代码。此方式下，必须执行 app 协议：以 app_factory 表示，后面的值为需要 import 的东西，在这个例子中需要 import keystone.service ，并从中取得了 v3_app_factory 的实例。 app_factory 是一个 callable object，其接受的参数是一些关于 application 的配置信息，EG. (global_conf,**kwargs)： global_conf 是在 ini 文件中 default section 中定义的一系列 key-value 对 **kwargs 则是一些本地配置，是在 ini 文件中，app section 中定义的一系列 key-value 对。app_factory 返回值是一个 application 对象。这个对象是的 WSGI Server 和 WSGI Application 可以进行交互，即可以传递 Request 和 Response 的数据。 DEFAULT [DEFAULT] admin_email = webmaster@example.com [app:main] use = ... set admin_email = jmilkfan@example.com 全局配置主要是用于多个 app 共用一些变量，可以被覆盖，需要在 app 中重新定义。 server [server:main]: 定义WSGI的一个server。 Request 被 paste.ini 处理的流程 WSGI Server(Web Server) 接受到 URL_Path 形式的 HTTP Request 时，这些 Request 首先会被 Paste 模块按照配置文件 paste.ini 进行处理。 处理的过程为： 1. composite(将Request将URL_Path的前缀(/v2.0 /v3 /)和一个Application(app/filter)进行映射。然后将Request转发到pipeline或app中，最终会到达指定的 Application) 2. ==> pipeline(包含了filter和app) 3. ==> filter(调用Middleware对Request进行过滤) 4. ==> app(具体的Application来实现Request的操作) 。 这个过程就是将 Application 和 Middleware 串起来的过程，不一定要按照顺序执行，只要能到达 Application 即可。 EXAMPLE: Keystone Request URL 为 http://homename:35357/v3/auth/tokens Step1. （hostname:35357）： 这一部分由 Web Server 来获取并处理的(EG.虚拟机功能)。 Step2. （/v3/auth/tokens）: 根据 paste.ini 中的配置来对剩下的 URL（/v3/auth/tokens）部分进行处理。首先请求的 Post=35357 决定了会经过 [composite:admin] section 。（一般是admin监听35357端口，main监听5000端口；也可以由 application = wsgi_server.initialize_application(name) 中 name 参数来决定） Step3. （/v3）: composite section 会根据 /v3 这个 URL 前缀来决定将 Request 路由到哪一个 pipeline secion，这里就把请求转发给 [pipeline:api_v3] 处理，转发之前，会把 /v3 这个部分的 URL 去掉。 Step4. （/auth/tokens） : [pipeline:api_v3] 收到请求，URL_Path是 （/auth/tokens），然后开始调用各个 filter(中间件) 来处理请求。最后会把请求交给 [app:service_v3] 进行处理。 Step5. （/auth/tokens）: [app:service_v3] 收到请求，URL_Path是 (/auth/tokens)，最后交由的 WSGI Application:keystone.service:v3_app_factory 去处理。 注意：剩下的URL后缀 /auth/tokens 则交由另一个模块 Routers 来处理，这个以后再介绍。 如何加载 paste.ini 配置文件？ 使用 Paste.Deploy 模块， Paste Deploy是一种机制，通过核心函数 loadapp() 函数和一个 paste.ini 配置文件或者 Paste egg 包来载入 WSGI Application。 #keystone/httpd/keystone.py import os from keystone.server import wsgi as wsgi_server name = os.path.basename(__file__) # NOTE(ldbragst): 'application' is required in this context by WSGI spec. application = wsgi_server.initialize_application(name) # Web Server 只能通过 application 可调用对象来与 Application 进行交互 #keystone/keystone/server/wsgi.py def initialize_application(name): def loadapp(): return keystone_service.loadapp( 'config:%s' % config.find_paste_config(), name) ... _unused, application = common.setup_backends( startup_application_fn=loadapp) ... return application #返回一个可调用的 application 对象 config.find_paste_config() 用来查找并加载需要用到的 Paste 配置文件，这个文件在源码中的路径是 keystone/etc/keystone-paste.ini 文件。 name 参数，是用来确定 WSGI Application 的入口 paste.ini 配置文件是用来确定使用哪一个 application keystone_service.loadapp() 函数内部调用了 paste.deploy.loadapp() 函数通过 name 参数来加载 WSGI Application，至于加载哪一个具体实现功能的 application 对象则由 Paste 模块的配置文件 keystone-paste.ini 来决定。 factory 工厂函数 用于 factory 工厂函数的协议有： *paste.app_factory *paste.composite_factory *paste.filter_factory *paste.server_factory 所有的这些 factory 都是含有__call__方法的函数、方法或类。 EXAMPLE 1: paste.app_factory def app_factory(global_config, **local_conf): return wsgi_app global_config : 是一个字典 local_conf : 则是关键字参数，返回一个 wsgi_app EXAMPLE 2: paste.composite_factory def composite_factory(loader, global_config, **local_conf): return wsgi_app loader : 是一个对象，拥有get_app(name_or_uri, global_conf=None) 根据 name 返回一个 application；get_filter() 和 get_server()也是如此。 EXAMPLE 3：paste.pipeline_factory def pipeline_factory(loader, global_config, pipeline): # space-separated list of filter and app names: pipeline = pipeline.split() filters = [loader.get_filter(n) for n in pipeline[:-1]] app = loader.get_app(pipeline[-1]) filters.reverse() # apply in reverse order! for filter in filters: app = filter(app) return app EXAMPLE 4：paste.filter_factory 这个 filter 会检查 CGI 中 REMOTE_USER 变量是否存在，并创建一个简单的认证 filter 过滤器。 def auth_filter_factory(global_conf, req_usernames): # space-separated list of usernames: req_usernames = req_usernames.split() def filter(app): return AuthFilter(app, req_usernames) return filter class AuthFilter(object): def __init__(self, app, req_usernames): self.app = app self.req_usernames = req_usernames def __call__(self, environ, start_response): if environ.get('REMOTE_USER') in self.req_usernames: return self.app(environ, start_response) start_response('403 Forbidden', [('Content-type', 'text/html')]) return ['You are forbidden to view this resource'] fliter 的工厂函数和 app 的工厂函数类似，除了它返回的是一个 filter。fliter 是一个把 application 作为唯一参数的 Callable 对象，返回一个被过滤了的 application。
