Airflow的SimpleHttpOperator不支持https问题解决-低调大师

Airflow的SimpleHttpOperator不支持https问题解决

2018-04-27 609

首先创建一个SimpleHttpOperator

http_test_operator = SimpleHttpOperator(
    http_coon_id='http_test_1',
    endpoint='https://free-api.heweather.com/s6/weather/forecast?unit=m&location=北京&lang=zh&key=*******************',
    method='GET',
    response_check=http_resp_check,
)

在测试的时候发现问题如下：

[2018-04-27 11:58:31,880] {http_hook.py:77} INFO - Sending 'GET' to url: https://www.google.com/s6/weather/forecast?unit=m&location=朝阳,北京&lang=zh&key=*********

很明显url和我们想的不一样，查询官方文档得到如下解释：

    Airflow还能够通过操作系统的环境变量来引用连接。环境变量需要加上前缀AIRFLOW_CONN_才能被视为连接。在Airflow管道中引用连接时，conn_id应该是没有前缀的变量的名称。例如，如果conn_id 名为postgres_master环境变量应该被命名 AIRFLOW_CONN_POSTGRES_MASTER（注意环境变量必须全部为大写）。Airflow假定从环境变量返回的值是URI格式（例如 postgres://user:password@localhost:5432/master或s3://accesskey:secretkey@S3）。

airflow会首先根据conn_id在环境变量中寻找对应的host，如果没有则使用默认的，数据库中connection表的http_default的host值：https://www.google.com/。

于是先设置环境变量吧

export AIRFLOW_CONN_WEATHER=https://free-api.heweather.com/

并修改代码中endpoint参数如下：

http_test_operator = SimpleHttpOperator(
    http_coon_id='http_test_1',
    endpoint='/s6/weather/forecast?unit=m&location=北京&lang=zh&key=*******************',
    method='GET',
    response_check=http_resp_check,
)

继续测试，发现调试信息如下：

[2018-04-27 12:21:13,131] {http_hook.py:77} INFO - Sending 'GET' to url: http://free-api.heweather.com/s6/weather/forecast?unit=m&location=北京&lang=zh&key=********************

我们明明设置的https://，怎么变成了http://

查看源码

class HttpHook(BaseHook):

    def get_conn(self, headers):
        """
        Returns http session for use with requests
        """
        conn = self.get_connection(self.http_conn_id)
        session = requests.Session()

        if "://" in conn.host:
            self.base_url = conn.host
        else:
            # schema defaults to HTTP
            schema = conn.schema if conn.schema else "http"
            self.base_url = schema + "://" + conn.host

实际请求的正是这个self.base_url，那么这个conn.schema是哪来的呢？

class BaseHook(LoggingMixin):
    @classmethod
    def get_connections(cls, conn_id):
        conn = cls._get_connection_from_env(conn_id)
        if conn:
            conns = [conn]
        else:
            conns = cls._get_connections_from_db(conn_id)
        return conns

其实到这里已经看到我们的环境变量是怎么起作用了，也看到了如果环境变量没有设置，是会从数据库中选择的。在数据库中connection表的schema字段正是我们要找的。

    @classmethod
    def _get_connection_from_env(cls, conn_id):
        environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper())
        conn = None
        if environment_uri:
            conn = Connection(conn_id=conn_id, uri=environment_uri)
        return conn

在这个地方，我们明显可以看到官方文档中的描述（环境变量的设置）是如何被执行的。

class Connection(Base, LoggingMixin):    
    def __init__(
            self, conn_id=None, conn_type=None,
            host=None, login=None, password=None,
            schema=None, port=None, extra=None,
            uri=None):
        self.conn_id = conn_id
        if uri:
            self.parse_from_uri(uri)
        else:
            self.conn_type = conn_type
            self.host = host
            self.login = login
            self.password = password
            self.schema = schema
            self.port = port
            self.extra = extra  
            
    def parse_from_uri(self, uri):
        temp_uri = urlparse(uri)
        hostname = temp_uri.hostname or ''
        if '%2f' in hostname:
            hostname = hostname.replace('%2f', '/').replace('%2F', '/')
        conn_type = temp_uri.scheme
        if conn_type == 'postgresql':
            conn_type = 'postgres'
        self.conn_type = conn_type
        self.host = hostname
        self.schema = temp_uri.path[1:]
        self.login = temp_uri.username
        self.password = temp_uri.password
        self.port = temp_uri.port

到这里基本上就明白了schema是哪里来的

self.schema = temp_uri.path[1:]

这是什么意思？难道我要写成"https://free-api.heweather.com/https"

各位看官，到这里基本上我们就明白问题所在了

你可以修改这里的源码为

self.schema = conn_type

进行测试。

也可以写成

环境变量也可以设置为"https://free-api.heweather.com/https"

如果你的airflow版本和我的不同，源码可能是下面这个样子：

    # headers is required to make it required
    def get_conn(self, headers):
        """
        Returns http session for use with requests
        """
        conn = self.get_connection(self.http_conn_id)
        session = requests.Session()
        self.base_url = conn.host
        if not self.base_url.startswith('http'):
            self.base_url = 'http://' + self.base_url

        if conn.port:
            self.base_url = self.base_url + ":" + str(conn.port) + "/"
        if conn.login:
            session.auth = (conn.login, conn.password)
        if headers:
            session.headers.update(headers)

        return session

关键在这里

        self.base_url = conn.host
        if not self.base_url.startswith('http'):
            self.base_url = 'http://' + self.base_url

这里的判断条件（not self.base_url.startswith('http')）必然为真，所以只会拼接“http://”（头大）

除了更改环境变量或者上述代码还要更改代码如下：

def get_conn(self, headers):
        """
        Returns http session for use with requests
        """
        conn = self.get_connection(self.http_conn_id)
        session = requests.Session()
        self.base_url = '{}://{}'.format(conn.sharem, conn.host)
        # if not self.base_url.startswith('http'):
        #     self.base_url = 'http://' + self.base_url

        if conn.port:
            self.base_url = self.base_url + ":" + str(conn.port) + "/"
        if conn.login:
            session.auth = (conn.login, conn.password)
        if headers:
            session.headers.update(headers)
        return session

注意：这样是没有添加证书验证的！

运行会警告：

/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings

运行结果：

{'HeWeather6': [{'basic': {'cid': 'CN101010300', 'location': '朝阳', 'parent_city': '北京', 'admin_area': '北京', 'cnty': '中国', 'lat': '39.92148972', 'lon': '116.48641205', 'tz': '+8.00'}, 'update': {'loc': '2018-04-27 17:47', 'utc': '2018-04-27 09:47'}, 'status': 'ok', 'daily_forecast': [{'cond_code_d': '100', 'cond_code_n': '100', 'cond_txt_d': '晴', 'cond_txt_n': '晴', 'date': '2018-04-27', 'hum': '40', 'mr': '16:06', 'ms': '04:04', 'pcpn': '0.0', 'pop': '0', 'pres': '1021', 'sr': '05:20', 'ss': '19:04', 'tmp_max': '27', 'tmp_min': '13', 'uv_index': '7', 'vis': '10', 'wind_deg': '0', 'wind_dir': '无持续风向', 'wind_sc': '1-2', 'wind_spd': '7'}, {'cond_code_d': '100', 'cond_code_n': '100', 'cond_txt_d': '晴', 'cond_txt_n': '晴', 'date': '2018-04-28', 'hum': '41', 'mr': '17:11', 'ms': '04:35', 'pcpn': '0.0', 'pop': '0', 'pres': '1013', 'sr': '05:18', 'ss': '19:05', 'tmp_max': '27', 'tmp_min': '16', 'uv_index': '8', 'vis': '20', 'wind_deg': '188', 'wind_dir': '南风', 'wind_sc': '1-2', 'wind_spd': '7'}, {'cond_code_d': '101', 'cond_code_n': '305', 'cond_txt_d': '多云', 'cond_txt_n': '小雨', 'date': '2018-04-29', 'hum': '43', 'mr': '18:15', 'ms': '05:07', 'pcpn': '0.0', 'pop': '0', 'pres': '1005', 'sr': '05:17', 'ss': '19:06', 'tmp_max': '30', 'tmp_min': '18', 'uv_index': '8', 'vis': '20', 'wind_deg': '181', 'wind_dir': '南风', 'wind_sc': '1-2', 'wind_spd': '10'}]}]}

微信关注我们

原文链接：https://yq.aliyun.com/articles/585773

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

学习iOS开发如何进阶？

前言如果你有志于将iOS开发作为职业，或者已经是一位iOS开发者，那么你应该听说过唐巧的名字。唐巧，2012年从网易有道离开参与创业，目前是猿题库iOS高级研发工程师。难得的是，他本身是一线的iOS开发者，同时又对iOS开发在国内的布道做了不少的工作，身影活跃于博客、微博、微信公众账号等地。从2011年以来，唐巧开始在博客分享自己写的iOS开发技术文章，CocoaChina也曾多次转载过他的博客文章，后来他成为InfoQ兼职编辑，除了发表技术文章之外，还负责整理《iOS移动开发周报》，至今已有35期，他的微博和微信公众账号粉丝都超过1万，可以说是iOS开发领域的“大V”。并且他的新书《iOS开发进阶》已经和大家见面，也引得他的粉丝的一份热潮 iOS开发的更新换代移动开发真正火起来其实就是最近这三年，iOS开发技术因为发展也就才这么几年，所以值得做的事情还有很多，这就造成了每年苹果的WWDC都会推出一堆新的特性和API。整体上来说，这对业界是好事情。在技术更新过程中产生一些坑，是在所难免的事情。所以希望大家都能用一个比较平和的心态去搞定这些坑。我之前写过一篇《iOS开发如何提高》的...

2018-04-28

668

给初学者之一：浅谈java及应用学java 不知不觉也已经三年了从不知java为何物到现在一个小小的j2ee项目经理虽说不上此道高手，大概也算有点斤两了吧每次上网，泡bbs逛论坛，没少去java相关的版面总体感觉初学者多，高手少，精通的更少由于我国高等教育制度教材陈旧，加上java自身发展不过十年左右的时间还有一个很重要的原因就是java这门语言更适合商业应用所以高校里大部分博士老师们对此语言的了解甚至不比本科生多在这种环境下，很多人对java感到茫然，不知所措，不懂java能做什么即便知道了java很有用，也不清楚该从哪里入手所以就有了java入门难这一说法ok，那我们就从java到底能做什么聊起先说什么是java java是一种面向对象语言，真正的面向对象，任何函数和变量都以类(class)封装起来至于什么是对象什么是类，我就不废话了关于这两个概念的解释任何一本面向对象语言的教材里面都有知道了什么是java，那自然就会对java能干什么感兴趣在说java能做什么之前，先说java作为一个真正面向对象语言的优点首先第一个，既然是真正的面向对象，那就要做到彻底的封装这...

2018-04-28

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。