记一次MongoDB 数据乱码处理问题
公司前端组正在进行前后端分离，需要有后台接口提供，公司也没有搭建可用的Mock服务器，正好自己有现成的Flask做的一个小Demo, 现在Docker 又用的还可以，所以，二话不说后台接口我来提供。借助自己的阿里云搭起了我的微服务架构之路。 Flask 走起 Flask 提供的API相当简单，完全服务微服务架构的设计理念，我们规划做的是一个图书列表的管理，涉及到图书列表，详情，新增，删除； API 设计如下 @app.route('/books') def books(): return book_model.get_books() @app.route('/books/<string:book_id>') def book(book_id): ...... @app.route('/books/add', methods=['GET']) def add(): ...... @app.route('/books/<string:book_id>/delete') ...... 错误 在处理从数据库里面拿到的数据传到前端的时候就变成unicode编码了，中文全部被转换了。 相应的数据处理代码如下 ## book_model.py from bson import json_util as jsonb #...... def get_books(): db = MongoDB().get_db('liberiry') result = {} db_result = db.books.find() if db_result: result['status']= True result['data'] = jsonb.dumps(list(db_result)) # 直接将bson解析为字符串，由controller在转换为json del db_result return result ## controller.py import json # ...... @app.route('/books') def books(): return Response(json.dumps(book_model.get_books())) 总体思路是，将从MongoDB获取到的 bson 格式的数据转换为字符串，然后由json 的 dumps 方法将其转换回json；可转换的结果是错的。 登录装有 MonogoDB的镜像，输入查询语句，返回的结果是正常的。 ~ docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES c17296ed0c05 flask:latest "gunicorn -b :8080 a…" 4 days ago Up 4 days 8080/tcp liberiry_flask.1.vu70ur9cuaimefxl01979haqw 451d71a2dc8a mongo:3.6 "docker-entrypoint.s…" 4 days ago Up 4 days 27017/tcp liberiry_mongo.1.prlfqd3nuuo3y985dznw8nmcs ~ docker exec -it 451 /bin/bash root@451d71a2dc8a:/# mongo MongoDB shell version v3.6.6 connecting to: mongodb://127.0.0.1:27017 MongoDB server version: 3.6.6 Welcome to the MongoDB shell. For interactive help, type "help". For more comprehensive documentation, see http://docs.mongodb.org/ Questions? Try the support group http://groups.google.com/group/mongodb-user Server has startup warnings: 2018-07-27T03:21:16.488+0000 I STORAGE [initandlisten] 2018-07-27T03:21:16.488+0000 I STORAGE [initandlisten] ** WARNING: Using the XFS filesystem is strongly recommended with the WiredTiger storage engine 2018-07-27T03:21:16.488+0000 I STORAGE [initandlisten] ** See http://dochub.mongodb.org/core/prodnotes-filesystem 2018-07-27T03:21:20.877+0000 I CONTROL [initandlisten] 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] ** WARNING: Access control is not enabled for the database. 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] ** Read and write access to data and configuration is unrestricted. 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'. 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] ** We suggest setting it to 'never' 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'. 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] ** We suggest setting it to 'never' 2018-07-27T03:21:20.878+0000 I CONTROL [initandlisten] > use liberiry switched to db liberiry > db.books.find().pretty() { "_id" : ObjectId("5b59934719fe22fc8ecfad19"), "name" : "创业维艰", "content" : "test中国", "labels" : "book,bussiness", "author" : "本·霍洛维茨" } { "_id" : ObjectId("5b5993b843314814f50d263a"), "name" : "从0到1", "content" : "这些回答都不好。diyi和第二个陈述可能是对的，但有许多人已经表示赞同了。而第三个只简单套用了常见辩论中一方的观点。好的回答应该按照下面这种模式：“大多数人相信X，但事实却是X 的对立面。”我之后会在本章给出自己的回答。 那么，这个反主流的问题和未来有什么关系呢？从小处看，未来只是还没有到来的时刻的集合。但是真正使未来如此独特和重要的并非因为未来没有发生，而是未来的世界会与此刻不同。这样看来，如果我们的社会在之后100 年都没有发生变化，那未来就在100 多年之后。如果在之后10 年世界改天换地，那未来就触手可及。没有人能精准地预测未来，但我们知道两件事：世界必然会变得不同，但变化必须基于当今的世界。针对这个反主流问题的多数回答都是对现在的不同看法，而好的回答应该尽可能地使我们看到未来。", "labels" : "book,bussiness", "author" : "彼得·蒂尔，布莱克·马斯特斯（Blake Masters）" } { "_id" : ObjectId("5b5993e443314814f50d2642"), "name" : "联盟", "content" : "是时候重建雇主与员工的关系了。商业世界需要有利于相互信任、相互投资、共同受益的新雇佣关系框架。理想的雇佣关系框架应鼓励员工发展个人人脉、勇于开拓实干，而不是成为唯利是图的跳槽专业户。", "labels" : "book,bussiness", "author" : "里德·霍夫曼" } { "_id" : ObjectId("5b59947343314814f50d2650"), "name" : "人类简史", "content" : "在历史的路上，有三大重要革命：大约7万年前，“认知革命”（Cognitive Revolution）让历史正式启动。大约12000年前，“农业革命”（Agricultural Revolution）让历史加速发展。而到了大约不过是500年前，“科学革命”（Scientific Revolution）可以说是让历史画下句点而另创新局。这本书的内容，讲述的就是这三大革命如何改变了人类和其他生物。", "labels" : "book,bussiness", "author" : "尤瓦尔·赫拉利" } { "_id" : ObjectId("5b59954a43314814f50d2670"), "name" : "支付战争", "content" : "我的令人不安的入职经验，以及第一天上班的无序状态，说明康菲尼迪完全不是一家组织化的公司。作为一家年轻的公司，没有足够的资源投入到人力资源和IT部门，无法给新员工提供规划好的入职教育，这是情有可原的。尽管如此，这种明显的混乱状态还是有点让人不安。虽然我不愿有这种想法，但在第一天的中午，我发现自己还是禁不住地想，我对彼得的盲目信任，以及自己急功近利想快点挣钱的想法，是不是导致我犯下了一个可怕的错误。", "labels" : "book,bussiness", "author" : "埃里克·杰克逊" } { "_id" : ObjectId("5b59ac30cdc864001148ba19"), "name" : "asdfs", "content" : "asdfasdf", "lables" : "dfasdf,sadf", "author" : "test" } { "_id" : ObjectId("5b59ac38cdc864001148ba1b"), "name" : "asdsfs", "content" : "asdfasdf", "lables" : "dfasdf,sadf", "author" : "test" } 在MongoDB中查询没有问题，所以问题应该出在了bson 转 json这块了；仔细一分析应该是出在了 Object 这块了，应为从数据库里出来的结果是下面这种结构 "_id" : ObjectId("5b59ac38cdc864001148ba1b"), json 是无法转换 Object 的，百度谷歌一遍，大家的方法都是将查询到的就结果进行遍历处理， 如下： results = collection.find({'age': 20}) print(results) for result in results: print(result) # 处理 Object 显然对于拿到的结果再去做一次遍历岂不是又要耗时耗力，数据量大了性能肯定下降的厉害，所以这种处理方式不可取。 解决思路 将拿到的的数据转换为 bson 对象，然后通过json.loads()方法将其转换为json 能处理的字符串，然后在转换为json对象；由此，可以写一个通用处理方法， ## utils.py from bson import json_util as jsonb import json def bson_to_json(documentList): return json.dumps(json.loads(jsonb.dumps(documentList))) 验证 ## book_modal.py from .mongo_connection import MongoDB from .utils import bson_to_json def get_books(): db = MongoDB().get_db('liberiry') result = {} db_result = db.books.find() #'_id': False if db_result: result['status']= True result['data'] = db_result del db_result return bson_to_json(result) 前端调用 总结 数据之间的转换总是有联系的；比如这次的从 bson 到 json 的转换，首先要将查询到的结果list转换为 bson, 然后再通过bson中json_util的dumps转换为含有Object的解析数据的结果，再将其结果转换为字符串（json.loads(Obj)）,通过json的dumps方法又可以将字符串解析为标准的 json 对象。 存在的即时合理的。 个人公众号
)
)
