Sohu邮箱的python经验
- 2. 今天的话题 • 优雅的发布Python项目 • 优秀的WEB框架-Tornado • 加速你的Python代码 • 简化你的C代码
- 4. 抓狂的现象 • 第3方依赖多，下载速度慢 • 内网服务器不能连外网 • 老版本不再提供下载 • GFW
- 5. pypiserver — 是用来搭建本地python package的工具 — 优点 — 轻量简单，易安装 https://pypi.python.org/packages/source/p/pypiserver/pypiserver-1.1.0.zip — 方便使用 gunicorn -w4 -b0.0.0.0:8080 ‘pypiserver:app(“/var/www/pypidir”)’ –D — package方便管理 pip install –no-install Django –d /var/www/pypydir
- 6. pypiserver
- 7. fabric — 一个用python实现的，用于项目的推送的工具，类似于 ruby中的capistrano — 优点 — 加强版SSH — 支持本地和远程操作 — 参数灵活 — 完整的日志输出
- 9. fabric-example — 执行 — 更多漂亮的推送脚本 — fab Project.production git.tar:v1.1 common.deploy — fab Project.production common.rollback — fab Project.production common.health:ProjectName — ……
- 11. 代码简单 from web import application class Index: def GET(self):᠋᠌᠍ return 'Hello, GET ! n’ def POST(self):᠋᠌᠍ return 'Hello, POST ! n’ urls = ( '/', 'Index’ ) if __name__ == '__main__’:᠋᠌᠍ app = application(urls, globals())᠋᠌᠍ app.run() import tornado.ioloop᠋᠌᠍ from tornado.web import RequestHandler ᠋᠌᠍ from tornado.web import Application class Index(RequestHandler): def get(self):᠋᠌᠍ self.write('Hello, GET ! n’) def post(self):᠋᠌᠍ self.write('Hello, POST! n’) urls = ( ('/', Index), ) if __name__ == '__main__’:᠋᠌᠍ app = Application(urls).listen(8000)᠋᠌᠍ tornado.ioloop.IOLoop.instance().start()
- 12. 性能优秀 — 硬件配置： 2*CPU 8G Mem 100GDisk — 2k并发，5w访问 部署 QPS Success 2*Nginx + 4*Tornado 4402 100% 2*Nginx + flup + 4*Django 4207 88% 2*Nginx + flup + 4*webpy 无法响应
- 13. 成熟 — v3.0 — 案例 — http://friendfeed.com — http://www.zhihu.com
- 14. RequestHandler生命周期 initalize(self, **kwargs) prepare(self) write_error(self, status_code, **kwargs) finish(self, chunk=None) get/post/put …
- 15. 异步请求 import tornado.web as web class AsyncHandler(RequestHandler): @web.asynchronous᠋᠌᠍ def get(self):᠋᠌᠍ ᠋᠌᠍ url = 'http://example.com'᠋᠌᠍ ᠋᠌᠍ hc = AsyncHTTPClient()᠋᠌᠍ ᠋᠌᠍ hc.fetch(url, callback=self.on_fetch)᠋᠌᠍ ᠋᠌᠍ ᠋᠌᠍ def on_fetch(self, response): do_something_with (response) self.render('template.html') import tornado.web as web ᠋᠌᠍ import tornado.gen as gen class GenAsyncHandler(RequestHandler): @web.asynchronous᠋᠌᠍ @gen.engine᠋᠌᠍ def get(self): url = 'http://example.com' hc = AsyncHTTPClient() response = yield hc.fetch(url) do_something_with (response) self.render('template.html')
- 16. Connection — 基于MySQLdb封装 — 使用技巧 — 全局 db = Connection(host = 'localhost:3306', database = 'centerdata', user = 'root', password = '') — 防止 mysql server gone away ping_db = lambda: db.query('show variables’) tornado.ioloop.PeriodicCallback(ping_db, 600 * 1000).start()
- 18. 创建项目结构 — django-admin.py startproject Demo — cd Demo — python manage.py startapp app — touch application.py — mv app/views.py app/ controllers.py
- 20. 修改urls.py
- 23. 自动事务处理 class BaseController(object): def prepare(self):᠋᠌᠍ pass def write_error(self, status_code, **kwargs):᠋᠌᠍ pass ᠋᠌᠍ def finish (self, chunk=None):᠋᠌᠍ pass
- 24. 一些思考 — 数据库是否要异步？ — 有耗时长的同步操作？ — 存在大文件上传？
- 25. 加速你的Python
- 26. 例子-Python
- 27. 例子-纯C
- 29. swig — example.i — 编译 — swig –python example.i # 生成example.py 和 example_wrap.c — gcc example.c example_wrap.c –fPIC -I/usr/include/python2.7/ -shared -o _example.so # 生成so文件，注意一定要下划线开始 — 执行
- 30. ctypes — pointer.c — 编译成so — python调so
- 31. 简化你的C代码
- 32. 应用场景 — 修改一个第3方的C库 — 业务复杂的C代码 — 业务功能、程序稳定 为主要要求 — 性能可以有所损耗
- 34. 例子-demo.py def deliver(ip, sender, receiver, data): ''' ip，sender 是否有效，是否在黑名单； recevier 是否有效，是否设置转发， 是否自动回复； data 是否有违禁内容 … 其它复杂的业务逻辑 ''' # 非常复杂的业务逻辑实现代码
- 35. 例子-C代码
- 36. 其它用法 — NULL写成Py_None — Py_DECREF 和 Py_XDECREF PyObject* p = Py_None； if （p） Py_DECREF(p) ó Py_XDECREF(p) — 设置tuple类型的参数 PyObject* py_tuple = PyTuple_New(size) PyTuple_SetItem(py_tuple, idx, v) — 设置dict类型的参数 PyObject* py_dict = PyDict_New() PyDict_SetItem(py_dict, k, v)
- 37. 回顾 • 优雅的发布Python项目 • pypiserver • fabric • 优秀的WEB框架-Tornado • 基本用法 • 与Django相结合 • 加速你的Python代码 • swig • ctypes • 简化你的C代码
- 38. 谢谢