基于OpenResty的百万级长连接推送
- 3. 特点与挑战 • 并发量大（单连接消耗内存） • 一般不活跃（维持心跳，4.5min） • 偶尔很活跃（需要流控）
- 4. 为什么选择 OpenResty • 其他的我也不会 • 开发效率快，有多快呢 • 运行效率高，有多高呢
- 6. • 接入层尽量简单，无状态化 • 长连接维持： 全双工 cosocket + 轻线程 • main uthread： wait on notification, send message • 2nd uthread: ping-pong, keepalive session in Redis
- 8. • Sessionid（serverid + worker_id + uid + incr_num） • （Lua number size， 52bit） • 共享内存队列（进程间通讯） • worker 级别的流控 • ngx.semaphore （进程内 “轻线程”间通讯）
- 11. • 200w 连接消耗约 40G 内存（约20k 每连接） • 维持心跳消耗 7% CPU • send 100byte message 20w/2s • CPU: 50% • Mem: 基本不变 • 得益于各级 buffer，实际上需要动态申请的内存很少
- 12. 磨刀不误砍柴工 • nginx-systemstap-tools • https://github.com/openresty/nginx-systemtap-toolkit • stap++ • https://github.com/openresty/stapxx • nginx-gdb-utils • https://github.com/openresty/nginx-gdb-utils • 前提是：看懂宿主程序代码 • https://github.com/agentzh/code2ebook
- 13. 内存都去哪了呢 • kernel • TCP/IP 协议栈 • nginx • request pool • LuaJIT • uthread, cosocket
- 14. probe @pfunc(ngx_palloc) { if (pid() == target()) { printf("nnrequest pool size: %dn", ngx_pool_size($pool)) printf("alloc size: %dnn", $size) print_ubacktrace() println(luajit_print_backtrace(1)) } } https://github.com/doujiang24/stapxx/blob/palloc/samples/ngx-palloc.sxx
- 17. Nginx 内存优化项 • request_pool_size 1k • lua_socket_buffer_size 1k • cosocket patch • https://github.com/openresty/lua-nginx-module/pull/590 • 8k / request
- 19. LuaJIT 内存优化项 • 避免动态创建对象: • closure -> shared table + static func • 尽量共享 table • lgcstat 查看所有没释放的对象（死的也有） • lgcpath 只查看活的路径 • GC setpause 90 • gcore -o file pid • 3k / request
- 21. CPU: 90%(去掉 resty.redis 里的 concat)
- 22. CPU: 40% (去掉多余的 ngx.sleep, sem:wait from 2 to 240)
- 24. ./samples/lj-lua-stacks.sxx -x $pid --skip-badvars --arg time=5 --arg probe='process("$^liblua_path").function("lj_str_new")‘ -D STP_NO_OVERLOAD
- 25. CPU: 7% (gc faster & use table instead .. in _gen_req)
- 26. CPU 优化项 • ngx.semaphore + shdict list • lua-resty-redis
- 27. 未完待续… • 压榨内存？ • kernel 态 tcp 栈 内存消耗? • lua-resty-redis-cluster • ngx-stream-lua
- 28. 个人小体会 • 测试驱动，嗯，test-nginx 很赞 • 动态追踪真的很赞，激励我去看代码，insight • curl http://localhost/internal --data-urlencode script@script.lua • github 开发方式