首页 > *nix技术, nginx, 源码分析 > nginx对Linux native AIO机制的应用(配置篇)

nginx对Linux native AIO机制的应用(配置篇)

2013年1月12日 发表评论 阅读评论 5,938 次浏览

从0.8.11版本开始,nginx开始支持Linux native aio,如何在nginx里配置使用这套机制是本文介绍的重点。在下面的示例配置中,几个重要相关选项的具体含义如下:
aio:http://wiki.nginx.org/HttpCoreModule#aio

Syntax: aio on | off | sendfile
Default: off

在linux下aio可以设置为on或off(在freebsd还可以设置为sendfile),但需要2.6.22及以后版本的内核,原因在前面文章已经提到过,nginx使用的eventfd有这个要求

directio:http://wiki.nginx.org/HttpCoreModule#directio

Syntax: directio size | off
Default: off

directio选项可以设置为off或一个大小值,表示当文件大小大于等于这个值时启用directio。

sendfile:http://wiki.nginx.org/NginxHttpCoreModule#sendfile

Syntax: sendfile on | off
Default: off

是否启用sendfile()。

[root@www nginx-1.2.0]# uname -a
Linux www.t1.com 2.6.38.8 #2 SMP Wed Nov 2 07:52:53 CST 2011 x86_64 x86_64 x86_64 GNU/Linux
[root@www nginx-1.2.0]# cat /etc/issue
CentOS Linux release 6.0 (Final)
Kernel \r on an \m

[root@www nginx-1.2.0]# ./configure --with-file-aio
[root@www nginx-1.2.0]# make
[root@www nginx-1.2.0]# make install
[root@www nginx-1.2.0]# cat /usr/local/nginx/conf/nginx.conf
...
http {
...
    server {
...
        location / {
            aio on;
            directio 512k;
            sendfile on;
            output_buffers 1 128k;
...

要使aio生效需把directio设置为打开状况,并且如果aio生效,那么将自动不使用sendfile(),这在linux下这是显然的,要么利用aio读到缓存区,要么利用sendfile()直接发送出去,两者不可兼用,而对于freebsd系统下aio和sendfile并用的情况,我并不了解,所以也就不妄加评论;

可以看到directio是针对每个请求的文件大小而决定是否开启directio的,因此对于上面的整个示例配置,也就会针对每个请求的不同而不同:
如果某处请求的文件大于等于512k,那么将启用directio,从而aio生效,进而sendfile不生效;
如果某处请求的文件小于512k,那么将禁用directio,从而aio也就不生效,转而使用sendfile(),即sendfile生效;

这种设计貌似刚好把linux下aio和sendfile两种机制的优点很好的结合起来使用。对于大文件采用aio,节省cpu,而对于小文件,采用sendfile,减少拷贝;并且对于大文件aio采用directio,避免挤占文件系统缓存,让文件系统缓存更多的小文件。
从理论上来看,这种配置比较适合系统内存有限、小文件请求比较多、间隔有几个大文件请求的Web环境;如果内存足够大,那么应该充分利用文件系统缓存,而directio使得aio无法使用缓存是衡量最终是否需要采用aio的一个需要仔细考虑的因素;网上有人总结说nginx+aio很好,也有人说其很差,其实根据特定的系统环境和应用场景来做配置调节,才能达到性能的最优,nginx提供的AIO只是一套工具,没有固定的好与差之分,就看你能否恰当的用好它,但据nginx官网论坛来看,在linux系统的大部分场景下,目前因使用aio功能附加的限制而带来的实际效果估计并不太理想:http://forum.nginx.org/read.php?2,113524,113587#msg-113587

nginx supports file AIO only in 0.8.11+, but the file AIO is functional
on FreeBSD only. On Linux AIO is supported by nginx only on kerenl
2.6.22+ (although, CentOS 5.5 has backported the required AIO features).
Anyway, on Linux AIO works only if file offset and size are aligned
to a disk block size (usually 512 bytes) and this data can not be cached
in OS VM cache (Linux AIO requires DIRECTIO that bypass OS VM cache).
I believe a cause of so strange AIO implementaion is that AIO in Linux
was developed mainly for databases by Oracle and IBM.

先不管nginx+AIO的效果到底如何,下面来看其源码实现。不管是aio,还是sendfile,都处于数据发送阶段,而这部分逻辑落在函数ngx_output_chain()内。作为是aio还是sendfile的分支点,就看函数ngx_output_chain_as_is():

#define ngx_buf_special(b)                                                   \
    ((b->flush || b->last_buf || b->sync)                                    \
     && !ngx_buf_in_memory(b) && !b->in_file)

#define ngx_buf_in_memory(b)        (b->temporary || b->memory || b->mmap)

static ngx_inline ngx_int_t
ngx_output_chain_as_is(ngx_output_chain_ctx_t *ctx, ngx_buf_t *buf)
{
    ngx_uint_t  sendfile;

    if (ngx_buf_special(buf)) {
        return 1;
    }

    if (buf->in_file && buf->file->directio) {
        return 0;
    }

    sendfile = ctx->sendfile;

#if (NGX_SENDFILE_LIMIT)

    if (buf->in_file && buf->file_pos >= NGX_SENDFILE_LIMIT) {
        sendfile = 0;
    }

#endif

    if (!sendfile) {

        if (!ngx_buf_in_memory(buf)) {
            return 0;
        }

        buf->in_file = 0;
    }

    if (ctx->need_in_memory && !ngx_buf_in_memory(buf)) {
        return 0;
    }

    if (ctx->need_in_temp && (buf->memory || buf->mmap)) {
        return 0;
    }

    return 1;
}

该函数返回1,则表示数据可以直接发送出去;如果返回0,则表示数据还在磁盘文件内,需要利用directio读取或明确要求不能使用sendfile直接发送、明确要求读到内存缓存等情况;注意:buf->file->directio由of.is_directio与配置项directio最终关联起来,具体过程不多详说。

函数ngx_output_chain_as_is()返回1的情况就不管了,原本该干嘛干嘛,走ngx_http_write_filter() -> ngx_linux_sendfile_chain()流程到最后,内存数据通过writev()发送,磁盘文件内数据通过sendfile()发送。
而返回0的情况表示要读取数据到缓存区,在我们这里的讨论上下文,也就是利用aio进行读取,也就是流程:
ngx_output_chain_copy_buf() -> ngx_file_aio_read()
从而,真正走入到nginx的AIO实现里来。当然,nginx已经把AIO的环境都设置好了,到这里只是使用AIO进行异步读取文件。

参考:
http://lightech.tuita.com/blogpost/23088122

转载请保留地址:http://www.lenky.info/archives/2013/01/2184http://lenky.info/?p=2184


备注:如无特殊说明,文章内容均出自Lenky个人的真实理解而并非存心妄自揣测来故意愚人耳目。由于个人水平有限,虽力求内容正确无误,但仍然难免出错,请勿见怪,如果可以则请留言告之,并欢迎来讨论。另外值得说明的是,Lenky的部分文章以及部分内容参考借鉴了网络上各位网友的热心分享,特别是一些带有完全参考的文章,其后附带的链接内容也许更直接、更丰富,而我只是做了一下归纳&转述,在此也一并表示感谢。关于本站的所有技术文章,欢迎转载,但请遵从CC创作共享协议,而一些私人性质较强的心情随笔,建议不要转载。

法律:根据最新颁布的《信息网络传播权保护条例》,如果您认为本文章的任何内容侵犯了您的权利,请以Email或书面等方式告知,本站将及时删除相关内容或链接。

  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.