一般一個大規模Linuxserver請求數可能是幾十萬上百萬的情況。須要足夠的連接數來使用,所以務必進行對應的設置。

默認的Linuxserver文件描寫敍述符等打開最大是1024。用ulimit -a 查看:

[viewuser@~]$ ulimit -a
core file size (blocks, -c) 0 #coredump 文件大小
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 255622
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024 #打開文件數量。root賬户無限制
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 4096 #root用户本項是無限
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited



設置要求:如果我們要設置為200W最大打開文件描寫敍述符


1. 改動 nr_open 限制 (用途:可以配置nofile最大數)


cat /proc/sys/fs/nr_open

Linux 內核 2.6.25 曾經,在內核裏面宏定義是1024*1024,最大僅僅能是100w(1048576)。所以不要設置更大的值,假設Linux內核大於 2.6.25 則能夠設置更大值。

設置方法:


sudo bash -c 'echo 2000000 > /proc/sys/fs/nr_open'

注意:僅僅有改動了 nr_open 限制。才幹改動以下的限制。


2. 打開文件描寫敍述符限制:改動 limits.conf 的nofile軟硬打開文件限制(用途:tcp連接數)

文件位置:/etc/security/limits.conf

查找 nofile 。假設沒有,則在自己最後加上:

2.6.25 及曾經內核設置為100W:

* soft nofile 1000000

* hard nofile 1000000

2.6.25 以後版本號內核能夠設置為200W:

* soft nofile 2000000

* hard nofile 2000000


設置後保存本文件。

(本操作必須重新啓動才生效,假設無法重新啓動,會無法生效,不確定是否使用 /sbin/sysctl -p 能否夠直接生效)


3. 打開進程限制:改動 limits.conf 中的nproc限制 (用途:進程數)


説明:假設你對進程總數量沒有特殊要求,能夠不改動本選項,假設你是一個高性能多進程的server。須要非常多進程來處理,那麼能夠改動本選項。

ulimit -a 裏能夠看到 max user processes 假設值是比較大的,能夠不用設置 nproc 項。

配置文件:/etc/security/limits.d/20-nproc.conf (RHEL 7/CentOS 7)

* soft nproc 4096

root soft nproc unlimited


就是root無限(實際root用户限制是:255622)。其它非root用户是4096個進程。


説明:

硬限制表明soft限制中所能設定的最大值。

soft限制指的是當前系統生效的設置值。 hard限制值可以被普通用户減少。可是不能添加。 soft限制不能設置的比hard限制更高。 僅僅有root用户才可以添加hard限制值。

當添加文件限制描寫敍述。能夠簡單的把當前值雙倍。 樣例例如以下, 假設你要提高默認值1024, 最好提高到2048, 假設還要繼續添加。 就須要設置成4096。


4. 改動 file-max 選項 (用途:可分配文件句柄數目)

file-max 價值:指定了能夠分配的文件句柄的最大數目(能夠使用 /proc/sys/fs/file-nr 文件查看到當前已經使用的文件句柄和總句柄數。)

(1) 暫時生效:


文件路徑:/proc/sys/fs/file-max cat /proc/sys/fs/file-max 3252210

假設要改動。直接覆蓋文件:(比方改成200w)

sudo echo 2000000 > /proc/sys/fs/file-max

注意:假設你想每次啓動都自己主動運行上面的命令,能夠在系統啓動配置文件/etc/rc.local裏面加入一句命令:(跟永久生效差點兒相同)

echo 2000000 > /proc/sys/fs/file-max

或者直接Shell全搞定:

echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local

(2) 永久生效:

改動配置文件,文件位置:/etc/sysctl.conf
打開配置文件到最末尾。假設配置文件中沒有則能夠直接加入:


sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf

配置文件生效:sudo /sbin/sysctl -p


5. 改動TCP等相關選項

配置文件:/etc/sysctl.conf

改動選項:

net.core.somaxconn = 2048

net.core.rmem_default = 262144

net.core.wmem_default = 262144

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

net.ipv4.tcp_rmem = 4096 4096 16777216

net.ipv4.tcp_wmem = 4096 4096 16777216

net.ipv4.tcp_mem = 786432 2097152 3145728

net.ipv4.tcp_max_syn_backlog = 16384

net.core.netdev_max_backlog = 20000

net.ipv4.tcp_fin_timeout = 15

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_orphans = 131072

配置文件生效:sudo /sbin/sysctl -p

以上選項也能夠直接給 /proc/sys/net/ 文件夾以下依照各個選項能夠直接使用 echo VALUE > /proc/sys/net/core/wmem_max 來直接改動內存暫時值生效。


主要看這幾項:

  • net.ipv4.tcp_rmem 用來配置讀緩衝的大小,三個值。第一個是這個讀緩衝的最小值,第三個是最大值。中間的是默認值。
    我們能夠在程序中改動讀緩衝的大小。可是不能超過最小與最大。
    為了使每一個socket所使用的內存數最小,我這裏設置默認值為4096。
  • net.ipv4.tcp_wmem 用來配置寫緩衝的大小。讀緩衝與寫緩衝在大小,直接影響到socket在內核中內存的佔用。
  • net.ipv4.tcp_mem 則是配置tcp的內存大小,其單位是頁,而不是字節。當超過第二個值時,TCP進入 pressure模式,此時TCP嘗試穩定其內存的使用。當小於第一個值時。就退出pressure模式。
    當內存佔用超過第三個值時。TCP就拒絕分配 socket了,查看dmesg,會打出非常多的日誌“TCP: too many of orphaned sockets”。
  • net.ipv4.tcp_max_orphans 這個值也要設置一下,這個值表示系統所能處理不屬於不論什麼進程的 socket數量,當我們須要高速建立大量連接時,就須要關注下這個值了。當不屬於不論什麼進程的socket的數量大於這個值時,dmesg就會看 到”too many of orphaned sockets”。


注意:假設是client程序,為了更好的訪問server程序不是卡在port分配上。建議把client的port(port_range)範圍開大一些:
改動文件:/etc/sysctl.conf

net.ipv4.ip_local_port_range = 1024 65535


配置生效:sudo /sbin/sysctl -p

假設是client。其它文件打開限制等能夠參考上面的來設置。



6. 其它一些配置


(1) 打開core文件

假設為了觀察程序是否正常。出現故障後生成對應映像文件,能夠開啓coredump相關的操作,能夠打開:(非必須,假設線上環境。操心影響穩定性,能夠考慮不開啓)

配置文件:/etc/security/limits.conf

改動配置文件:

添加:

* soft core 102400

* hard core 2048003


建議設置為無限大小:

* soft core unlimited

* hard core unlimited

然後重新啓動機器生效(不確定能否夠使用 /sbin/sysctl -p 生效),使用: ulimit -a 或 ulimit -c 查看結果,興許假設程序出現棧溢出等都會生成coredump文件。方便用gdb等追查問題原因。




參考URL:

http://www.tuicool.com/articles/r6NvQr 

http://blog.yufeng.info/archives/2568#more-2568 

http://heylinux.com/archives/2938.html

http://club.1688.com/article/8964198.html



一般一個大規模Linuxserver請求數可能是幾十萬上百萬的情況。須要足夠的連接數來使用,所以務必進行對應的設置。

默認的Linuxserver文件描寫敍述符等打開最大是1024。用ulimit -a 查看:

[viewuser@~]$ ulimit -a
core file size (blocks, -c) 0 #coredump 文件大小
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 255622
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024 #打開文件數量。root賬户無限制
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 4096 #root用户本項是無限
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited



設置要求:如果我們要設置為200W最大打開文件描寫敍述符


1. 改動 nr_open 限制 (用途:可以配置nofile最大數)


cat /proc/sys/fs/nr_open

Linux 內核 2.6.25 曾經,在內核裏面宏定義是1024*1024,最大僅僅能是100w(1048576)。所以不要設置更大的值,假設Linux內核大於 2.6.25 則能夠設置更大值。

設置方法:


sudo bash -c 'echo 2000000 > /proc/sys/fs/nr_open'

注意:僅僅有改動了 nr_open 限制。才幹改動以下的限制。


2. 打開文件描寫敍述符限制:改動 limits.conf 的nofile軟硬打開文件限制(用途:tcp連接數)

文件位置:/etc/security/limits.conf

查找 nofile 。假設沒有,則在自己最後加上:

2.6.25 及曾經內核設置為100W:

* soft nofile 1000000

* hard nofile 1000000

2.6.25 以後版本號內核能夠設置為200W:

* soft nofile 2000000

* hard nofile 2000000


設置後保存本文件。

(本操作必須重新啓動才生效,假設無法重新啓動,會無法生效,不確定是否使用 /sbin/sysctl -p 能否夠直接生效)


3. 打開進程限制:改動 limits.conf 中的nproc限制 (用途:進程數)


説明:假設你對進程總數量沒有特殊要求,能夠不改動本選項,假設你是一個高性能多進程的server。須要非常多進程來處理,那麼能夠改動本選項。

ulimit -a 裏能夠看到 max user processes 假設值是比較大的,能夠不用設置 nproc 項。

配置文件:/etc/security/limits.d/20-nproc.conf (RHEL 7/CentOS 7)

* soft nproc 4096

root soft nproc unlimited


就是root無限(實際root用户限制是:255622)。其它非root用户是4096個進程。


説明:

硬限制表明soft限制中所能設定的最大值。

soft限制指的是當前系統生效的設置值。 hard限制值可以被普通用户減少。可是不能添加。 soft限制不能設置的比hard限制更高。 僅僅有root用户才可以添加hard限制值。

當添加文件限制描寫敍述。能夠簡單的把當前值雙倍。 樣例例如以下, 假設你要提高默認值1024, 最好提高到2048, 假設還要繼續添加。 就須要設置成4096。


4. 改動 file-max 選項 (用途:可分配文件句柄數目)

file-max 價值:指定了能夠分配的文件句柄的最大數目(能夠使用 /proc/sys/fs/file-nr 文件查看到當前已經使用的文件句柄和總句柄數。)

(1) 暫時生效:


文件路徑:/proc/sys/fs/file-max cat /proc/sys/fs/file-max 3252210

假設要改動。直接覆蓋文件:(比方改成200w)

sudo echo 2000000 > /proc/sys/fs/file-max

注意:假設你想每次啓動都自己主動運行上面的命令,能夠在系統啓動配置文件/etc/rc.local裏面加入一句命令:(跟永久生效差點兒相同)

echo 2000000 > /proc/sys/fs/file-max

或者直接Shell全搞定:

echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local

(2) 永久生效:

改動配置文件,文件位置:/etc/sysctl.conf
打開配置文件到最末尾。假設配置文件中沒有則能夠直接加入:


sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf

配置文件生效:sudo /sbin/sysctl -p


5. 改動TCP等相關選項

配置文件:/etc/sysctl.conf

改動選項:

net.core.somaxconn = 2048

net.core.rmem_default = 262144

net.core.wmem_default = 262144

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

net.ipv4.tcp_rmem = 4096 4096 16777216

net.ipv4.tcp_wmem = 4096 4096 16777216

net.ipv4.tcp_mem = 786432 2097152 3145728

net.ipv4.tcp_max_syn_backlog = 16384

net.core.netdev_max_backlog = 20000

net.ipv4.tcp_fin_timeout = 15

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_orphans = 131072

配置文件生效:sudo /sbin/sysctl -p

以上選項也能夠直接給 /proc/sys/net/ 文件夾以下依照各個選項能夠直接使用 echo VALUE > /proc/sys/net/core/wmem_max 來直接改動內存暫時值生效。


主要看這幾項:

  • net.ipv4.tcp_rmem 用來配置讀緩衝的大小,三個值。第一個是這個讀緩衝的最小值,第三個是最大值。中間的是默認值。
    我們能夠在程序中改動讀緩衝的大小。可是不能超過最小與最大。
    為了使每一個socket所使用的內存數最小,我這裏設置默認值為4096。
  • net.ipv4.tcp_wmem 用來配置寫緩衝的大小。讀緩衝與寫緩衝在大小,直接影響到socket在內核中內存的佔用。
  • net.ipv4.tcp_mem 則是配置tcp的內存大小,其單位是頁,而不是字節。當超過第二個值時,TCP進入 pressure模式,此時TCP嘗試穩定其內存的使用。當小於第一個值時。就退出pressure模式。
    當內存佔用超過第三個值時。TCP就拒絕分配 socket了,查看dmesg,會打出非常多的日誌“TCP: too many of orphaned sockets”。
  • net.ipv4.tcp_max_orphans 這個值也要設置一下,這個值表示系統所能處理不屬於不論什麼進程的 socket數量,當我們須要高速建立大量連接時,就須要關注下這個值了。當不屬於不論什麼進程的socket的數量大於這個值時,dmesg就會看 到”too many of orphaned sockets”。


注意:假設是client程序,為了更好的訪問server程序不是卡在port分配上。建議把client的port(port_range)範圍開大一些:
改動文件:/etc/sysctl.conf

net.ipv4.ip_local_port_range = 1024 65535


配置生效:sudo /sbin/sysctl -p

假設是client。其它文件打開限制等能夠參考上面的來設置。



6. 其它一些配置


(1) 打開core文件

假設為了觀察程序是否正常。出現故障後生成對應映像文件,能夠開啓coredump相關的操作,能夠打開:(非必須,假設線上環境。操心影響穩定性,能夠考慮不開啓)

配置文件:/etc/security/limits.conf

改動配置文件:

添加:

* soft core 102400

* hard core 2048003


建議設置為無限大小:

* soft core unlimited

* hard core unlimited

然後重新啓動機器生效(不確定能否夠使用 /sbin/sysctl -p 生效),使用: ulimit -a 或 ulimit -c 查看結果,興許假設程序出現棧溢出等都會生成coredump文件。方便用gdb等追查問題原因。




參考URL:

http://www.tuicool.com/articles/r6NvQr 

http://blog.yufeng.info/archives/2568#more-2568 

http://heylinux.com/archives/2938.html

http://club.1688.com/article/8964198.html