forum.bitel.ru http://forum.bitel.ru/ |
|
Nas на freebsd http://forum.bitel.ru/viewtopic.php?f=5&t=1873 |
Страница 3 из 4 |
Автор: | skyb [ 11 ноя 2010, 17:15 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Для включения поллинга необходимо ядро пересобирать, так его невключиш как я понял. Если можно то как? нужен ли он? Подскажите какие настройки и где менять? Система для меня новая, поэтому многих тонкостей незнаю. А она уже в продакшене. Тестировать уже не получиться, да и сложно тестировать, потому как затык на 700-800+ абонентах. Поэтому что делать подскажите, а то понимание приходит с опытом, а на живых абонентах тесты проводить неверно както |
Автор: | snark [ 11 ноя 2010, 18:45 ] |
Заголовок сообщения: | Re: Nas на freebsd |
поллинг в 7-ке или 8-ке на интеловых карточках не нужен Код: # ifconfig | grep ^ng | wc -l 594 Код: # cat /etc/sysctl.conf | grep -Ev '^#|^$' net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 kern.corefile=/tmp/%U.%N.%P.core net.inet.tcp.sendspace=65535 net.inet.tcp.recvspace=65535 net.inet.udp.recvspace=65535 kern.maxfiles=65536 kern.maxfilesperproc=32768 kern.ipc.somaxconn=4096 net.inet.ip.fastforwarding=1 Код: # cat /boot/loader.conf | grep -Ev '^#|^$'
autoboot_delay="3" kern.maxusers=2048 kern.ipc.maxpipekva=134217728 kern.ipc.nmbclusters=65536 |
Автор: | skyb [ 11 ноя 2010, 19:02 ] |
Заголовок сообщения: | Re: Nas на freebsd |
совершенно такие же конфиги, а затуп есть это мой sysctl.conf Код: # cat /etc/sysctl.conf | grep -Ev '^#|^$' net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 kern.corefile=/tmp/%U.%N.%P.core net.inet.tcp.sendspace=65535 net.inet.tcp.recvspace=65535 net.inet.udp.recvspace=65535 kern.maxfiles=65536 kern.maxfilesperproc=32768 kern.ipc.somaxconn=4096 net.inet.ip.fastforwarding=1 Код: # cat /boot/loader.conf | grep -Ev '^#|^$'
autoboot_delay="3" kern.maxusers=2048 kern.ipc.maxpipekva=134217728 kern.ipc.nmbclusters=65536 |
Автор: | snark [ 11 ноя 2010, 19:05 ] |
Заголовок сообщения: | Re: Nas на freebsd |
значит нетграф тюнить надо |
Автор: | skyb [ 11 ноя 2010, 19:08 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Код: kern.ipc.maxsockbuf=2621440 net.graph.recvspace=1024000 net.graph.maxdgram=1024000 м? |
Автор: | borisk [ 11 ноя 2010, 19:37 ] |
Заголовок сообщения: | Re: Nas на freebsd |
skyb, мы как-то гаданием занимаемся Выложите конфигурацию ядра, rc.conf для начала. sysctl.conf вы уже привели, хорошо. Если грешите на ng_netflow, почему бы и нет, попробуйте отключить его в момент пиковой нагрузки и посмотреть что будет. Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов. |
Автор: | skyb [ 11 ноя 2010, 19:53 ] |
Заголовок сообщения: | Re: Nas на freebsd |
borisk писал(а): skyb, мы как-то гаданием занимаемся Выложите конфигурацию ядра, rc.conf для начала. sysctl.conf вы уже привели, хорошо. Если грешите на ng_netflow, почему бы и нет, попробуйте отключить его в момент пиковой нагрузки и посмотреть что будет. Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов. я неособо знаю что делать, поэтому я спрашивал что выложить ...ок, подправлю и завтро выложу(поздно у меня уже ) borisk писал(а): попробуйте отключить его в момент пиковой нагрузки. как??? borisk писал(а): Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов какие? как ? совершенно незнаком с этим, и ещё раз повторюсь - страшно тестировать на абонентах живых, а сэмулировать некак... рассажите что делать... |
Автор: | snark [ 11 ноя 2010, 20:05 ] |
Заголовок сообщения: | Re: Nas на freebsd |
man tuning man netgraph man netstat man vmstat man systat m? |
Автор: | skyb [ 11 ноя 2010, 20:07 ] |
Заголовок сообщения: | Re: Nas на freebsd |
skyb писал(а): совершенно незнаком с этим, и ещё раз повторюсь - страшно тестировать на абонентах живых, а сэмулировать некак... рассажите что делать... да, я прочитаю, невсе пойму, что то сделаю, накосячу....и? звиздец.....до ребута дойдет и ~ 800 -1000 негодуэ? |
Автор: | Akhmat [ 11 ноя 2010, 20:23 ] |
Заголовок сообщения: | Re: Nas на freebsd |
skyb, друг, думаю у тебя нет выбора) неизбежишь ребут |
Автор: | skyb [ 11 ноя 2010, 20:27 ] |
Заголовок сообщения: | Re: Nas на freebsd |
есть возможность минимально сократить это самое негодуэ....перегруз в 5 утра када меньше всего сессий, перечитать все конфиги....а вот если непоможет? я про то что прошу панацею....у знатоков!!! да и для многих это важно будет и интересно... |
Автор: | skyb [ 12 ноя 2010, 07:01 ] | ||
Заголовок сообщения: | Re: Nas на freebsd | ||
borisk писал(а): skyb, мы как-то гаданием занимаемся Выложите конфигурацию ядра, rc.conf для начала. sysctl.conf вы уже привели, хорошо. Если грешите на ng_netflow, почему бы и нет, попробуйте отключить его в момент пиковой нагрузки и посмотреть что будет. Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов. Файло согласно договору
|
Автор: | skyb [ 12 ноя 2010, 09:52 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Код: # sysctl net.graph.recvspace=1024000 net.graph.recvspace: 20480 -> 1024000 pppoe# sysctl net.graph.maxdgram=1024000 net.graph.maxdgram: 20480 -> 1024000 pppoe# ngctl list ngctl: can't create node: No buffer space available # sysctl -a | grep graph net.graph.msg_version: 8 net.graph.abi_version: 11 net.graph.maxdata: 512 net.graph.maxalloc: 4096 net.graph.threads: 8 net.graph.control.proto: 2 net.graph.data.proto: 1 net.graph.family: 32 net.graph.recvspace: 1024000 net.graph.maxdgram: 1024000 что я делаю неправильно? Код: # ifconfig | grep ^ng | wc -l
311 |
Автор: | borisk [ 12 ноя 2010, 14:46 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Извиняюсь, менять надо только net.graph.recvspace |
Автор: | skyb [ 12 ноя 2010, 14:49 ] |
Заголовок сообщения: | Re: Nas на freebsd |
borisk писал(а): Извиняюсь, менять надо только net.graph.recvspace тоесть sysctl net.graph.maxdgram=1024000 вернуть на 20480 ??? и чтонибудь ещё менять нужно.....почему ngctl list неотработал? |
Автор: | borisk [ 12 ноя 2010, 15:02 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Посмотрел (пока не очень подробно) ваши конфиги... Впечатлило количество vlan, собранных на одном интерфейсе. Теперь хочется понять, а какой же, собственно объем трафика трафика перекачивается и что именно происходит на сетевом интерфейсе в данный момент? Уточните версию OS и разрядность. Чего пытались добиться отключив rxcsum и txcsum? Можно вывод netstat -m? vmstat -i? |
Автор: | borisk [ 12 ноя 2010, 15:03 ] |
Заголовок сообщения: | Re: Nas на freebsd |
skyb писал(а): borisk писал(а): Извиняюсь, менять надо только net.graph.recvspace тоесть sysctl net.graph.maxdgram=1024000 вернуть на 20480 ??? и чтонибудь ещё менять нужно.....почему ngctl list неотработал? Да... не отработал он именно из-за maxdgram... recvspace надо подобрать опытным путем, но думаю мегабайта ему должно хватить |
Автор: | skyb [ 12 ноя 2010, 15:36 ] |
Заголовок сообщения: | Re: Nas на freebsd |
borisk писал(а): skyb писал(а): borisk писал(а): Извиняюсь, менять надо только net.graph.recvspace тоесть sysctl net.graph.maxdgram=1024000 вернуть на 20480 ??? и чтонибудь ещё менять нужно.....почему ngctl list неотработал? Да... не отработал он именно из-за maxdgram... recvspace надо подобрать опытным путем, но думаю мегабайта ему должно хватить Код: # sysctl net.graph.maxdgram=20480 net.graph.maxdgram: 1024000 -> 20480 pppoe# ngctl list ngctl: can't create node: No buffer space available pppoe# sysctl -a | grep graph net.graph.msg_version: 8 net.graph.abi_version: 11 net.graph.maxdata: 512 net.graph.maxalloc: 4096 net.graph.threads: 8 net.graph.control.proto: 2 net.graph.data.proto: 1 net.graph.family: 32 net.graph.recvspace: 1024000 net.graph.maxdgram: 20480 ещё больше запутался... |
Автор: | skyb [ 12 ноя 2010, 15:41 ] |
Заголовок сообщения: | Re: Nas на freebsd |
borisk писал(а): Посмотрел (пока не очень подробно) ваши конфиги... Впечатлило количество vlan, собранных на одном интерфейсе. Теперь хочется понять, а какой же, собственно объем трафика трафика перекачивается и что именно происходит на сетевом интерфейсе в данный момент? Уточните версию OS и разрядность. Чего пытались добиться отключив rxcsum и txcsum? Можно вывод netstat -m? vmstat -i? порядка 300-400 мегабит.... что именно происходит...а как показать ? Код: # vmstat -i interrupt total rate irq1: atkbd0 125 0 irq6: fdc0 1 0 irq19: em0 uhci4++ 1833023549 2154 cpu0: timer 1700273859 1998 cpu4: timer 1700272801 1998 cpu1: timer 1700272801 1998 cpu3: timer 1700272801 1998 cpu2: timer 1700272800 1998 cpu7: timer 1700272800 1998 cpu6: timer 1700272801 1998 cpu5: timer 1700272801 1998 Total 15435207139 18138 pppoe# netstat -m 2177/5893/8070 mbufs in use (current/cache/total) 2175/4531/6706/65536 mbuf clusters in use (current/cache/total/max) 2175/4353 mbuf+clusters out of packet secondary zone in use (current/cache) 0/183/183/66048 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/33024 9k jumbo clusters in use (current/cache/total/max) 0/0/0/16512 16k jumbo clusters in use (current/cache/total/max) 4933K/11267K/16201K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/7/33280 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile 0 calls to protocol drain routines столько вланов было сделано чтоб потом руками не создавать, из них чуть больше половины использовалось Код: # uname -a
7.3-RELEASE-p3 FreeBSD 7.3-RELEASE-p3 #0: Tue Oct 12 13:14:37 VLAST 2010 :/usr/obj/usr/src/sys/GENERIC i386 |
Автор: | borisk [ 12 ноя 2010, 15:43 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Просто ngctl (без параметров) запускается? |
Автор: | skyb [ 12 ноя 2010, 15:45 ] |
Заголовок сообщения: | Re: Nas на freebsd |
borisk писал(а): Просто ngctl (без параметров) запускается? да Код: # ngctl list
ngctl: can't create node: No buffer space available |
Автор: | borisk [ 12 ноя 2010, 15:52 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Раз без параметров ngctl запускается, значит ему не хватает именно размера приемного буфера... учитывая сколько у вас создано vlan, а на каждый vlan создается своя ng_ether нода, да + количество созданных ng.... увеличивайте maxrecvspace. Теперь, по той информации что вы привели мы видим порядка 2тысяч прерываний в секунду на обслуживание em0. Рекомендую попробовать polling... ядро придется пересобрать конечно. И зачем такой действительно частый netflow? Неужели нельзя хотя бы поминутно скидывать? |
Автор: | skyb [ 12 ноя 2010, 15:55 ] |
Заголовок сообщения: | Re: Nas на freebsd |
borisk писал(а): Раз без параметров ngctl запускается, значит ему не хватает именно размера приемного буфера... учитывая сколько у вас создано vlan, а на каждый vlan создается своя ng_ether нода, да + количество созданных ng.... увеличивайте maxrecvspace. а сколько максимум возможно выставить? borisk писал(а): Теперь, по той информации что вы привели мы видим порядка 2тысяч прерываний в секунду на обслуживание em0. Рекомендую попробовать polling... ядро придется пересобрать конечно. а если несколько карт поставить? и на них несколько mpd запустить? или несколько карт и 1 mpd? |
Автор: | borisk [ 12 ноя 2010, 16:02 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Ну на вашей системе получается 2G В данном случае что несколько карт и mpd, что несколько карт и один mpd - общее количество прерываний (а следовательно и переключений контекста) в системе не изменятся. PC это, увы, не Cisco и не Juniper. А вот поставить несколько разных NAS и разнести на них VLAN я бы действительно посоветовал. |
Автор: | skyb [ 12 ноя 2010, 16:12 ] |
Заголовок сообщения: | Re: Nas на freebsd |
с меня плюсик |
Автор: | snark [ 12 ноя 2010, 16:16 ] |
Заголовок сообщения: | Re: Nas на freebsd |
т.к. карточка, ЕМНИМС, "двухголовая", то я думаю есть смысл разнести часть VLAN-ов на другую "голову" - это несколько разгрузит одну "сетевушку" (карточка одна, но сетевушки то на ней две) |
Автор: | skyb [ 12 ноя 2010, 16:21 ] |
Заголовок сообщения: | Re: Nas на freebsd |
snark писал(а): т.к. карточка, ЕМНИМС, "двухголовая", то я думаю есть смысл разнести часть VLAN-ов на другую "голову" - это несколько разгрузит одну "сетевушку" (карточка одна, но сетевушки то на ней две) не, это ещё не та карточка, та ещё не пришла...смысл понятен, нехрен собирать мощьную тачку и запихивать туда 3000+ сессий...а нада разносить |
Автор: | snark [ 12 ноя 2010, 16:29 ] |
Заголовок сообщения: | Re: Nas на freebsd |
ну дык глупо класть все яйца в одну корзину вот неплохой тред по тюнингу, да и вообще ... |
Автор: | Владимир [ 28 дек 2010, 14:51 ] |
Заголовок сообщения: | Re: Nas на freebsd |
Добрый день. пытаюсь сделать PPPoE с использованием MPD5. клиент подключаеться нормально, но в интернет не пускает. конфиги из этой темы пробовал не работают. mpd.conf Код: startup: # configure mpd users set user admin admin admin # configure the console set console self 0.0.0.0 5005 set console open # configure the web server set web self 0.0.0.0 5006 set web open default: load pppoe_server pppoe_server: set ippool add ine 191.206.254.100 191.206.254.200 create bundle template B set ipcp ranges XXX.XXX.XXX.XXX/32 ippool ine set ipcp dns ДНС set iface idle 0 set iface enable tcpmssfix set iface enable nat set iface addrs ХХХ.ХХХ.ХХХ.ХХХ YYY.YYY.YYY.YYY set ipcp yes vjcomp set bundle enable compression set ccp yes mppc set mppc yes e40 set mppc yes e128 set mppc yes stateless create link template common pppoe set pppoe iface vr0 set link enable multilink set link action bundle B set link disable pap eap set link enable chap load radius set pppoe service "*" create link template PPPoE common set link max-children 1000 set pppoe iface vr0 set link enable incoming set link no pap eap set link yes chap-md5 set link keep-alive 20 60 set link no acfcomp protocomp radius: set radius server 192.168.91.15 133614 1815 1816 set radius retries 3 set radius me 192.168.90.2 set radius identifier mpd set auth acct-update 300 # set auth disable internal set auth enable radius-auth set auth enable radius-acct set radius enable message-authentic где vr0 - это сетевая карта, которая находиться в локальной сети |
Автор: | skyb [ 28 дек 2010, 16:01 ] |
Заголовок сообщения: | Re: Nas на freebsd |
что стоит шлюзом? где трасировка умирает? |
Страница 3 из 4 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |