forum.bitel.ru
http://forum.bitel.ru/

Nas на freebsd
http://forum.bitel.ru/viewtopic.php?f=5&t=1873
Страница 3 из 4

Автор:  skyb [ 11 ноя 2010, 17:15 ]
Заголовок сообщения:  Re: Nas на freebsd

Для включения поллинга необходимо ядро пересобирать, так его невключиш как я понял. Если можно то как? нужен ли он?
Подскажите какие настройки и где менять? Система для меня новая, поэтому многих тонкостей незнаю. А она уже в продакшене. Тестировать уже не получиться, да и сложно тестировать, потому как затык на 700-800+ абонентах. Поэтому что делать подскажите, а то понимание приходит с опытом, а на живых абонентах тесты проводить неверно както

Автор:  snark [ 11 ноя 2010, 18:45 ]
Заголовок сообщения:  Re: Nas на freebsd

поллинг в 7-ке или 8-ке на интеловых карточках не нужен ;)

Код:
# ifconfig | grep ^ng | wc -l
     594

Код:
# cat /etc/sysctl.conf | grep -Ev '^#|^$'
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.corefile=/tmp/%U.%N.%P.core
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.udp.recvspace=65535
kern.maxfiles=65536
kern.maxfilesperproc=32768
kern.ipc.somaxconn=4096
net.inet.ip.fastforwarding=1

Код:
# cat /boot/loader.conf | grep -Ev '^#|^$'
autoboot_delay="3"
kern.maxusers=2048
kern.ipc.maxpipekva=134217728
kern.ipc.nmbclusters=65536

Автор:  skyb [ 11 ноя 2010, 19:02 ]
Заголовок сообщения:  Re: Nas на freebsd

совершенно такие же конфиги, а затуп есть
это мой sysctl.conf

Код:
# cat /etc/sysctl.conf | grep -Ev '^#|^$'
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.corefile=/tmp/%U.%N.%P.core
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.udp.recvspace=65535
kern.maxfiles=65536
kern.maxfilesperproc=32768
kern.ipc.somaxconn=4096
net.inet.ip.fastforwarding=1


Код:
# cat /boot/loader.conf | grep -Ev '^#|^$'
autoboot_delay="3"
kern.maxusers=2048
kern.ipc.maxpipekva=134217728
kern.ipc.nmbclusters=65536

Автор:  snark [ 11 ноя 2010, 19:05 ]
Заголовок сообщения:  Re: Nas на freebsd

значит нетграф тюнить надо

Автор:  skyb [ 11 ноя 2010, 19:08 ]
Заголовок сообщения:  Re: Nas на freebsd

Код:
kern.ipc.maxsockbuf=2621440
net.graph.recvspace=1024000
net.graph.maxdgram=1024000

м?

Автор:  borisk [ 11 ноя 2010, 19:37 ]
Заголовок сообщения:  Re: Nas на freebsd

skyb, мы как-то гаданием занимаемся :) Выложите конфигурацию ядра, rc.conf для начала. sysctl.conf вы уже привели, хорошо. Если грешите на ng_netflow, почему бы и нет, попробуйте отключить его в момент пиковой нагрузки и посмотреть что будет. Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов.

Автор:  skyb [ 11 ноя 2010, 19:53 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
skyb, мы как-то гаданием занимаемся :) Выложите конфигурацию ядра, rc.conf для начала. sysctl.conf вы уже привели, хорошо. Если грешите на ng_netflow, почему бы и нет, попробуйте отключить его в момент пиковой нагрузки и посмотреть что будет. Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов.

я неособо знаю что делать, поэтому я спрашивал что выложить :)...ок, подправлю и завтро выложу(поздно у меня уже :( )

borisk писал(а):
попробуйте отключить его в момент пиковой нагрузки.

как???

borisk писал(а):
Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов

какие? как ?
совершенно незнаком с этим, и ещё раз повторюсь - страшно тестировать на абонентах живых, а сэмулировать некак...
рассажите что делать...

Автор:  snark [ 11 ноя 2010, 20:05 ]
Заголовок сообщения:  Re: Nas на freebsd

man tuning
man netgraph
man netstat
man vmstat
man systat
m?

Автор:  skyb [ 11 ноя 2010, 20:07 ]
Заголовок сообщения:  Re: Nas на freebsd

skyb писал(а):
совершенно незнаком с этим, и ещё раз повторюсь - страшно тестировать на абонентах живых, а сэмулировать некак...
рассажите что делать...

да, я прочитаю, невсе пойму, что то сделаю, накосячу....и? звиздец.....до ребута дойдет и ~ 800 -1000 негодуэ?

Автор:  Akhmat [ 11 ноя 2010, 20:23 ]
Заголовок сообщения:  Re: Nas на freebsd

skyb, друг, думаю у тебя нет выбора) неизбежишь ребут

Автор:  skyb [ 11 ноя 2010, 20:27 ]
Заголовок сообщения:  Re: Nas на freebsd

есть возможность минимально сократить это самое негодуэ....перегруз в 5 утра када меньше всего сессий, перечитать все конфиги....а вот если непоможет? я про то что прошу панацею....у знатоков!!! да и для многих это важно будет и интересно...

Автор:  skyb [ 12 ноя 2010, 07:01 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
skyb, мы как-то гаданием занимаемся :) Выложите конфигурацию ядра, rc.conf для начала. sysctl.conf вы уже привели, хорошо. Если грешите на ng_netflow, почему бы и нет, попробуйте отключить его в момент пиковой нагрузки и посмотреть что будет. Так же можно попробовать снять различные параметры командой vmstats в моменты тормозов.

Файло согласно договору :)

Вложения:
loader.conf.zip [11.46 КБ]
Скачиваний: 188

Автор:  skyb [ 12 ноя 2010, 09:52 ]
Заголовок сообщения:  Re: Nas на freebsd

Код:
# sysctl net.graph.recvspace=1024000
net.graph.recvspace: 20480 -> 1024000
pppoe# sysctl net.graph.maxdgram=1024000
net.graph.maxdgram: 20480 -> 1024000
pppoe# ngctl list
ngctl: can't create node: No buffer space available
# sysctl -a | grep graph
net.graph.msg_version: 8
net.graph.abi_version: 11
net.graph.maxdata: 512
net.graph.maxalloc: 4096
net.graph.threads: 8
net.graph.control.proto: 2
net.graph.data.proto: 1
net.graph.family: 32
net.graph.recvspace: 1024000
net.graph.maxdgram: 1024000

что я делаю неправильно?
Код:
# ifconfig | grep ^ng | wc -l
    311

Автор:  borisk [ 12 ноя 2010, 14:46 ]
Заголовок сообщения:  Re: Nas на freebsd

Извиняюсь, менять надо только net.graph.recvspace

Автор:  skyb [ 12 ноя 2010, 14:49 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
Извиняюсь, менять надо только net.graph.recvspace

тоесть sysctl net.graph.maxdgram=1024000 вернуть на 20480 ???
и чтонибудь ещё менять нужно.....почему ngctl list неотработал?

Автор:  borisk [ 12 ноя 2010, 15:02 ]
Заголовок сообщения:  Re: Nas на freebsd

Посмотрел (пока не очень подробно) ваши конфиги... Впечатлило количество vlan, собранных на одном интерфейсе. Теперь хочется понять, а какой же, собственно объем трафика трафика перекачивается и что именно происходит на сетевом интерфейсе в данный момент? Уточните версию OS и разрядность. Чего пытались добиться отключив rxcsum и txcsum? Можно вывод netstat -m? vmstat -i?

Автор:  borisk [ 12 ноя 2010, 15:03 ]
Заголовок сообщения:  Re: Nas на freebsd

skyb писал(а):
borisk писал(а):
Извиняюсь, менять надо только net.graph.recvspace

тоесть sysctl net.graph.maxdgram=1024000 вернуть на 20480 ???
и чтонибудь ещё менять нужно.....почему ngctl list неотработал?

Да... не отработал он именно из-за maxdgram... recvspace надо подобрать опытным путем, но думаю мегабайта ему должно хватить

Автор:  skyb [ 12 ноя 2010, 15:36 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
skyb писал(а):
borisk писал(а):
Извиняюсь, менять надо только net.graph.recvspace

тоесть sysctl net.graph.maxdgram=1024000 вернуть на 20480 ???
и чтонибудь ещё менять нужно.....почему ngctl list неотработал?

Да... не отработал он именно из-за maxdgram... recvspace надо подобрать опытным путем, но думаю мегабайта ему должно хватить

Код:
# sysctl net.graph.maxdgram=20480
net.graph.maxdgram: 1024000 -> 20480
pppoe# ngctl list
ngctl: can't create node: No buffer space available
pppoe# sysctl -a | grep graph
net.graph.msg_version: 8
net.graph.abi_version: 11
net.graph.maxdata: 512
net.graph.maxalloc: 4096
net.graph.threads: 8
net.graph.control.proto: 2
net.graph.data.proto: 1
net.graph.family: 32
net.graph.recvspace: 1024000
net.graph.maxdgram: 20480

ещё больше запутался... :(

Автор:  skyb [ 12 ноя 2010, 15:41 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
Посмотрел (пока не очень подробно) ваши конфиги... Впечатлило количество vlan, собранных на одном интерфейсе. Теперь хочется понять, а какой же, собственно объем трафика трафика перекачивается и что именно происходит на сетевом интерфейсе в данный момент? Уточните версию OS и разрядность. Чего пытались добиться отключив rxcsum и txcsum? Можно вывод netstat -m? vmstat -i?

порядка 300-400 мегабит....
что именно происходит...а как показать ?
Код:
# vmstat -i
interrupt                          total       rate
irq1: atkbd0                         125          0
irq6: fdc0                             1          0
irq19: em0 uhci4++            1833023549       2154
cpu0: timer                   1700273859       1998
cpu4: timer                   1700272801       1998
cpu1: timer                   1700272801       1998
cpu3: timer                   1700272801       1998
cpu2: timer                   1700272800       1998
cpu7: timer                   1700272800       1998
cpu6: timer                   1700272801       1998
cpu5: timer                   1700272801       1998
Total                        15435207139      18138
pppoe#  netstat -m
2177/5893/8070 mbufs in use (current/cache/total)
2175/4531/6706/65536 mbuf clusters in use (current/cache/total/max)
2175/4353 mbuf+clusters out of packet secondary zone in use (current/cache)
0/183/183/66048 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/33024 9k jumbo clusters in use (current/cache/total/max)
0/0/0/16512 16k jumbo clusters in use (current/cache/total/max)
4933K/11267K/16201K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/7/33280 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

столько вланов было сделано чтоб потом руками не создавать, из них чуть больше половины использовалось
Код:
# uname -a
7.3-RELEASE-p3 FreeBSD 7.3-RELEASE-p3 #0: Tue Oct 12 13:14:37 VLAST 2010     :/usr/obj/usr/src/sys/GENERIC  i386

Автор:  borisk [ 12 ноя 2010, 15:43 ]
Заголовок сообщения:  Re: Nas на freebsd

Просто ngctl (без параметров) запускается?

Автор:  skyb [ 12 ноя 2010, 15:45 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
Просто ngctl (без параметров) запускается?

да

Код:
# ngctl list
ngctl: can't create node: No buffer space available

Автор:  borisk [ 12 ноя 2010, 15:52 ]
Заголовок сообщения:  Re: Nas на freebsd

Раз без параметров ngctl запускается, значит ему не хватает именно размера приемного буфера... учитывая сколько у вас создано vlan, а на каждый vlan создается своя ng_ether нода, да + количество созданных ng.... увеличивайте maxrecvspace.
Теперь, по той информации что вы привели мы видим порядка 2тысяч прерываний в секунду на обслуживание em0. Рекомендую попробовать polling... ядро придется пересобрать конечно.
И зачем такой действительно частый netflow? Неужели нельзя хотя бы поминутно скидывать?

Автор:  skyb [ 12 ноя 2010, 15:55 ]
Заголовок сообщения:  Re: Nas на freebsd

borisk писал(а):
Раз без параметров ngctl запускается, значит ему не хватает именно размера приемного буфера... учитывая сколько у вас создано vlan, а на каждый vlan создается своя ng_ether нода, да + количество созданных ng.... увеличивайте maxrecvspace.

а сколько максимум возможно выставить?
borisk писал(а):
Теперь, по той информации что вы привели мы видим порядка 2тысяч прерываний в секунду на обслуживание em0. Рекомендую попробовать polling... ядро придется пересобрать конечно.

а если несколько карт поставить? и на них несколько mpd запустить? или несколько карт и 1 mpd?

Автор:  borisk [ 12 ноя 2010, 16:02 ]
Заголовок сообщения:  Re: Nas на freebsd

Ну на вашей системе получается 2G :) В данном случае что несколько карт и mpd, что несколько карт и один mpd - общее количество прерываний (а следовательно и переключений контекста) в системе не изменятся. PC это, увы, не Cisco и не Juniper. А вот поставить несколько разных NAS и разнести на них VLAN я бы действительно посоветовал.

Автор:  skyb [ 12 ноя 2010, 16:12 ]
Заголовок сообщения:  Re: Nas на freebsd

с меня плюсик ;)

Автор:  snark [ 12 ноя 2010, 16:16 ]
Заголовок сообщения:  Re: Nas на freebsd

т.к. карточка, ЕМНИМС, "двухголовая", то я думаю есть смысл разнести часть VLAN-ов на другую "голову" - это несколько разгрузит одну "сетевушку" (карточка одна, но сетевушки то на ней две)

Автор:  skyb [ 12 ноя 2010, 16:21 ]
Заголовок сообщения:  Re: Nas на freebsd

snark писал(а):
т.к. карточка, ЕМНИМС, "двухголовая", то я думаю есть смысл разнести часть VLAN-ов на другую "голову" - это несколько разгрузит одну "сетевушку" (карточка одна, но сетевушки то на ней две)

не, это ещё не та карточка, та ещё не пришла...смысл понятен, нехрен собирать мощьную тачку и запихивать туда 3000+ сессий...а нада разносить

Автор:  snark [ 12 ноя 2010, 16:29 ]
Заголовок сообщения:  Re: Nas на freebsd

ну дык глупо класть все яйца в одну корзину ;)
вот неплохой тред по тюнингу, да и вообще ...

Автор:  Владимир [ 28 дек 2010, 14:51 ]
Заголовок сообщения:  Re: Nas на freebsd

Добрый день.
пытаюсь сделать PPPoE с использованием MPD5.
клиент подключаеться нормально,
но в интернет не пускает.
конфиги из этой темы пробовал не работают.
mpd.conf
Код:
startup:
   # configure mpd users
   set user admin admin admin
   # configure the console
   set console self 0.0.0.0 5005
   set console open
   # configure the web server
   set web self 0.0.0.0 5006
   set web open

default:
   load pppoe_server

pppoe_server:
           set ippool add ine 191.206.254.100 191.206.254.200

   create bundle template B
   set ipcp ranges XXX.XXX.XXX.XXX/32 ippool ine
   set ipcp dns ДНС
   set iface idle 0
   set iface enable tcpmssfix
   set iface enable nat
   set iface addrs ХХХ.ХХХ.ХХХ.ХХХ YYY.YYY.YYY.YYY
   set ipcp yes vjcomp
   
   set bundle enable compression
   set ccp yes mppc
   set mppc yes e40
   set mppc yes e128
   set mppc yes stateless
   
   create link template common pppoe
   set pppoe iface vr0
   set link enable multilink
   set link action bundle B
   set link disable pap eap
   set link enable chap
   load radius
   set pppoe service "*"
   
   create link template PPPoE common
   set link max-children 1000
   set pppoe iface vr0
   set link enable incoming
   set link no pap eap
   set link yes chap-md5
   set link keep-alive 20 60
   set link no acfcomp protocomp
   
radius:
   set radius server 192.168.91.15 133614 1815 1816
   set radius retries 3
   set radius me 192.168.90.2
   set radius identifier mpd
   set auth acct-update 300
#   set auth disable internal
   set auth enable radius-auth
   set auth enable radius-acct
   set radius enable message-authentic


где
vr0 - это сетевая карта, которая находиться в локальной сети

Автор:  skyb [ 28 дек 2010, 16:01 ]
Заголовок сообщения:  Re: Nas на freebsd

что стоит шлюзом? где трасировка умирает?

Страница 3 из 4 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/