UPDATE: Данную статью можно считать устаревшей для Debian Wheezy и выше. Несмотря на то, что всё описанное здесь в wheezy заработает, я рекомендую использовать более новую статью — «Настройка сети на dom0-машине в debian/ubuntu для KVM, updated.»

Мы уже имеем созданные при помощи LVM логические томы, на которых будем размещать виртуальные машины.

То есть мы подготовили hdd для работы с kvm. Теперь было бы логичным сконфигурировать сеть.
Условия.
1 сетевая карта — eth0.
4 IP адреса из подсети /24 (255.255.255.0) — xx.yy.69.3, xx.yy.69.30, xx.yy.69.31, xx.yy.69.32
Собственную подсеть /28 (255.255.255.240) — xx.yy.135.129-xx.yy.135.142 (.143 — broadcast)
Собственную подсеть /29 (255.255.255.248) — xx.yy.252.153-xx.yy.252.158 (.159 — broadcast)

*здесь и далее «потратить IP» означает использовать IP адрес на хосте (то есть на физическом сервере).
Наша задача — пустить виртуалки в сеть так, чтобы они не догадывались о том, что впереди них есть наш шлюзег, потратив* для сервера только один IP адрес из каждой подсети. Вообще — в конце статьи я покажу файл /etc/network/interfaces, который позволит потратить вообще один IP адрес на все 3 сети. Просто я не тестировал его в «боевых» условиях и не могу ручаться, что та схема ничему не вредит =)
Тем не менее решение вида «потратить 1 IP на всё» есть. Если вы его протестируете — я буду благодарен.
Есть ещё один положительный момент. Если в одной из подсетей вам не нужны виртуалки с одним IP (для примера — всем виртуалкам вы даете IP адреса из /28, и только некоторым из них — добавляете второй IP из /29, то нам не нужно тратить IP адрес из подсети /29. То есть нам не нужно поднимать на хосте виртуальный интерфейс и присуждать ему IP адрес из /29 для того, чтобы виртуалки могли использовать как шлюз).
Уф. Я даже устал уже писать теорию и рассуждения. Надеюсь, вам всё будет понятно из самой статьи. Если будет непонятно — пишите в комментариях или мне на почту, я допишу.

Приступим.
Для начала настроим eth0. Обычно за вас это сделают инженеры ДЦ или саппорт хостера… Но вдруг вы это делаете на домашнем сервере =)
Вы должны самостоятельно выполнить квест. При помощи файла /etc/network/interfaces настроить подключение к сети. Через этот файл вы должны настроить только eth0 (а у нас одна сетевуха, напоминаю). Всё остальное мы будем настраивать/поднимать командами. И скриптом, который напишем в конце.

Подняли eth0. Сервер в сети. Сервер в сети после ребута. Сервер в сети и не отваливается. Ура.

А теперь готовим сеть для KVM.
Поставим нужный для настройки сети пакет:
debian-kvm-net:~# aptitude install bridge-utils
Включим возможности ядра по маршрутизации пакетов:
debian-kvm-net:~# echo 1 > /proc/sys/net/ipv4/ip_forward
Создадим и активируем сетевой мост (br0), к которому в дальнейшем будем цеплять виртуальные интерфейсы сетевых карт:
debian-kvm-net:~# brctl addbr br0 && ifconfig br0 up
Нужен ли вам второй сетевой мост? Он нужен только в том случае, если нам нужно изолировать виртуальные машины друг от друга. Создаете br1 и виртуалку, которую нужно изолировать, аттачите к br1. Они никогда не увидят друг друга по сети. Пока я не придумал, как их соединить. Скорее всего, как то можно. Но мне то их как раз изолировать нужно было ;Р.

Создадим виртуальные сетевые интерфейсы для каждой подсети. IP адреса этих интерфейсов мы будем указывать в качестве шлюза в виртуальных машинах.
eth0 с IP адресом xx.yy.69.3 у вас уже есть. Ну или с .30. Или какой вы там выбрали IP адрес основным для сервера.
Создадим для остальных двух подсетей:
debian-kvm-net:~# ifconfig eth0:1 xx.yy.135.129 netmask 255.255.255.240 up
debian-kvm-net:~# ifconfig eth0:2 xx.yy.252.153 netmask 255.255.255.252 up

Теперь нам нужно отроутить IP адреса для виртуалок на br0. Для примера отроутим несколько:
debian-kvm-net:~# route add -host xx.yy.69.30 dev br0
debian-kvm-net:~# route add -host xx.yy.69.31 dev br0
debian-kvm-net:~# route add -host xx.yy.135.130 dev br0
debian-kvm-net:~# route add -host xx.yy.135.131 dev br0
debian-kvm-net:~# route add -host xx.yy.252.154 dev br0
debian-kvm-net:~# route add -host xx.yy.252.155 dev br0

Остальные сами отроутите. Только не пишите маршруты для тех IP, которые будут у нас шлюзами. Почему я не прописываю route add -net ? Я предпочитаю не отключать виртуалки, когда за них кто то не заплатит, а просто удалять нужный маршрут — тогда на них выключается сеть. Проблем меньше, если пользователь всё же заплатит. А то ныть начинают «ну вооооот, ребуууут был». Если вы желаете сразу все IP отроутить разом, то у man route есть секция -net про которую вы очень будете рады сами почитать.

Вот. Сеть готова. Нам осталось узнать настройки сети для виртуалок.
Для подсети /24 :
IP адрес — один из IP адресов xx.yy.69.{30-32}
netmask — 255.255.255.0
gateway — IP адрес eth0 (xx.yy.69.3)

Для подсети /28 :
IP адрес — один из IP адресов xx.yy.135.{130-142} (для него должен быть создан маршрут (route add))
netmask — 255.255.255.240
gateway — IP адрес eth0:1 (xx.yy.135.129)

Для подсети /29 :
IP адрес — один из IP адресов xx.yy.252.{153-158} (для него должен быть создан маршрут (route add))
netmask — 255.255.255.252
gateway — IP адрес eth0:2 (xx.yy.252.153)

Тэкс. Теперь… Почему я не писал всё это в конфиги. Напишете неправильно конфиг — будет много геморроя после ребута =)) Захотите переделать схему (ну там на openvz перейти или по другому мануалу всё переделать) — надо будет лазить по всем конфигам и вспоминать что писали. А я просто сделаю reboot.
Писать всё это при каждой загрузке — глупо. Создадим скриптик:
debian-kvm-net:~# touch /usr/bin/startup.sh && chmod +x /usr/bin/startup.sh
Его содержимое в соответствии с мануалом выше будет таким:
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
brctl addbr br0
ifconfig br0 up
ifconfig eth0:1 xx.yy.135.129 netmask 255.255.255.240 up
ifconfig eth0:2 xx.yy.252.153 netmask 255.255.255.252 up
route add -host xx.yy.69.30 dev br0
route add -host xx.yy.69.31 dev br0
route add -host xx.yy.135.130 dev br0
route add -host xx.yy.135.131 dev br0
route add -host xx.yy.252.154 dev br0
route add -host xx.yy.252.155 dev br0

И в /etc/rc.local дописываем строку
startup.sh
перед exit0
Или не дописываем. А просто после ребута выполняем команду startup.sh
Я не дописываю. В лом.

А теперь обещанная вкусность.
Вот так должен выглядеть файл /etc/network/interfaces у виртуальной машины, если мы желаем дать ей IP адрес xx.yy.135.142, но использовать для неё шлюзом IP адрес интерфейса eth0 (в нашем случае — xx.yy.69.3). Это позволит не создавать нам eth0:1 и eth0:2 и тратить на них IP адреса.
vds01:~# cat /etc/network/interfaces

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
# IP адрес из второй подсети
address xx.yy.135.142
# IP адрес интерфейса eth0 самого сервера
gateway xx.yy.69.3
# странная маска подсети с 255 на конце
netmask 255.255.255.255
# очень важная строчка. совпадает с gateway
pointopoint xx.yy.69.3

В чём проблема с таким конфигом? А вы его не создадите ни из одного инсталлятора (ну ок, кроме гентушного и подобных). И установка по сети будет возможна только с LiveCD. С полноценного LiveCD. А это не всегда удобно. Вообще — должно работать. Но я не тестировал.

В каком то буржуйском мануале (о май гад, сколько же их было… и сколько из них были «битыми») я вычитал 3 вот таких команды:
vds01:~# echo 1 > /proc/sys/net/ipv4/conf/default/proxy_arp
vds01:~# echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_broadcasts
vds01:~# echo 1 > /proc/sys/net/ipv4/conf/all/rp_filter

Якобы, они делают что-то хорошее. Нет, ну для xen’a то это супер. А вот я ограничивать клиентов в возможностях не люблю. Для обычных же VDS это будет полезно. Да и нагрузка от роутинга должна быть поменьше (хотя чего нам её снижать, когда у нас мега процы).

Вот и всё. Теперь мы можем переходить к статье о том, какую аппаратную конфигурацию лучше использовать и как проверить, подходит ли наша конфигурация.