Мастерю на коленке

Устанавливаем OpenVZ на Debian 5 lennty (часть №2)

noreply@blogger.com (ww898) — Sat, 06 Feb 2010 10:30:00 +0000

Теперь можно создать виртуальные машины - все вроде просто, но есть 2 важных вопроса: доступ виртуальной машины в сеть и nameserver для вашей виртуальной машины.

Для решения первого вопроса я использую ferm - замечательная надстройка над iptables, для установки необходимо выполнить следующую команду, а так же ответить положительно на вопрос о включении блокировки всего за исключением ssh.

apt-get install ferm

Собственно теперь самая ответственная и важная часть - это написание правил для ferm. Сначала нужно определиться с поставленной задачей чего мы хотим от виртуального компьютера: а мы хотим на 92.168.11.107 видеть http и ssh сервер, реальный компьютер будет содержать собственный nameserver, а все виртуальные будут его использовать для получения ip адреса по DNS имени сервера (к этому мы вернемся гораздо позднее). Вот пример такой конфигурации:

def $INTRUDER = 192.168.11.107;
 
table filter {
    chain INPUT {
        policy DROP;
 
        # connection tracking
        mod state state INVALID DROP;
        mod state state (ESTABLISHED RELATED) ACCEPT;
 
        # allow local packages
        interface lo ACCEPT;
 
        # allow SSH connections
        proto tcp dport ssh ACCEPT;
 
        ### access from virtual computer to local nameserver
        interface venet0 proto (tcp udp) dport 53 ACCEPT;
    }
    chain OUTPUT {
        policy ACCEPT;
 
        # connection tracking
        #mod state state INVALID DROP;
        mod state state (ESTABLISHED RELATED) ACCEPT;
    }
    chain FORWARD {
        policy DROP;
 
        # connection tracking
        mod state state INVALID DROP;
        mod state state (ESTABLISHED RELATED) ACCEPT;
 
        ### access from virtual computer to internet
        interface venet0 outerface eth0 ACCEPT;
 
        ### access from internet to specific virtual ports
        outerface venet0 daddr $INTRUDER proto tcp dport (ssh http) ACCEPT;
    }
}
 

Перезапускаем ferm:

/etc/init.d/ferm restart

Не забываем добавить строчку в /etc/sysctl.conf:

net.ipv4.ip_forward=1

И запускаем команду:

sysctl -p

Создаем собственно виртуальную машину (обратите внимание, что в качестве nameserver мы временно используем 192.168.11.1, в принципе подойдет любой nameserver в том числе и 8.8.8.8 от Google), запускаем и наконец заходим на нее под правами администратора:

vzctl create 101 --ostemplate debian-5.0-i386-minimal
vzctl set 101 --onboot yes --save
vzctl set 101 --hostname intruder --save
vzctl set 101 --nameserver 192.168.11.1 --save
vzctl set 101 --ipadd 192.168.11.101 --save
vzctl start 101
vzctl enter 101
su -

На этом этапе наш виртуальный компьютер должен без нареканий выполнять команду:

arp yandex.ru

Устанавливаем OpenVZ на Debian 5 lennty (часть №1)

noreply@blogger.com (ww898) — Tue, 27 Oct 2009 05:37:00 +0000

Раскрыл для себя очень полезное свойство системы виртуализации - при смене dedicated хостинга достаточно перенести виртуальную машину с сайтом в другое место, капельку похимичить и все опять побежало. Никаких тебе кропотливых настроек и длительных инсталляций, да и backup делать просто. Еще одним полезным свойством является то, что даже если злоумышленник вскроет сайт, то попортить он может только виртуальную машину, которая быстро восстанавливается из backup. Надеюсь я всех убедил?

Сперва ставим новое ядро с поддержкой OpenVZ (внимание для другой платформы, такой как x64, имя может быть другое):

apt-get install linux-image-2.6-openvz-686

Перегружаемся и проверяем что все в порядке - ядро поменялось:

uname -a

Далее, если нужно поднимаем поддержку ipset. Теперь необходимо настроить apt для доступа в OpenVZ репозиторий. Добавляем следующую строчку в /etc/apt/sources.list:

deb http://download.openvz.org/debian-systs etch openvz

Создаем или правим /etc/apt/preferences:

Package: *
Pin: release a=lenny
Pin-Priority: 700
 
Package: *
Pin: release a=etch
Pin-Priority: 650

Создаем или правим /etc/apt/apt.conf:

APT::Default-Release "stable";

Загружаем ключи для доступа в репозиторий:

wget -q http://download.openvz.org/debian-systs/dso_archiv_signing_key.asc -O- | apt-key add - && apt-get update

Устанавливаем OS tempaltes - болванки нужных нам виртуальных машин:

apt-get install vzctl-ostmpl-debian-5.0-i386-minimal

Нам осталось сделать две вещи: настроить сеть для виртуальной машины и создать собственно саму виртуальную машину (или машины), но об это м в следующей серии...

Включаем ipset в Debian 5 lenny

noreply@blogger.com (ww898) — Sun, 25 Oct 2009 06:54:00 +0000

В Debian 5 Lenny ipset присутствует, но по умолчанию не установлен. Для его загрузки и активации необходимо выполнить следующее:

apt-get install netfilter-extensions-source ipset
m-a a-i netfilter-extension

Рекомендуется так же добавить ключик -t после m-a для вывода результатов на консоль без графического интерфейса.

P.S. При смене ядра (например установка OpenVZ) последнюю строчку необходимо исполнить еще раз (sources ядра выкачиваются автоматически).

Отключаем PHPSESSID в SMF для гостей

noreply@blogger.com (ww898) — Thu, 22 Oct 2009 20:30:00 +0000

Делается для того чтобы улучшить индексирование поисковыми машинами. Версия форума SMF 1.1.10 в своих потрохах (Sources/Loads.php) уже имеет следующую установку:

@ini_set('session.use_trans_sid', 0);

Другими словами половина дела уже сделана за нас. Вторую половину можно сделать разными способами:

Прямо в PHP скрипте:

@ini_set('session.use_only_cookies', 1);

Или в php.ini:

session.use_only_cookies=1

Конфигурируем NGINX и SMF под Debian 5 для отражения не сильных DDoS атак

noreply@blogger.com (ww898) — Fri, 16 Oct 2009 06:52:00 +0000

Все нижесказанное имеет отношение к NGINX 0.7.62 и SMF 1.1.10. На момент написания этого топика apt-get install nginx инсталлирует старую версию 0.6, а нам нужно более новая и стабильная 0.7.62. Поэтому скачиваем sources компилируем и устанавливаем.

Наша цель: на гостей форума не тратить процессорное время - не трогать SMF по возможности и все готовые страницы хранить в cache, а пользователям наоборот позволять видеть самые последние изменения на форуме без задержек.

Вопрос первый: Как отличить пользователя от гостя? После установки SMF форума в окне настроек сервера есть поле "Имя Cookie". Наличие cookie с таким именем говорит о том, что перед нами пользователь, а отсутствие - гость. Обратите внимание на то, что количество использований перед тем как страница попадает в cache выставлена в 2 - это предотвращает кеширование ненужных страниц.

Вопрос второй? Стоит ли использовать GZIP сжатие в SMF или нет? Стоит! Хотя на это и тратиться процессорное время в PHP, но включать сжатие в NGINX точно не стоит - процессорное время будет тратиться на каждый запрос хотя и в меньшем количестве, но запросов-то многие тыщи!

Теперь еще один важный вопрос: загруженные пользователями аватары и картинки в SMF он загружаются через PHP, что существенно просаживает сервер. Они одинаковы для пользователей и гостей. И меняются ну очень очень редко. Наша задача их положить в cache и потом брать их только оттуда.

В этой статье не отражена тема реакции на 503 ошибку выдаваемую NGINX при исчерпании лимитов,а так же вопросы блокирования ботов со скоростью долбежки 1 раз в несколько секунд запрашивающих каждый раз произвольную страницу.

/etc/nginx/nginx.conf

user www-data www-data;
worker_processes 1;
worker_rlimit_nofile 80000;
 
#error_log /var/log/nginx/error.log;
 
pid /var/run/nginx.pid;
 
events {
    use epoll;
    worker_connections 50000;
}
 
http {
    include /etc/nginx/mime.types;
    default_type application/octet-stream;
 
    log_format filter '$remote_addr [$time_local] $status $bytes_sent $request_time "$request"';
 
    keepalive_timeout     10;
    send_timeout          5;
    client_body_timeout   10;
    client_header_timeout 10;
 
    tcp_nopush                on;
    tcp_nodelay               on;
    reset_timedout_connection on;
    sendfile                  on;
    server_tokens             off;
    gzip                      off;
 
    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}
 

/etc/nginx/sites-available/default

limit_req_zone $binary_remote_addr zone=req_php:10m rate=2r/s;
 
limit_zone conn_php $binary_remote_addr 10m;
limit_zone conn_static $binary_remote_addr 10m;
 
fastcgi_cache_path /var/lib/nginx/cache levels= keys_zone=fcgi_php:10m max_size=512m inactive=1d;
 
server {
    listen 80;
    server_name example.net;
 
    access_log /var/log/nginx/example.access.log filter;
 
    location = / {
        limit_req zone=req_php;
        limit_conn conn_php 2;
 
        rewrite .* /forum/index.php permanent;
    }
 
    location = /forum {
        limit_req zone=req_php;
        limit_conn conn_php 2;
 
        rewrite .* /forum/index.php permanent;
    }
 
    location = /forum/ {
        limit_req zone=req_php;
        limit_conn conn_php 2;
 
        rewrite .* /forum/index.php permanent;
    }
 
    location / {
        root /var/www/example;
        index index.php index.html index.htm;
    }
 
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /var/www/nginx-default;
    }
 
    location ~ ^/forum/attachments/.*\.php$ {
        deny all;
    }
 
    location ~ \.php$ {
        limit_req zone=req_php burst=10;
        limit_conn conn_php 4;
 
        set $userid $http_if_modified_since|$http_if_none_match|$cookie_CookieSMF;
        
        if ($http_cookie !~ CookieSMF) {
            set $userid "";
        }
 
        if ($query_string ~ ^action=dlattach\;) {
            set $userid "";
        }
 
        fastcgi_pass           127.0.0.1:9000;
        fastcgi_index          index.php;
        fastcgi_param          SCRIPT_FILENAME /var/www/example$fastcgi_script_name;
        fastcgi_pass_header    Cookie;
        fastcgi_ignore_headers Cache-Control Expires;
        fastcgi_cache          fcgi_php;
        fastcgi_cache_min_uses 2;
        fastcgi_cache_key      $request_method|$host|$request_uri|$userid;
        fastcgi_cache_valid    301 8h;
        fastcgi_cache_valid    302 404 1h;
        fastcgi_cache_valid    200 15m;
 
        include /etc/nginx/fastcgi_params;
    }
 
    limit_conn conn_static 8;
 
    location ~ \.inc$ {
        deny all;
    }
 
    location ~ \.bak$ {
        deny all;
    }
 
    location ~ \~$ {
        deny  all;
    }
 
    location ~ /\.ht {
        deny  all;
    }
}
 