Django + Python3 + Nginx + Gunicorn

кое-что адаптировано под 2018
ubuntu 18.04

Здравствуй, дорогой друг!

Затрону тему, которая не раз обсуждалась на форуме. Здесь же можете найти ссылки на многие туториалы по тому, как развернуть свой сайт на сервере.

Также есть уже готовый рецепт.

Я захотел написать вариант немножко в другой связке: Python3 (уж простите, но вот так мне приятнее), в качестве веб-сервера Nginx, в качестве http-сервера Gunicorn, размещаемся на digitalocean.com.

Внимание! Статейка моя адресована больше тем, кто делает первые шаги в разворачивании боевого сервера, она достаточно подробная и может вызвать приступы скуки и, возможно, тошноты у "бывалых".

Почему решил написать свой вариант, несмотря на то, что есть уже рецепты и на самом digitalocean.com? 4 пункта:

просто по их рецепту у меня ничего не вышло, в итоге я слепил картину из трех источников; потому что кому-то, только начавшему, мой вариант может и помочь. Чтоб не натыкались на те же грабли. Я просидел за решением проблем 3 вечера, а знал бы как правильно, сделал бы быстрее; вдруг кто-нибудь увидит в моих шагах сложность и предложит более правильное решение (я буду только рад, т.к. сам еще далеко не гуру); ну и также я оставлю это здесь, чтоб самому в перспективе обращаться. Итак! Пользоваться будем сервисом digitalocean.com (далее DO). Если еще кто-то не знаком, попробуйте. Это провайдер облачного хостинга. Для пробы используйте промо-код "radio-t" и вам на аккаунт упадет 10$ (сейчас июль 2014. Если читаете позже, код может не действовать). На минималке с одним инстансом 10$ хватит на 2 месяца.

Предположу, что вы уже зарегистрировались и денежки у вас на аккаунте уже есть.

1) Первое, что сразу посоветую сделать - создайте пару SSH и закиньте публичный на DO, для этого у них есть вкладка "SSH Keys". Далее это вам сильно облегчит жизнь.

2) Создадим инстанс (у них это называется "droplet"). Очень просто все: Нажимаете "Create" -> В поле ввода вносите имя дроплета (in english, please) -> выбираете размер -> выбираете регион (Для сайтов, которые ориентированы на Евразию, лучше выбрать Амстердам или Лондон) -> Затем выбираете дистрибутив (я ставил Ubuntu 12.04) -> жмакаете на свой ssh key (если создавали, под выбором дистрибутива должен появится пункт по этому поводу) -> и жмакаете "Create droplet". Ждете минтку.

3) Далее, если создавали ssh, заходите в терминал и коннектитесь с вашим дроплетом. Предположим, что ваш IP 111.222.333.44 (можете его найти под именем дроплета).

ssh root@111.222.333.44

Если все сделали правильно, то должно все сработать. При первом заходе, спросит вашего подтверждения, что вы хотите законнектится по этому ключу, это стандартное поведение при работе через ssh. Подтверждайте.

Если вы не захотели заморачиваться с ключами, то можете зайти в дроплет на сайте DO и кликнуть на большую синюю кнопку "Console Access". Т.е. вы будете все то же самое делать через браузер, но для входа нужен будет пароль, который DO вышлют вам на почту.

Ну, это была только прелюдия

Вот вы в консоли. Давайте установим все необходимые программы.

4) Для начала нужно сделать апгрейд

sudo apt-get update

sudo apt-get upgrade

5) Если вы следуете за мной по пятам и поставили Ubuntu 12.04, то вам следует поставить python3 (напомню, что описание для определенной связки. Если работаете на 2.х-версии, то вы молодец, вам это не нужно делать).

sudo apt-get install python3

6) Поставим nginx

sudo apt-get install nginx

7) Ставим третий pip.

sudo apt-get install python3-setuptools?

sudo apt install python3-pip
!!!!sudo easy_install3 pip

8) Virtualenv

установим само виртуальное окружение

sudo pip3 proxy 109.126.3.245:1989 install  virtualenv!!!pip3 install virtualenv #если pip не хочет, можете поставить командой easy_install3 virtualenv
sudo mkdir /opt/myenvsudo chown user:user /opt/myenv
virtualenv /opt/myenv   # myenv можете заменить на любое другое имя

user@u_18_s:~$ virtualenv /opt/myenvUsing base prefix '/usr'New python executable in /opt/myenv/bin/python3Also creating executable in /opt/myenv/bin/pythonInstalling setuptools, pip, wheel...done.user@u_18_s:~$




source /opt/myenv/bin/activate  # активируем виртуальное окружение. После этого в начале строки консоли должен появиться маркер (myenv)

(myenv) user@u_18_s:~$

Далее внутри виртуального окружения ставим необходимый пакет программ

9) Ставим django и gunicorn.

(myenv) user@u_18_s:~$ pip3 install django gunicorn

предварительно настроить прокси !!!

pip install django gunicorn
__________________________________________(myenv) user@u_18_s:~$ pip install django gunicorn
Collecting django
  Downloading https://files.pythonhosted.org/packages/51/1a/e0ac7886c7123a03814178d7517dc822af0fe51a72e1a6bff26153103322/Django-2.1-py3-none-any.whl (7.3MB)
    100% |████████████████████████████████| 7.3MB 4.5MB/s
Collecting gunicorn
  Downloading https://files.pythonhosted.org/packages/8c/da/b8dd8deb741bff556db53902d4706774c8e1e67265f69528c14c003644e6/gunicorn-19.9.0-py2.py3-none-any.whl (112kB)
    100% |████████████████████████████████| 122kB 11.1MB/s
Collecting pytz (from django)
  Downloading https://files.pythonhosted.org/packages/30/4e/27c34b62430286c6d59177a0842ed90dc789ce5d1ed740887653b898779a/pytz-2018.5-py2.py3-none-any.whl (510kB)
    100% |████████████████████████████████| 512kB 8.9MB/s
Installing collected packages: pytz, django, gunicorn
Successfully installed django-2.1 gunicorn-19.9.0 pytz-2018.5

_________________________________________

На этом все установки закончились. Теперь перейдем к тестам и запуску.

10) Создадим проект

Все стандартно: перейдем в окружение, если еще не там

cd /opt/myenv
source bin/activate

django-admin.py startproject myproject

перейдем в папку проекта

cd myproject

11) Тест gunicorn

теперь именно из папки проекта (там, где лежит manage.py) запускаем gunicorn

gunicorn myproject.wsgi:application --bind 111.222.333.44:8000  #пишете ваш ip

Теперь в строке вашего браузера наберите 111.222.333.44:8000 #пишете ваш ip

Должна появиться стартовая страница django "It worked!"

Если работает, я радуюсь вместе с вами.

Получаем ошибку:

(myenv) user@u_18_s:/opt/myenv/myproject$ gunicorn myproject.wsgi:application --bind 10.240.230.60:8000[2018-08-10 11:02:30 +0000] [3218] [INFO] Starting gunicorn 19.9.0[2018-08-10 11:02:30 +0000] [3218] [INFO] Listening at: http://10.240.230.60:8000 (3218)[2018-08-10 11:02:30 +0000] [3218] [INFO] Using worker: sync[2018-08-10 11:02:30 +0000] [3221] [INFO] Booting worker with pid: 3221Invalid HTTP_HOST header: '10.240.230.60:8000'. You may need to add '10.240.230.60' to ALLOWED_HOSTS.Bad Request: /Invalid HTTP_HOST header: '10.240.230.60:8000'. You may need to add '10.240.230.60' to ALLOWED_HOSTS.Bad Request: /favicon.ico

edit this:
(myenv) user@u_18_s:/opt/myenv/myproject/myproject$ vi settings.py

change to:

ALLOWED_HOSTS = ['*']

start again ok!

myenv) user@u_18_s:/opt/myenv/myproject$ gunicorn myproject.wsgi:application --bind 10.240.230.60:8000

start again ok!

12) Статика

К сожалению, статика к нашему проекту еще не подключена. И вы можете в этом убедиться, сделав python manage.py syncdb,

2018!

$python manage.py syncdb is deprecated and not supported now. So instead of this follow below instructions..

Whatever model you have created: First run:

$python manage.py makemigrations

After running this command you model will be reflected in a migration.

Then you have to run:

$python manage.py migrate

(myenv) user@u_18_s:/opt/myenv/myproject$ python manage.py migrateOperations to perform: Apply all migrations: admin, auth, contenttypes, sessionsRunning migrations: Applying contenttypes.0001_initial... OK Applying auth.0001_initial... OK Applying admin.0001_initial... OK Applying admin.0002_logentry_remove_auto_add... OK Applying admin.0003_logentry_add_action_flag_choices... OK Applying contenttypes.0002_remove_content_type_name... OK Applying auth.0002_alter_permission_name_max_length... OK Applying auth.0003_alter_user_email_max_length... OK Applying auth.0004_alter_user_username_opts... OK Applying auth.0005_alter_user_last_login_null... OK Applying auth.0006_require_contenttypes_0002... OK Applying auth.0007_alter_validators_add_error_messages... OK Applying auth.0008_alter_user_username_max_length... OK Applying auth.0009_alter_user_last_name_max_length... OK Applying sessions.0001_initial... OK

Then run server:

$python manage.py runserver

затем перезапустить gunicorn

(myenv) user@u_18_s:/opt/myenv/myproject$ python manage.py runserver 10.240.230.60:8000Performing system checks...
System check identified no issues (0 silenced).August 10, 2018 - 11:18:55Django version 2.1, using settings 'myproject.settings'Starting development server at http://10.240.230.60:8000/Quit the server with CONTROL-C.[10/Aug/2018 11:19:11] "GET / HTTP/1.0" 404 74[10/Aug/2018 11:19:18] "GET /admin HTTP/1.0" 301 0[10/Aug/2018 11:19:18] "GET /admin/ HTTP/1.0" 302 0[10/Aug/2018 11:19:18] "GET /admin/login/?next=/admin/ HTTP/1.0" 200 1819[10/Aug/2018 11:19:18] "GET /static/admin/css/base.css HTTP/1.0" 404 99[10/Aug/2018 11:19:18] "GET /static/admin/css/responsive.css HTTP/1.0" 404 105[10/Aug/2018 11:19:18] "GET /static/admin/css/login.css HTTP/1.0" 404 100

и зайти в админку (ваш_ip:8000/admin). Будет все без стилей.

Разместим статику в папке проекта.

Открываем settings.py либо в вашем любимом редакторе, либо через nano.

nano settings.py

и прописываем static_root

STATIC_ROOT = '/opt/myenv/myproject/static/'

сохраняем и выходим

из папки проекта запускаем

python manage.py collectstatic

в папке проекта появится папка с именем static

(myenv) user@u_18_s:/opt/myenv/myproject$ python manage.py collectstatic
119 static files copied to '/opt/myenv/myproject/static'.(myenv) user@u_18_s:/opt/myenv/myproject$ ls /opt/myenv/myproject/staticadmin

13) Настроим nginx

перейдем по следующему пути

cd /etc/nginx/sites-available/

открываем файлик default

nano default

Удаляем оттуда все и пишем

server {
    listen 80;
    server_name 111.222.333.44; #либо ip, либо доменное имя
    access_log  /var/log/nginx/example.log;

    location /static/ {
        root /opt/myenv/myproject/;
        expires 30d;
    }

    location / {
        proxy_pass http://127.0.0.1:8000; 
        proxy_set_header Host $server_name;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
  }

Сохраняем, выходим.

14) "Поехали!" (с)

возвращаемся в папку проекта

cd /opt/myenv/myproject

Перезапустим nginx

sudo service nginx restart

Запустим gunicorn

gunicorn myproject.wsgi:application


(myenv) user@u_18_s:/opt/myenv/myproject$ gunicorn myproject.wsgi:application   [2018-08-10 11:42:27 +0000] [1637] [INFO] Starting gunicorn 19.9.0
[2018-08-10 11:42:27 +0000] [1637] [INFO] Listening at: http://127.0.0.1:8000 (1637)
[2018-08-10 11:42:27 +0000] [1637] [INFO] Using worker: sync
[2018-08-10 11:42:27 +0000] [1640] [INFO] Booting worker with pid: 1640

В браузере набираем 111.222.333.44

It worked!

15) Supervisor.

Чтобы наше приложение стратовало после любого непредвиденного ребута или сбоя, нам нужно обзавестись supervisor-ом.

Установим supervisor

apt-get install supervisor

Создадим конфиг файл для gunicorn

cd /opt/myenv/myproject/myproject #лучше делать именно в каталоге с settings.py
touch gunicorn.conf.py

Открываем на редактирование

nano gunicorn.conf.py

или

vi /opt/myenv/myproject/myproject/gunicorn.conf.py

Вносим

bind = '127.0.0.1:8000'
workers = 3
user = "nobody" ## changed to "user" fo me

создадим конфиг файл для супервизора

cd /etc/supervisor/conf.d/
touch myproject.conf

Откроем

nano myproject.conf

или
sudo vi /etc/supervisor/conf.d/myproject.conf

Внутрь внесем

[program:myproject]
command=/opt/myenv/bin/gunicorn myproject.wsgi:application -c /opt/myenv/myproject/myproject/gunicorn.conf.py
directory=/opt/myenv/myproject
user=nobody ## changed to user fo me

autorestart=true
redirect_stderr=true

Команды для supervisor

sudo supervisorctl rereadsudo supervisorctl update
sudo supervisorctl status myproject
sudo supervisorctl restart myproject

После старта роверяем свой сайт в браузере. Должен работать.

Останавливаем машину

sudo shutdown -r now

Или можно просто вырубить инстанс

Заводим и проверяем. Все должно работать.

Create django addmin

source /opt/myenv/bin/activate

python /opt/myenv/myproject/manage.py createsuperuser

user@u_18_s:~$ source /opt/myenv/bin/activate
(myenv) user@u_18_s:~$ cd /opt/myenv/myproject

(myenv) user@u_18_s:/opt/myenv/myproject$ python manage.py createsuperuser
Username (leave blank to use 'user'): admin
Email address:
Password:
Password (again):
Superuser created successfully.

заходим на : ..../admin

получаем

OperationalError at /admin/login/ attempt to write a readonly database

решение было :

vi /opt/myenv/myproject/myproject/gunicorn.conf.py

Вносим

bind = '127.0.0.1:8000'
workers = 3
user = "nobody" ## changed to "user" fo me=======================================================
sudo vi  /etc/supervisor/conf.d/myproject.conf






Внутрь внесем

[program:myproject]
command=/opt/myenv/bin/gunicorn myproject.wsgi:application -c /opt/myenv/myproject/myproject/gunicorn.conf.py
directory=/opt/myenv/myproject
user=nobody ## changed to user fo me

autorestart=true
redirect_stderr=true======================================================

Обязательные правки для боевого.

1) в settings.py

DEBUG = False  #так должно быть

2) Но при debug = False обязательно нужно указать ALLOWED_HOSTS. Это, по идее, должен быть ваш домен

3) если вы просто скопировали проект из другого места, то лучше заменить SECRET_KEY

=======================================================

Какие еще могут появиться проблемы?

Невероятные кейсы

Кейс 1

Если вы запустили gunicorn, а после этого вышли из терминала, вспомнили, что хотели еще небольшие правки внести. Зашли снова в терминал. Внесли правки. Перезапустили nginx. Запускаете gunicorn, а он выдет вам следующее:

Retrying in 1 second… # несколько раз
Can't connect to ваш_IP

Есть вероятность, что просто ваш процесс gunicorn уже запущен.

Проверяем.

ps xa | grep gunicorn

если появилась портянка с гоникорнами, то так и есть

убиваем процесс

killall gunicorn

затем запускаем.

Кейс 2

Если вы создали дроплет и зашли по ключу, а потом этот дроплет кикнули, а потом снова создали ))))), есть вероятность, что вам дадут тот же IP. В этом случае при коннекте по ssh может ругнуться на ошибку. Не беспокойтесь! Откройте known_hosts (данный файл содержит список адресов и соответствующих им публичных ключей. лежит в .ssh на вашем компьютере) и почистите его. (Не самый лучший способ, если у вас несколько уже "настроенных" пар ключей).

UPD: Похожий гайд на английском.
upd2
https://gist.github.com/postrational/5747293
http://michal.karzynski.pl/blog/2013/06/09/django-nginx-gunicorn-virtualenv-supervisor/

Не забыть

воскресенье, 12 августа 2018 г.

03_Testing_django

понедельник, 6 августа 2018 г.