Добро пожаловать на планету openSUSE

Это агрегатор блогов собирающий записи членов openSUSE сообщества

Для того чтобы добавить ваш блог в агрегатор, пожалуйста прочтите инструкцию.

Воскресенье
05. Сентябрь 2010

Ilya Chernykh: yast2-control-center-qt3

@ 08:06 UTC

face

Те, кто использует KDE3 на системах OpenSUSE 11.2, 11.3 и Factory, возможно, обрадуются появлению в репозитории KDE:KDE3 пакета yast2-control-center-qt3 - фронтенда для Yast, основанного на Qt3. Пока включен только Центр Управления Яста, а сами модули по-прежнему основаны на Qt4. Кроме того, пакет не включает переводы, но их можно установить отдельно из репозитория для OpenSUSE 11.1.

Пятница
03. Сентябрь 2010

Antony Reznik: Разница между openSUSE и SUSE Linux Enterprise

@ 14:22 UTCmember

face

Увидел в сети на днях замечательный пост, об отличиях openSUSE и SUSE Linux Enterprise. Читать здесь.

Главная фишка поста, пожалуй, в таблице. Четко показана разницу между дистрибутивами.

Кстати, там же пост про коробочную версию openSUSE. С картинками! :)

Anton Chernyshov: Система инициализации Systemd. Часть II

@ 11:28 UTC

face

Это продолжение начатого тут.




Собираем все вместе - systemd


Выше я объяснил, что должен делать хороший процесс с PID 1 и как работают существующие системы инициализации. Перед тем как перейти к самому главному, давайте сделаем еще паузу. Сходите налейте себе еще кружечку кофе. Это того стоит.

Как вы, наверное, уже догадались, те требования и возможности для идеальной системы инициализации, что я предложил выше, существуют уже сейчас в системе инициализации, названной нами systemd, которую я и хочу тут представить. Здесь ее код. Ниже приведен краткий список ее особенностей и их обоснование.

Поскольку systemd запускает и контролирует всю систему, отсюда и ее название. Она реализует все возможности, указанные выше, и еще кое-что. Система построена на концепции модулей (units). Модули имеют имя и тип. Поскольку их конфигурация обычно загружается из файловой системы - названия модулей на самом деле представляют собой имена файлов. Например: модуль avahi.service считывается из конфигурационного файла с тем же именем и естественно, что он реализует работу с демоном Avahi. Существует несколько видов модулей: 
  • service/сервис: наиболее очевидный тип модуля: это демоны, которые могут быть запущены, остановлены, перезапущены или перезагружены. Для совместимости с SysV в systemd помимо собственных файлов конфигурации для различных сервисов имеется возможность чтения классических скриптов инициализации SysV, а также она умеет разбирать заголовок LSB, если он существует. /etc/init.d является, следовательно, не более, чем просто еще одним источником конфигурации.
  • socket/сокет: данный модуль реализует сокет, расположенный в файловой системе или в Интернете. В настоящее время поддерживаются сокеты AF_INET, AF_INET6, AF_UNIX типов stream, datagram и последовательных пакетов (sequential packet). Также поддерживаются классические буферы FIFO. Каждый модуль типа «сокет» имеет соответствующий ему модуль «сервис», который запускается при попытке установки соединения с сокетом или буфером FIFO. Пример: nscd.socket при установке соединения запускает nscd.service.  
  • device/устройство: этот модуль реализует устройство в дереве устройств Linux. Если устройство описано через правила udev, оно будет представлено в systemd как модуль устройство. Набор параметров устройства, установленный udev, будет использоваться systemd как исходный в определении зависимостей для этого типа модулей. 
  • mount/точка монтирования: модуль реализует точку монтирования в файловой системе. systemd контролирует все точки монтирования (их подключение и отключение), а также может быть использована для монтирования и размонтирования отдельных файловых систем. Файл /etc/fstab используется как дополнительный источник конфигурации для них, подобно тому, как сценарии инициализации SysV могут быть использованы в качестве дополнительного источника конфигурации для модулей service. 
  • automount/точка монтирования с автоматическим подключением: модуль реализует точку монтирования с автоматическим подключением файловой системы. Каждый такой модуль имеет соответствующий ему модуль типа mount, который запускается (т.е. подключается), как только монтируемая файловая система становится доступной. 
  • target/указатель: данный тип модулей используется для логической группировки других модулей: на самом деле сам по себе он ничего не делает, он просто указывает на другие модули, которыми таким способом можно управлять вместе. В качестве примера можно привести модули multi-user.target, который играет роль 5-го уровня запуска в классической схеме SysV, и bluetooth.target, активируемый, как только становится доступен Bluetooth-адаптер, и запускающий сервисы, имеющие отношение к Bluetooth (которые обычно не запущены - bluetoothd и obexd) (т. е. по сути это придет на смену традиционным уровням запуска SysV - прим. перев.). 
  • snapshot/снимок: подобно предыдущему типу модулей снимки также ничего не делают сами, и их единственное преданзначение заключается в ссылке на другие модули. Снимки могут быть использованы для сохранения состояния и возможности отката назад состояния всех служб и модулей системы инициализации. Он, главным образом, предназначен для двух случаев. Первый, чтобы позволить пользователю временно перевести систему в какое-то специфичное состояние, например, однопользовательский режим с остановкой всех работающих сервисов, а затем легко вернуться в предыдущее состояние с одновременным запуском тех сервисов, которые были перед этим запущены. Второй вариант его использования - поддержка режима suspend: достаточно много сервисов не могут корректно работать с этой системой, и зачастую их лучше остановить перед засыпанием, а потом просто запустить.

Приведенные модули могут иметь зависимости друг от друга (как положительные, так и отрицательные, т. е. бывает, что одни без других не могут обойтись, а другие, наоборот, не могут терпеть друг друга): например, модуль устройство может зависеть от какого-то модуля сервис, т.е. как только устройство становится доступным - запускается определенный сервис. Модули mount имеют неявную зависимость от устройства, которое они пытаются смонтировать. Также они наследуют неявные зависимости от префиксов путей к точкам монтирования (например, модуль, подключающий /home/lennart, неявно зависит от модуля, подключающего /home)и так далее.

Краткий перечень остальных функциональных возможностей:
  1. Для каждого порожденного процесса вы можете контролировать: среду исполнения, ограничения ресурсов, рабочую и корневую директории, umask, настройки OOM killer, параметр nice, класс и приоритет операций ввода-вывода, политику и приоритеты использования процессора, привязку к процессору, таймер, идентификаторы пользователя, основной и дополнительных групп, списки директорий, доступных для чтения/записи, список директорий, доступ к которым запрещен, флаги монтирования, биты безопасности, параметры, относящиеся к планировщику процессора CPU, области видимости /tmp, привязку к cgroup для различных подсистем. Также можно присоединить stdin/stdout/stderr сервисов к syslog, /dev/kmsg, произвольным TTY. Если вы присоединяете TTY ко входу systemd - удостоверьтесь в том, что процесс получает эксклюзивный доступ. 
  2. Каждый запущенный процесс получает собственную cgroup (в текущем состоянии разработки по умолчанию они создаются в подсистеме debug, поскольку она все равно не используется). С помощью systemd также легко помещать отдельные сервисы в различные cgroups, причем, это можно сделать из пользовательского пространства, например, посредством утилит libcgroups. 
  3. Файлы конфигурации systemd имеют синтаксис, аналогичный используемому в файлах .desktop, который прекрасно разбирается (parse) многими имеющимися утилитами и имеет все необходимое для интернационализации. Поэтому администраторам и разработчикам не нужно учить новый синтаксис. 
  4. Как упоминалось выше, мы (Здесь и далее под "мы" понимаются разработчики и сама systemd, надо смотреть по контексту. Обычно это нормально, когда автор осознает свое единство со своим творением :). Список основных разработчиков приведен в конце этой статьи. Прим. перев.) обеспечиваем совместимость со скриптами SysV, дополнительно к этому обрабатываются заголовки LSB и утилиты chkconfig RedHat. Если их нет, просто используется любая доступная информация (такая, как приоритеты запуска сервисов) из /etc/rc.d. Поскольку эти скрипты начинают просто читать другой источник конфигурации, обновиться с SysV на systemd достаточно легко. Дополнительно мы можем читать классические PID-файлы сервисов, чтобы определить PID главного демона. Также мы можем использовать информацию о зависимостях из LSB-заголовка скрипта и транслировать ее в «родной» формат описания зависимостей для systemd. Важное замечание: Upstart не может использовать эту информацию. Во время запуска Upstart, в отличие от systemd, не распараллеливает запуск большей части скриптов LSB и/или SysV. Фактически, для Upstart все скрипты SysV - это одно исполняемое задание (Тут опять автор немного лукавит. В Upstart просто оставлен слой совместимости со скриптами SysV, который действительно работает, как описано. Но это именно что слой совместимости с теми службами, управляющие скрипты которых по каким-то причинам пока не отконвертированы в "родной" формат для Upstart, а не "злостная недоработка" разработчиков Upstart. Прим. перев.).
  5. Аналогичным образом, существующий файл /etc/fstab читается и используется как еще один источник конфигурации. А с использованием опции comment= fstab вы даже можете отметить отдельные записи в этом файле, чтобы передать их под контроль systemd (для обеспечения работы функционала автоматического монтирования). 
  6. Если для одного сервиса существует несколько файлов конфигурации (например, есть два файла /etc/systemd/system/avahi.service и /etc/init.d/avahi), тогда "родной" формат файлов имеет преимущество. Устаревший формат файлов игнорируется, позволяя легко провести обновление. 
  7. Мы также поддерживаем механизм использования шаблонов. Например, вместо того, чтобы иметь шесть одинаковых конфигурационных файлов для шести getty, у нас есть только один файл getty@.service, который используется сервисом getty@tty2.service и аналогичными ему. Интерфейсная часть также может наследоваться выражениями, описывающими зависимости, т. е. легко понять, что сервис dhcpcd@eth0.service запускается сервисом avahi-autoipd@eth0.service. 
  8. Для активации сервисов посредством сокетов, мы поддерживаем полную совместимость с традиционной моделью inetd, а также простой режим, имитирующий работу launchd, который рекомендуется к использованию для вновь создаваемых сервисов. Режим совместимости с inetd позволяет передавать запускаемому демону только один сокет, в то время как "родной" режим работы позволяет передавать произвольное количество дескрипторов файлов. Мы поддерживаем как режим с одним экземпляром сервиса на одно соединение, так и с одним экземпляром на все соединения. Например: sshd.socket может запускать сервис sshd@192.168.0.1-4711-192.168.0.2-22.service с cgroup sshd@.service/192.168.0.1-4711-192.168.0.2-22 (т. е. IP-адрес и номера портов используются в качестве имен). Для сокетов AF_UNIX, используется PID и идентификатор пользователя присоединяющегося клиента. Это предоставляет администратору прекрасный инструмент для определения различных экземпляров одного и того же демона и контроля за ним. «Родной режим» передачи сокета легко реализовать в приложениях: переменная $LISTEN_FDS, если она установлена, содержит количество передаваемых сокетов, и демон может найти их в файле .service, начиная с файлового дескриптора 3 (хорошо написанный демон также может использовать fstat() and getsockname() для идентификации сокетов в случае, если их больше одного). В дополнение мы устанавливаем переменную $LISTEN_PID, содержащую PID главного демона, который получает сокеты, потому что переменные среды обычно наследуются дочерними процессами, что может несколько запутать процессы, находящиеся далее в цепочке. Поскольку логика передачи сокетов очень проста, мы предоставляем примерную реализацию этого процесса под лицензией BSD. Также мы портировали множество существующих демонов на эту схему. 
  9. Мы предоставляем совместимость с интерфейсом /dev/initctl. Эта совместимость фактически реализована с помощью сервиса, активируемого посредством FIFO, который просто транслирует устаревшие запросы в запросы D-Bus. На практике это означает, что старые команды shutdown , poweroff и аналогичные им из Upstart и sysvinit будут работать с systemd. 
  10. Мы предоставляем совместимость с utmp и wtmp. Код, который это делает, выглядит гораздо более жизнеспособным, чем эти файлы :).
  11. systemd поддерживает несколько типов зависимостей между модулями. After/Before могут использоваться для определения последовательности запуска. Requires/Wants определяет статус зависимости, является она обязательной или опциональной. И наконец, Conflicts определяет отрицательный характер зависимости (т. е. две и более службы, у которых в зависимостях указана Conflicts, не смогут быть запущены одновременно - прим. перев.). Есть также еще три, менее часто используемые типы-зависимостей. 
  12. systemd построена как система с минимумом транзакций. Это означает: если модуль запросил запуск или остановку, мы добавляем его и все его зависимости во временную транзакцию. Затем проверяем целостность этой транзакции, т.е. последовательности обработки зависимостей After/Before для всех модулей на возможность появления циклических зависимостей. Если они есть, systemd пытается исправить ситуацию путем удаления из транзакции «несущественных» (non-essential) заданий. Также systemd пытается убрать из транзакции такие из «несущественных» заданий, которые могут остановить какой-либо другой сервис (не имеющий отношение к останавливаемому модулю). «Несущественными» являются такие задания, которые не относятся к оригинальному запросу, но при этом помещены в очередь на основе зависимостей Wants. В заключение проверяется, могут ли задания в транзакции противоречить заданиям, которые уже находятся в очереди и, если возникла такая ситуация, транзакция отменяется. Если все сработало корректно, транзакция целостна и минимизирована по количеству операций, она ставится в очередь на исполнение. В сухом остатке это означает, что перед запуском запрошенной операции мы проверяем, имеет ли смысл ее вообще выполнять, если возможно, исправляем возникшие ошибки, и затем ничего не делаем, если операцию выполнить невозможно. 
  13. Мы записываем время запуска/остановки, PID и статус завершения для каждого из порождаемых и/или контроллируемых процессов. Эти данные позволяют увязать демоны с их данными в abrtd, auditd и syslog и создать интерфейс, который выделял бы упавшие демоны и предоставлял бы всю необходимую о них информацию.
  14. Мы также реализовали самостоятельный перезапуск процесса init в любое время по требованию. Состояние демона замораживается перед этим и размораживается после. Таким образом мы упрощаем онлайнового обновления с SysV init на systemd, а также передачу полномочий от остановленного к перезапущенному демону. Запросы к открытым сокетам и точкам монтирования autofs, как уже отмечалось выше, будут корректно упорядочены и поставлены в очередь ядром, поэтому клиенты даже не почувствуют, что что-то вообще произошло. Поскольку большая часть информации о состоянии обслуживаемых systemd процессов хранится в виртуальной файловой системе cgroup, это позволяет нам не прерывать их исполнения из-за невозможности доступа к данным init. Код, реализующий перечитывание конфигурации init, является общим с кодом его перезапуска. 
  15. Избавляясь от shell-скриптов в процессе запуска системы, мы переписали основную их часть на C и поместили непосредственно в systemd. В частности, это код таких операций как монтирование виртуальных файловых систем /proc, /sys and /dev и установка имени хоста. 
  16. Состояние сервиса доступно и может контроллироваться через D-Bus (за это Upstart не пинал только самый ленивый - прим. перев.). Правда, эта возможность пока не реализована и находится в стадии активной разработки. 
  17. Мы придаем особое значение активации сервисов посредством сокетов либо через D-Bus (и, следовательно, поддерживаем обработку соответсвующих зависимостей). В то же время мы поддерживаем традиционные зависимости только между сервисами. Также поддерживается несколько способов, которыми сервис может сообщить о своей готовности: путем вызова fork() и завершением родительского процесса (традиционное поведение daemonize()) и посредством публикации своего имени на D-Bus.
  18. Существует интерактивный режим, который запрашивает подтверждения для каждого из процессов, порождаемого systemd. Вы можете включить это, передав параметр systemd.confirm_spawn=1 в строке параметров ядра.
  19. С помощью параметра systemd.default= в строке параметров ядра вы можете указывать, какой из модулей systemd нужно запускать при загрузке системы. Обычно здесь находится что-то вроде multi-user.target, но можно указать и какой-то один сервис вместо модулей типа «указатель», к примеру, «из коробки» мы поставляем сервис emergency.service, который по своему назначению подобен параметру init=/bin/bash, но по сравнению с ним имеет то преимущество, что можно запустить полнофункциональную систему прямо из оболочки восстановления от сбоев (emergency shell). 
  20. Также есть минимальный пользовательский интерфейс, позволяющий запускать/останавливать сервисы и наблюдать за ними. Правда, он еще далек от завершения, но вполне может использоваться как утилита для поиска ошибок. Он написан на Vala и называется systemadm.

Следует также заметить, что systemd использует много специфичных для Linux возможностей, не ограничиваясь стандартами POSIX. Это позволяет использовать огромное количество возможностей Linux, разработанных для портируемости, которые остальные системы не предоставляют.

Состояние разработки


Значительная часть перечисленных выше возможности уже реализована. В настоящее время systemd уже может использоваться как полноценная замена для Upstart и sysvinit (по крайней мере, пока не все сервисы еще отконвертированы в формат Upstart, за что спасибо разработчикам основных дистрибутивов).

Однако объем тестирования systemd минимальный, поэтому номер версии, которую мы имеем на сегодняшний день - это абсолютный и великолепный НОЛЬ. Так что, если решитесь использовать ее в таком виде, как она есть, ждите появления некоторого количества неожиданных проблем (автор намекает на необходимость обязательного наличия бубна при использовании systemd на рабочих машинах - прим. перев.). Другими словами, все должно работать почти стабильно. Кое-кто из нас был настолько смел, что загружал наши рабочие машины с помощью systemd (не только виртуальные, но и те, которые мы обычно используем для разработки). В общем, тут как повезет, особенно если пробовать systemd на дистрибутивах, которые мы - разработчики - не используем.

Предполагаемые направления развития


С набором возможностей, описанным выше, все понятно. Однако у нас в планах есть еще кое-что. Я на самом деле не люблю много говорить о больших планах, но ниже приведу небольшой обзор того, что мы еще планируем сделать.

Мы хотим добавить, по крайней мере, два типа модулей. Первый - это swap, который будет контролировать разделы подкачки теми же способами, которыми мы контролируем точки монтирования, т. е. автоматическое разрешение зависимостей для тех устройств, на которых они расположены. Второй - это timer, обеспечивающий функционал, подобный cron, т. е. возможность запускать сервисы по определенным временным событиям, используя как обычные временные интервалы, так и календарные даты (т. е. «запустить через 5 часов после последнего запуска» и «запускать каждый понедельник в 5 часов»).

Более важно часть наших планов - это не только экспериментировать с systemd для оптимизации времени запуска, но также сделать из него полноценный и идеальный менеджер сессий, чтобы заменить (или, по крайней мере, попытаться) gnome-session, kdeinit и подобные демоны. Набор проблем и задач, которые надо решить для менеджера сессий и системы инициализации по большому счету один и тот же: максимально быстрый запуск жизненно важных частей и выполнение функций няньки по отношению к запущенным процессам. Для этого можно использовать тот же код. В Apple для этого похожим образом используется launchd. Поэтому мы хотим использовать описанные выше способы активации сервисов через сокеты и D-Bus и максимальную параллелизацию запуска процессов и для менеджера сессий и для системных сервисов.

Надо отметить, что все эти возможности уже частично доступны (но реализованы не до конца) в существующей кодовой базе. Например, запускать systemd из-под обычного пользователя уже можно; он даже определяет, что запущен именно таким способом. Поддержка этого режима доступна с самого начала его разработки (Этот режим полезно использовать для отладки! Для его работы нет необходимости полностью конвертировать систему в формат systemd).

Однако есть некоторые вещи, которые мы должны предварительно исправить в ядре и в пользовательском пространстве, прежде чем закончить работу над systemd: нам нужны извещения об изменениях состояния подкачки, способом подобным тому, как сейчас работает с монтирование файловых систем; мы также хотим реализовать извещения когда CLOCK_REALTIME перескакивает на CLOCK_MONOTONIC; мы хотим позволить обычным процессам получить часть возможностей init; нам нужно хорошо документированное и общепризнанное место, куда нам нужно положить сокеты. Ничего из этого не является жизненно необходимым для systemd, но может здорово ее улучшить.

Вы хотите увидеть systemd в действии?


Мы пока еще не выпускали релизов, поэтому у нас нет готовых тарболов. Но если вам очень хочется, вы всегда можете сделать снимок с нашего текущего репозитория (git). В дополнение, чтобы вы вообще могли что либо запустить, здесь можно скачать тарбол с конфигурационными файлами для модулей, которые позволяют немодифицированной Fedora13 работать с systemd. У нас пока нет готовых RPM, чтобы их предложить вам.
Самый легкий путь - это скачать этот образ Fedora 13 для qemu, который специально приготовлен для systemd. В меню grub вы сможете выбрать - будете ли вы грузиться с помощью Upstart или с помощью systemd. Эта система имеет минимальный набор модификаций. Информация о сервисах читается исключительно из существующих скриптов SysV. «Благодаря» этому мы не получаем всех преимуществ от активации сервисов посредством сокетов и D-Bus. Но особенности systemd позволяют параллелизовать запуск сервисов только на основе чтения заголовков LSB и уже только это позволяет нам грузиться быстрее, чем через Upstart. Образ сконфигурирован таким образом, чтобы выдавать информацию для отладки на последовательную консоль и в буфер ядра для ведения логов (просматриваемый с помощью dmesg). Поэтому необходимо сконфигурировать для qemu поддержку виртуального последовательного терминала. В качестве всех паролей установлен systemd.

Еще более простой путь - это посмотреть на эти прекрасные скриншоты. На первом приведен интерфейс утилиты systemadm:



Здесь показан список загруженных модулей и вывод детальной информации об одном из экземпляров getty.



Это вывод команды ps xaf -eo pid,user,args,cgroup, показывающей насколько аккуратно все процессы отсортированы по своим cgroups (Это показывает четвертая колонка с префиксом debug: такой префикс используется по той причине, что мы пока используем специальный контроллер cgroup для отладки. Это описывалось выше.)

К сожалению, у нас пока еще нет графиков загрузки или еще каких-то данных по времени запуска системы. Мы их опубликуем, как только сможем полностью параллелизовать запуск всех сервисов, поставляемых в Fedora. В тоже время, мы приветствуем проведение ваших собственных тестов и публикацию их результатов.

У меня пока есть только две цифры, которые я могу вам привести. Но они пока не заслуживают доверия, поскольку измерялись по времени загрузки виртуальной машины (один процессор). Fedora 13 грузится с помощью Upstart 27 секунд, с помощью systemd - 24 (от grub до gdm, с одними и теми же настройками, цифры измерены один раз, один запуск следовал за другим). Следует помнить, что цифры показывают только преимущество от использования параллелизации запуска скриптов на основе информации из их LSB заголовка. Поскольку не использовалась активация сервисов посредством сокетов или D-Bus - эти цифры по сути ничего не показывают.

Написание демонов


Идеальный демон, полноценно использующий возможности systemd должен делать некоторые вещи способами, отличными от традиционного поведения. Позже, мы опубликуем подробное руководство по написанию демона для использования с systemd. Ниже приведено краткое описание того, что нужно для разработчиков демонов:
  • Мы просим разработчиков не вызывать fork () (или даже двойной fork()) в своих процессах, используя цикл событий основного процесса, который systemd вызывает для вас. Также не вызывайте setsid().
  • Не стоит сбрасывать привилегии (имеется в виду, когда демон не должен быть запущен с root-привилегиями, прим. перев.) с помощью самого демона, предоставьте сделать это systemd и настраивайте это в ее конфигурационных файлах (Тут есть несколько исключений. К примеру, для некоторых демонов нужно сбрасывать привилегии только посредством самого демона после стадии инициализации, которая требует повышенных полномочий).
  • Не надо создавать PID-файлы. 
  • Имя демона следует получать с D-Bus.
  • Если вы хотите использовать возможности systemd для ведения логов, сбрасывайте все, что нужно включить в логи, на stderr.
  • Предоставьте systemd создать и обслуживать сокет для вас, благодаря чему будет работать активация посредством сокетов. Для этого нужно использовать $LISTEN_FDS и $LISTEN_PID как описывалось выше.
  • Используйте SIGTERM для остановки своего демона.

Все что приведено выше аналогично тому, что Apple рекомендует для демонов, совместимых с launchd. В то же время демоны, поддерживающие launchd легко портировать на systemd. Заметьте, что systemd (для совместимости) поддерживает и демоны, которые не поддерживают того, что описано выше. Демоны, совместимые с inetd, для активации посредством сокетов можно использовать без каких-либо модификаций. И, конечно же, как только systemd подтвердит свою жизнеспособность в наших экспериментах и начнет адаптироваться дистрибутивами - будет необходимо портировать на нее, по крайней мере, те сервисы, которые должны быть запущены по умолчанию. Мы уже пишем концепцию патчей и тогда процесс портирования станет очень легким. Кроме того, в определенной степени, мы можем использовать ту работу, которая уже была проделана для launchd. И, более того, демон, поддерживающий активацию посредством сокетов, не становится от этого несовместимым с системами отличными от systemd.

Часто задаваемые вопросы


Кто основные разработчики?
Большая часть кодовой базы - моя собственная работа, Lennart Poettering (Red Hat). Однако, общий дизайн и его отдельные детали - это результат моего взаимодействия с Kay Sievers (Novell). Также в проекте участвуют Harald Hoyer (Red Hat), Dhaval Giani (бывший сотрудник IBM), и многие другие из таких компаний как Intel, SUSE and Nokia.
 
Это проект Red Hat?
Нет, это мой персональный проект. И позвольте мне подчеркнуть: мнение, отраженное в данной статье - это только мое мнение. Это ни мнение моего работодателя, ни Рональда МакДональда, ни кого бы то ни было еще.
 
Увидим ли мы это в Fedora?
Если наши эксперименты покажут что наши подходы работают, если сообщество Fedora выскажется в поддержку, тогда да, мы увидим systemd в Fedora.    
 
Увидим ли мы это в OpenSUSE?
Этим занимается Kay, но думаю, что все будет также же, как и в Fedora.
 
Увидим ли мы это в Debian/Gentoo/Mandriva/MeeGo/Ubuntu/[Моем_любимом_дистрибутиве]?
Это вопрос к их разработчикам. Мы можем только приветствовать их интерес и помочь с интеграцией.
 
Почему бы не добавить все вышеперечисленное в Upstart, зачем было изобретать что-то новое? 
Недостатки Upstart приведены выше, так же было показано, что ее основной дизайн, по нашему мнению, ущербен. Этот проект выглядит, как имеющий кучу недостатков в своей основе. Однако, имейте в виду, что это не помешало нам найти много идей для вдохновения в кодовой базе Upstart.
 
Если вам так нравится launchd, почему было бы просто не адаптировать ее?
launchd - прекрасное изобретение, но я не уверен, что она хорошо впишется в Linux, более того, она вообще никак не вяжется по своему дизайну ни с его (Linux) масштабируемостью, ни с его гибкостью.    
Это проект NIH?
(Тонкий укол, намекающий на то, что разработчики пошли по собственному пути только по причине того, чтобы начать свой собственный проект. Проект ради проекта. Прим. перев.)
Я надеюсь, что ясно пояснил текстом выше, почему мы пошли по своему собственному пути, вместо того, чтобы использовать как основу Upstart или launchd. Мы начали разработку по техническим, а не политическим причинам. И не забывайте, что это Upstart, а не systemd, включает библиотеку NIH (которая является, своего рода, новой релизацией glib).    
 
Будет ли systemd работать на [моей_любимой_операционной_системе_отличной_от_ Linux]?
Маловероятно. Выше мы отметили systemd использует много специфичных для Linux API (таких как as epoll, signalfd, libudev, cgroups и т.п.), поэтому портирование его на другую операционную систему выглядит (по нашему мнению), как не стоящий своих затрат. Мы, разработчики проекта, не заинтересованы в работе, предполагающей портирование на другие платформы. Для тех, кто заинтересован в этом, мы можем только сказать, что git хорошо поддерживает концепцию ветвей (branches).
Скажу больше, портируемость ограничивается не только окружением, в котором работает systemd: нам нужны самые последние версии ядра Linux, glibc, libcgroup и libudev.
Если кто-либо хочет сделать нечто подобное для других операционных систем, можем предложить приемлемый режим взаимодействия: мы поможем вам определить какие интерфейсы являются общими с вашей системой, сделаем немножко легче жизнь тех, кто будет писать демоны для systemd и ее аналога. Мы можем помочь идеями, но не кодом.    
 
Я слышал, что [система загрузки Gentoo, initng, Solaris SMF, runit, uxlaunch, что-то еще] - это реально классная система инициализации, которая также позволяет параллелизовать запуск, почему бы не использовать ее как основу?
Прежде чем начать разрабатывать systemd мы изучили имеющиеся системы и ни одна из них не зацепила нас (естественно, за исключением launchd). Если вы этого никак не можете заметить - прочтите приведенный выше текст еще раз.

Помощь проекту 

 

Мы очень заинтересованы в патчах и другой помощи. В этом смысле наш проект ничем не отличается от любых других проектов свободного ПО, основные преимущества которых заключаются в как можно более широком взаимодействии с сообществом. И это, действительно, большей частью правда для такой фундаментальной части системы, как система инициализации. Нам ценно взаимодействие с вам, поэтому мы не требуем передачи прав (в отличие от Canonical/Upstart!). Мы также используем git, как всеми любимую систему контроля версий!
Мы сильно заинтересованы в том, чтобы systemd заработал на других дистрибутивах, отличных от Fedora и openSUSE (Эй, кто-нибудь из Debian, Gentoo, Mandriva, MeeGo, не хотите ли заняться этим?). Ну и помимо перечисленного, нам нужны коллеги любого уровня: мы приглашаем программистов на С, майнтейнеров пакетов, заинтересованных в написании документации или разработке логотипа.

Сообщество 

 

В настоящее время, все что у нас есть - это репозиторий с исходным кодом и IRC-канал (#systemd на Freenode). Нет списков рассылки, веб-сайта или системы отслеживания ошибок. Возможно, что скоро у нас будет нечто подобное на freedesktop.org. Если у вас есть некоторые вопрос, которые вы хотите задать нам, мы приглашаем вас к нам на IRC-канал!



Anton Chernyshov: Система инициализации Systemd. Часть I

@ 09:38 UTC

face
Наверное, все уже слышали о новой системе инициализации systemd, которая разрабатывается под опекой Red Hat и Novell. Я решил перевести описание работы этой системы от ее автора из его же блога. Сама статья оказалась слишком большой, поэтому выкладываю пока только ее первую часть. Вторую часть я выложу в течение пары дней. Ссылка на оригинал традиционно приведена в конце поста. Также традиционно, мои комментарии по тексту приведены курсивом.


Если вы в теме и умеете хорошо читать между строк, то уже знаете, о чем пойдет речь. Но, думаю, все равно вам будет интересна эта статья. Поэтому налейте себе чашечку кофе, садитесь и читайте о том, что грядет.
История долгая, а для тех, кто не хочет читать целиком, скажу вкратце: мы экспериментируем с новой системой инициализации, и это весело!
Здесь код. А вот сама история:


Роль процесса с PID 1

 

Каждая Unix-система имеет процесс со своим специальным идентификатором, равным 1. Этот процесс запускается ядром прежде всех остальных и является родительским процессом для всех процессов, которые не имеют собственного родителя. Благодаря этому он может делать много чего такого, что не могут остальные процессы. Например отвечает за такие вещи, как инициализация и поддержка работы пользовательского пространства в процессе загрузки системы.

Исторически на Linux в качестве такого процесса выступает старый добрый sysvinit, преклонный возраст которого сказывается все чаще и чаще. Многие пытались предложить ему замену, но реально прижился только Upstart (что интересно, один из вариантов перевода слова «upstart» - «выскочка» - прим. перев.), который уже нашел свое место во всех основных дистрибутивах.

Как уже отмечалось выше, главная обязанность init'а - максимально быстро инициализировать и сделать доступным пользовательское пространство. К сожалению, традиционная схема инициализации SysV делает это не так быстро, как хотелось бы.
Для организации быстрого и эффективного процесса загрузки системы решающее значение имеет следующее:
  • Запустить минимум необходимого.
  • Попытаться запустить параллельно всё остальное.

Что это означает на практике?
Запустить минимум необходимого означает запустить лишь самые необходимые сервисы либо отложить запуск каких-либо из них до тех пор, пока они реально не понадобятся. Иногда мы заранее знаем, какие сервисы нам понадобятся (syslog, системная шина D-Bus и т.п.), но так бывает не всегда. К примеру, демон bluetoothd не должен быть запущен то тех пор, пока не будет подключен Bluetooth-адаптер либо пока какое-то из приложений не захочет установить с ним соединение через интерфейс D-Bus. Аналогично для системы печати: если машина физически не подключена к принтеру, и/или никакие приложения не пытаются напечатать что-нибудь, то необходимости запускать демон печати, такой как CUPS, нет. Так же и для Avahi: если машина не подключена к сети, или пока никакое из приложений не захочет использовать его API, его также нет необходимости запускать. Это справедливо даже для SSH: пока кто-либо не захочет зайти на машину - в нем нет необходимости, его нужно запустить лишь тогда, когда кто-то захочет установить первое соединение (и это же относится ко многим машинам, где может быть запущен ssh, в тех случаях, когда к нему присоединяются раз месяц или реже).
Параллельный запуск всего остального означает, что если нужно что-либо запустить, то мы должны делать это не последовательно, а пытаться запустить все одновременно, чтобы максимально нагрузить имеющиеся ресурсы системы, сократив время ее запуска.

 

Динамическое изменение аппаратного и программного обеспечения


Современные системы (в частности операционные системы общего назначения) являются весьма динамичными в плане своей конфигурации и использования: они мобильны, запускают и останавливают различные приложения, к ним подключают всевозможное оборудование. Система инициализации, отвечающая за работу сервисов, должна обнаруживать изменения в аппаратном и программном обеспечении,  запускать (а иногда и останавливать) сервисы, поскольку они необходимы для запуска программ и/или для обеспечения поддержки определенного оборудования.
Большинство современных систем, которые пытаются распараллелить процесс запуска, по-прежнему пытаются синхронизировать запуск различных демонов: например, Avahi для работы требуется D-Bus, поэтому сначала запускается D-Bus и только потом - Avahi.  Аналогично для других служб: для libvirtd и X11 необходим HAL (да, я знаю, что на Fedora 13 службы игнорируют устаревший HAL), поэтому сначала запускается HAL, а уж потом libvirtd и X11. А поскольку для libvirtd нужен Avahi, он ждет еще и запуска Avahi. К тому же всем упомянутым службам нужен Syslog, они все ждут его запуска. И так далее.

 

Параллелизация запуска сервисов, зависящих от сокетов (socket service)


Такого рода синхронизация запуска служб приводит к тому, что значительная часть запуска системы проводится последовательно. Правда было бы здорово избавится от описанных требований такой синхронизации? На самом деле, нет ничего невозможного! Для этого мы должны понять, что именно демоны требуют друг от друга и почему их запуск откладывается. Что касается традиционных демонов Unix, на этот вопрос есть только один ответ: они ждут, пока сокет другого демона станет доступен для соединения. Обычно это сокет AF_UNIX в файловой системе либо это может быть AF_INET [6]. К примеру, клиенты D-Bus ждут возможности подключения к /var/run/dbus/system_bus_socket, клиенты syslog - /dev/log, клиенты CUPS - /var/run/cups/cups.sock, NFS-клиенты  ожидают /var/run/rpcbind.sock и открытия порта portmapper и т. д. Только подумайте - это единственное, чего они ждут.
Таким образом, если причина задержки только в этом, если мы сможем добиться того, чтобы перечисленные сокеты стали доступны ранее запуска соответствующих демонов, мы сможем серьезно ускорить процесс запуска системы и запустить намного больше процессов одновременно. Как же этого добиться? На самом деле в Unix-подобных операционных системах все довольно просто: мы можем создать слушающие сокеты, задолго до реального запуска демона, а затем (когда он запустится) просто передать ему сокет ему посредством в exec(). Таким образом, мы можем создать все нужные нам сокеты для всех демонов на первом шаге системы инициализации, а затем на втором шаге просто запустить все демоны одновременно. Если одна служба нужна другой - ничего страшного не случится, даже если требуемая служба еще не запущена: единственное что произойдет - требуемое соединение встанет в очередь на ожидание и клиент будет ждать этого соединения (будет блокирован запросом). Но заблокирован будет только один клиент и только одним запросом. Кроме того, чтобы обеспечить необходимую параллелизацию запуска, теперь совсем не обязательно конфигурировать зависимости между службами, ведь мы запускаем все сокеты одновременно и запущенный сервис будет уверен в том, что он сможет присоединиться к нужному ему сокету.
Это ключевой момент, и без него все остальное понять будет нельзя, поэтому я попробую пояснить все то же самое, но другими словами и с примерами. Допустим, вы запускаете демон syslog и его клиенты одновременно. При этом все сообщения его клиентов будут добавлены в буфер сокета /dev/log.  Пока этот буфер не заполнится, клиентам не придется ждать, и они смогут запуститься. Как только syslog завершит процесс своего запуска, он обработает накопившуюся очередь сообщений. Другой пример: мы запускаем D-Bus и ее несколько клиентов одновременно. Если отправляется синхронный запрос (запрос, требующий мгновенного ответа) и поскольку ожидается ответ, клиент будет блокирован ожиданием, но только этот конкретный клиент и только до тех пор, пока D-Bus поймает этот запрос и обработает его.
По сути, буферы сокетов ядра работают на нас, помогая нам максимально распараллелить запуск служб, причем обработка последовательности запросов и их синхронизация выполняется ядром системы без какой-либо надобности вмешиваться в этот процесс из пользовательского пространства! И если все сокеты становятся доступными прежде реального запуска демонов, управление зависимостями также становится излишним (или, по крайней мере, вторичным): если демону нужен другой демон, он просто подключится к нему. И если целевой демон уже запущен, то первый сразу же обратится к последнему. А если нет, то обратившийся демон не будет ждать его запуска, если только он не отправил синхронного запроса. И даже если этот другой демон вообще не запущен, это может быть сделано автоматически. С точки зрения первого демона в описанных случаях нет никакой разницы, следовательно управление зависимостями становится не нужно или, по крайней мере, вторично. Процесс запуска происходит с оптимальной параллелизацией запуска демонов либо с их запуском по требованию. Кроме того, такой путь обеспечивает большую надежность, так как сокеты остаются доступны независимо от фактического состояния демона, который может иногда быть недоступным (например из-за своего падения). В самом деле, вы можете легко написать демон, который будет запускаться, останавливаться (или падать) и запускаться снова и т. п., причем клиенты не почувствуют остановок демона и ни один запрос не потеряется.
Ну что ж, теперь самое время для паузы - налейте себе еще кофе и будьте уверены, что дальше будет еще интереснее.
Только сначала давайте проясним несколько вещей: это какая-то новая идея? Нет, определенно нет. Я назову вам одну из самых известных систем, работающих как описано: это launchd от Apple - на MacOS прослушивание сокетов всех демонов осуществляется launchd. Сами сервисы могут все запускаться одновременно, и для них не надо настраивать никаких зависимостей. Это на самом деле действительно интересная идея, и именно в ней кроется причина того, почему MacOS удается обеспечить фантастическую скорость загрузки. Я настоятельно рекомендую одно видео , где разработчики launchd объясняют, как она работает. К сожалению, предложенная идея так и не получила распространения вне лагеря поклонников Apple.
Хотя она, на самом деле, даже старше, чем launchd. До нее хорошо известный почтенный inetd работал аналогичным образом: сокеты централизованно создавались демоном, который запускал необходимый сервис, передавая ему дескриптор файла сокета посредством exec(). Однако центральной идеей inetd, конечно же, были не локальные, а интернет-сервисы (хотя более поздняя реализация поддерживала и сокеты AF_UNIX). Также он не являлся инструментом для распараллеливания процесса загрузки системы или какого-либо управления зависимостями между сервисами. Для TCP-сокетов inetd, в первую очередь, использовался таким образом, что для каждого входящего соединения новый экземпляр порождался новый экземпляр демона. Это означает, что для каждого соединения порождался и инициализировался новый процесс, что не очень хорошо для высокопроизводительных серверов. Тем не менее, с самого своего рождения inetd также поддерживает и другой режим, где демон порождался первым соединением и потом тот же экземпляр принимал последующие соединения (опция wait/nowait в файле inetd.conf , которая, к сожалению, плохо документирована). Запуск демона для каждого соединения, вероятно, создал для inetd репутацию медленного сервера, что не совсем справедливо.

Параллелизация запуска служб, зависящих от D-Bus (d-bus services)


Современные демоны на Linux, как правило, предоставляют услуги посредством D-Bus, а не простого сокета AF_UNIX. Таким образом, появляется вопрос - а можем ли мы применить для них ту же логику распараллеливания запуска сервисов, что и для для традиционных сокетов? Да можем! В D-Bus уже есть все необходимое для этого: с помощью активации посредством D-Bus служба может быть запущена при первом же обращении к ней. Такой способ запуска дает нам минимальную возможность синхронизации на запрос, которая нам нужна для одновременного запуска служб-потребителей и служб-поставщиков: если мы хотим запустить Avahi одновременно с CUPS (CUPS использует Avahi для поиска mDNS/DNS-SD принтеров), то так и следует сделать, и если CUPS запустится раньше, то с помощью логики активации сервисов посредством шины мы заставляем D-Bus создать очередь запросов, пока Avahi запускается.

Резюме: активация демонов посредством сокетов и шины D-Bus позволяет нам запустить все демоны параллельно, без какой-либо синхронизации. Это позволяет нам получить «ленивые» сервисы: если сервис используется редко, можно просто загрузить его по потребности, вместо того, чтобы запускать его во время загрузки.
И если это не круто, тогда я не знаю, что круто!


Параллелизация заданий, имеющих отношение к файловой системе

Если вы посмотрите на графики визуализации загрузочного процесса текущих дистрибутивов, то увидите множество точек, требующих синхронных операций: самое важное - это задания, связанные с файловыми системами. Обычно при загрузке системы много времени тратится на ожидание инициализации всех устройств, перечисленных в файле /etc/fstab, затем на проверку файловых систем, инициализацию квот. Только после того как это все закончится, мы сможем продолжить процесс загрузки.
Можем ли мы как-то решить эту проблему? Оказывается, можем! Harald Hoyer выдвинул идею использования для этого старой доброй autofs. Системный вызов connect() показывает, что одна служба заинтересована в другой, аналогичным образом вызов open() (или подобный ему) показывает, что служба заинтересована в конкретном файле или файловой системе. Таким образом, чтобы улучшить параллелизацию запуска, можем заставить программы ждать, пока файловая система будет готова (смонтирована). Добиваемся мы этого следующим образом - мы создаем точки монтирования autofs, а затем, когда завершатся разные проверки целостности, инициализируются квоты и т.п., мы заменим ее реальной файловой системой. Когда работает autofs, попытки обращения к ней будут поставлены в очередь ядром системы и обратившийся процесс будет заблокирован (но  - только этот демон, и только эта конкретная попытка доступа). И таким образом мы сможем начинать запускать наших демонов  задолго до того, как наши файловые системы станут доступны, без каких-либо потерь файлов и с максимальной параллелизацией.
Распараллеливание заданий, связанных с файловой системой и с запуском сервисов, не имеет смысла для корневой системы, поскольку именно там хранятся бинарники всех сервисов. Однако по отношению к файловым системам, таким как, например, /home, которые обычно намного больше, а иногда даже зашифрованы, возможно даже находятся на удаленном компьютере, такой подход может серьезно оптимизировать время загрузки системы. И уж конечно стоит отметить, что такие виртуальные файловые системы, как procfs или sysfs, никогда не должны  монтироваться с помощью autofs.
Я не удивлюсь, если кто-то из читателей может посчитать, что интеграция autofs с системой инициализации ухудшит стабильность и что это решение вообще какое-то странное, страшное и уродливое. Однако, неоднократно опробовав это решение, я могу вам сказать, что оно совершенно правильное. Использование autofs позволяет, нам создать точку монтирования без необходимости обеспечить наличие самой файловой системы. На практике это влечет за собой только задержку доступа к ФС. Если приложение пытается получить доступ к файловой системе, находящейся под опекой autofs и мы очень долго не заменяем ее реальной файловой системой, оно будет находиться в состоянии interruptible sleep. Отметим также, что в любой момент, если точка монтирования так и не становится доступной к концу запуска (например, если fsck не удалось удачно проверить файловую систему), мы можем просто попросить autofs вернуть приложению код ошибки (например ENOENT). Поэтому я полагаю, что хоть на первый взгляд включение autofs в систему инициализации может показаться чересчур смелым, наш экспериментальный код показал, что эта идея работает на удивление хорошо на практике.

Сокращение количества вызываемых во время запуска системы скриптов
 
Еще один момент, который вытекает из логики загрузки MacOS: shell-скрипты - зло.
Shell-скрипты имеют свои преимущества и недостатки. Их можно быстро писать и отлаживать, но они медленно работают. Классическая логика загрузки sysvinit построена вокруг скриптов. Будь то /bin/bash или любая другая оболочка (написанная, чтобы сделать работу скриптов быстрой), в конце концов этот подход все равно упирается в медлительность работы. В моей системе скрипты, находящиеся в /etc/init.d/, вызывают grep по крайней мере 77 раз, awk - 92 раза, cut - 23 и sed - 74. Каждый раз, когда вызываются эти команды (или какие-то другие), порождаются новые процессы, производится поиск библиотек и т.д. А затем, когда запущенный процесс выполняет какую-то простейшую операцию с текстовыми строками - он завершается. Естественно, что это все работает ужасно медленно. Ни один другой язык, кроме оболочки, не работает, как описано. Кроме того, работа скриптов сильно зависит от различных переменных среды и тому подобного, причем это все трудно контролировать.
Итак, давайте избавимся от скриптов в процессе загрузки! Прежде чем мы сможем это сделать, нам нужно выяснить, как они используются сейчас: по большому счету картина такова - большую часть времени они заняты рутинными операциями. Большинство сценариев производит элементарные операции и вызов сервисов, поэтому эти операции можно переписать на С, либо отдельные исполняемые файлы, либо сами демоны, либо сделать конкретную операцию частью системы инициализации.
Маловероятно, что мы в ближайшее время полностью сможем избавиться от скриптов при старте системы. Переписывание их на C занимает много времени, в ряде случаев игра вообще не стоит свеч, а иногда, наоборот, без скриптов вообще трудно обойтись. Но мы, безусловно, можем уменьшить их влияние на процесс загрузки.
Хороший показатель для измерения количества вызова скриптов в течение запуска системы - это PID процесса, который он получает сразу после запуска системы. Загрузитесь, войдите в систему, откройте терминал и введите echo $$. Попробуйте сделать это на вашей Linux-системе, а затем сравните результат с MacOS! (Подсказка: на Linux PID будет порядка 1823; на MacOS примерный PID - 154).

Слежение за процессами


Центральная часть системы инициализации - это выполнение обязанностей няни по отношению к сервисам: она должна следить за ними. Перезапускать их, если они завершают свою работу. Если они падают, нужно собирать всю необходимую информацию о них и сохранить ее для администратора, предоставлять ее аварийным системам сбора информации (crash dump systems) и системам ведения журнала (например syslog) и/или системе аудита.
Также она должна позволять полностью завершать сервис со всеми своими потомками. Это, наверное, проще сказать, чем сделать. Традиционно в Unix процесс, который дважды вызывает fork(), может избежать контроля своего родителя, и родитель ничего не узнает об отношении нового процесса к тому, что он запустил. Например: неправильно написанный CGI скрипт, который вызван двойным fork(), не прерывает свою работы при завершении Apache. Кроме того, вы даже не сможете выяснить его отношение к Apache, если не знаете его имя и назначение.
Итак, как же мы сможем уследить за процессами, чтобы они не убежали от нашей няни, и  контролировать их как единое целое, даже если они форкаются огромное количество раз (в оригинале gazilion times :) - прим. перев.) ?
Разные люди предлагают различные решения. Скажу вкратце, что есть подходы, основанные на использовании интерфейса ptrace или netlink (интерфейс ядра, который позволяет получить сообщение netlink каждый раз, когда любой процесс в системе вызывает fork() или exit()), которые подвергались критике за топорность, неповоротливость и плохую масштабируемость.
А что же мы можем предложить? В ядре уже достаточно долго существует такая вещь, как Control Groups (aka "cgroups"). В основном они позволяют создавать иерархию групп процессов, которая непосредственно доступна через виртуальную файловую систему. Названия групп  - это обычно названия директорий в этой файловой системе. Если процесс, принадлежащий к определенной группе, вызывает fork(), его потомок становится членом той же группы. Если он не имеет привилегированного статуса, он никак не сможет этого избежать. Первоначально cgroups были добавлены в ядро для организации контейнеров: различные подсистемы ядра могут устанавливать лимиты на ресурсы (ограничение использования процессора и/или памяти) для определенных групп. Традиционные ограничения ресурсов (как реализовано setrlimit()) устанавливаются (в основном) только для каждого процесса. cgroups, с другой стороны, позволяют устанавливать ограничение на целые группы процессов. cgroups полезны также для обеспечения соблюдения ограничений в других случаях. Вы можете использовать его, например, для ограничений общего объема памяти или ресурсов процессора для Apache и всех его дочерних процессов. Поэтому неправильный CGI-скрипт не сможет сбежать от установленных ограничений ресурсов путем вызова fork().
В дополнение к своим функциям по созданию контейнеров и использованию для ограничения ресурсов cgroups являются очень полезными как средство для слежения за демонами: членство в cgroup надежно наследуется дочерними процессами и избежать этого невозможно. Существует система уведомлений, которая ставит в известность главный процесс, когда cgroup становится пустой. Вы можете найти cgroups для процесса путем чтения файла /proc/$PID/cgroup, следовательно, это очень хороший выбор средства для отслеживания процессов.

Контроль за средой исполнения процесса

Хорошая няня должна не только следить за демонами и контролировать их, но и создавать для них хорошее и безопасное окружение. Это означает, что мы не ограничиваемся очевидными параметрами, такими как настройка ограничений ресурсов для процесса посредством setrlimit(), идентификаторы пользователя и групп. Ядро Linux дает пользователям и администраторам достаточно контроля над процессами (некоторые из них в настоящее время используются редко).
Для каждого процесса нам нужно устанавливать контроль над использованием процессора, планировщика ввода-вывода, набор функциональных ограничений, привязку к процессору и, конечно же, дополнительные ограничения посредством cgroup. Самое главное здесь - это высокоуровневый контроль, такой как, например, монтирование файловой системы в режиме только чтения при вызове mount с опцией bind. Таким образом, можно запускать отдельные демоны так, что все (или некоторые) файловые системы будут ему доступны только для чтения. Это можно использовать для контроля за тем, что делают отдельные демоны, нечто вроде бюджетного варианта SELinux (хотя это, конечно, не призвано заменить SELinux).
Наконец, ведение логов является важной составной частью запуска сервисов: в идеале каждый бит информации, выдаваемый сервисом, должен записываться в журнал.  Следовательно, система инициализации должна обеспечить процесс ведения логов для демонов, с которыми она работает, подключая стандартный вывод (stdout) и вывод ошибок (stderr) к демону syslog. А иногда даже к /dev/kmsg, который во многих случаях очень полезная замена syslog (те, кто делает встроенные системы, прислушайтесь, пожалуйста, к этому!).

Upstart, внимание, марш!

Во-первых, я бы хотел подчеркнуть, что мне на самом деле нравится код Upstart, он очень хорошо комментирован и его легко изучать. Другим проектам в этом отношении еще учиться и учиться (в том числе и моим собственным). В то же время я не могу согласится с общим подходом, который реализован в Upstart. Но сначала несколько слов о проекте.
Upstart не разделяет код с sysvinit, а его функциональные возможности перекрывают возможности sysvinit, и обеспечивает совместимость с какой-то частью хорошо известных скриптов SysV. Его основная особенность - управление сервисами на основе событий: запуск и остановка процессов связаны с "событием", которое происходит в системе, где "событием" может быть все что угодно: доступность сетевых интерфейсов, запуск какого-то ПО и т.п.
Upstart обрабатывает последовательность запуска служб посредством событий: если срабатывает событие syslog-started - оно используется как индикатор для запуска D-Bus, т. к. шина теперь сможет использовать syslog. А затем, когда срабатывает событие dbus-started, запускается NetworkManager, после чего он может использовать D-Bus, и так далее.
Можно сказать, что логическое дерево зависимостей, которое существует и хорошо понимается администратором или разработчиком, транслируется в систему событий и набор правил, описывающих реакции на события: каждое логическое «для a нужно b» становится «запустить а, когда нужно b» плюс «остановить а, когда останавливается b». Это своего рода упрощение, особенно для кода самого Upstart. Тем не менее я утверждаю, что такое упрощение на самом деле вредно. Прежде всего, система логических зависимостей никуда не девается, и тот, кто пишет файлы для Upstart, теперь должен транслировать эти правила в формате «события/действия» (два правила для каждой зависимости). Таким образом, вместо того, чтобы позволить компьютеру выяснить, что нужно делать на основе зависимостей, пользователь должен вручную перевести зависимости в простое правило «событие - реакция на него». Кроме того, поскольку информация о зависимостях не может быть декодирована, она не доступна во время работы системы, фактически это означает, что у администратора, который пытается разобраться, почему что-то произошло, нет на это никаких шансов.
Кроме того, в случае Upstart логика работы с зависимостями переворачивается с ног на голову. Вместо того чтобы свести к минимуму объем работы (что является признаком и целью хорошей системы инициализации), на самом деле происходит увеличение количества работы, выполняемой во время операций. Другими словами, вместо того, чтобы имея четко поставленную цель, проделать все необходимые шаги сразу, она делает сначала один шаг, а потом делает все остальные шаги, которые к ней ведут. Или еще проще: то, что пользователь запустил D-Bus, ни в коей мере не означает, что NetworkManager должен быть также запущен (но это то, что будет делать Upstart). А должно быть с точностью до наоборот: когда пользователь обращается к NetworkManager, это признак того, что D-Bus также должна быть запущена (это, безусловно, именно то, что ожидают большинство пользователей, не так ли?). Хорошая система инициализации должна запускать только то, что нужно, и по требованию. Либо по потребности, либо максимально параллелизуя запуск. Однако она не должна запускать больше, чем необходимо, в частности не все из установленного, для чего может понадобится этот сервис
(Честно говоря, и это только мое мнение, без претензии на истинность, что тут автор пытается притянуть за уши аргументы против Upstart. Тем более, что приведенные автором примеры относительно D-Bus и NetworkManager не соответствуют реальности. Прим. перев.).
Наконец я не вижу реальной ценности от логики, основанной на событиях. Мне кажется, что большинство событий, обрабатываемых Upstart, фактически не мгновенны, а имеют некоторую продолжительность: сервис запускается, работает и останавливается. Устройство подключается, подключено и отключается. Точка монтирования находится в состоянии монтирования, полностью смонтирована, или же она размонтирована. Кабель питания подключен, система работает от сети переменного тока, кабель питания отключен. Лишь немногие из событий системы инициализации должны обрабатываться точно в срок, большая часть из них - это старт, запуск и остановка. Информации об этом также нет в Upstart.
Мне известно, что некоторые проблемы, на которые я указал выше, в некоторой степени решаются последними изменениями в конфигурационных правилах Upstart, такими как, например, start on (local-filesystems and net-device-up IFACE=lo). Тем не менее, я считаю, что это выглядит как попытка исправить систему (автор считает, что такое решение - «костыль» - прим. перев.), основной дизайн которой является некорректной.
Кроме того, Upstart вполне подходит на роль няни для демонов, хотя что-то она делает сомнительными способами (см. выше).
Есть и другие системы инициализации, кроме sysvinit, Upstart и launchd. В большинстве из них подходы намного серьезнее, чем в Upstart или sysvinit. Наиболее интересной является Solaris SMF, которая поддерживает надлежащую обработку зависимостей между службами. Тем не менее, во многих отношениях она чрезмерно усложнена и, скажем так, несколько академична, чрезмерно использует XML и новые термины для известных вещей. Она также сильно завязана на специфичных для Solaris функциями, такими как contract system.



Четверг
02. Сентябрь 2010

Alexander Naumov: [Release] openSUSE 11.4 Milestone 1

@ 11:03 UTCmember

face

Итак, началось…

На сегодня запланирован выход первого Milestone для openSUSE 11.4. Я думаю, что не только у сообщества, но и просто у пользователей этого дистрибутива будет желание установить пока еще только что “выпавшую из гнезда” новую версию openSUSE. Уже сейчас там XOrg 1.9, KDE 4.5 и первая бета GNOME 2.32.0. Ядро без изменений из 11.3.

План выхода отстальных версий тут или тут.

Вики-портал посвященный новой версии http://en.opensuse.org/Portal:Factory.
Обсуждение Milestone 1 на официальном форуме русскоязычного сообщества.

Скачать текущую бета-версию (Milestone) можно тут: http://software.opensuse.org/developer.

Не забывайте сообщать об ошибках, а так же have a lot of fun ;)


Среда
01. Сентябрь 2010

Anton Chernyshov: Бесплатный вебинар по Ubuntu

@ 14:50 UTC

face

Наш учебный центр (то место, где я имею честь работать) проводит 16 сентября модный ныне бесплатный веб-семинар (или как их сокращенно называют вебинар) . Вебинар будет посвящен одному из главных событий, случившихся в нашем УЦ в этом году - партнерству с хорошо известной всем компанией Canonical.

В рамках данного вебинара планируются выступления:

  • Владимира Крюкова - менеджера Canonical по контактам с OEM-партнерами в регионе EMEA;
  • Вашего покорного слуги с информацией о том, какие вообще направления обучения предлагает Canonical;
  • И в заключение Torsten Splinder (Canonical Senior System Engineer) поведает всем присутствующим об изменениях в достаточно популярном направлении Ubuntu Enterprise Cloud. Как вы, наверное, догадываетесь, Торстен не говорит по-русски, поэтому задать ему вопросы можно будет только на английском языке :). Ну или на его родном немецком ;).

Тем, кто захочет присутствовать, желательно пройти по ссылке для регистрации на вебинар. Также по ней можно ознакомится с системными требованиями. Предвосхищая вопрос, на Linux все должно работать. Я все тестировал на последней версии Adobe Flash, теперь там нет былых проблем с русским языком.

Sergey Lomakov: Настройка VirtualBox без GUI в OpenSuSE

@ 14:30 UTC

face

Здравствуйте, сегодня хочу рассказать, о том, как установить и настроить VirtualBox на сервере, с которым работа ведется только по SSH. Это очень удобно, если где-то у вас имеется мощный сервер, а хочется экспериментов, ставим VirtualBox, поднимаем RDP/VNC в системе, в зависимости от предпочтений и пользуемся Указанная последовательность настройки VirtualBox будет работать в любом линукс дистрибутиве. Изначально, [...]

Суббота
28. Август 2010

Ilya Chernykh: Игры Linux: Auteria

@ 22:43 UTC

face

Auteria - бесплатная MMORPG. Игра похожа на Lineage 2, но есть и особенности: нет рас и жестких профессий. Герой может тренировать те навыки, которые хочет, например, кожевенника или кузнеца, максимальный уровень не ограничен. Тренируются навыки в зависимости от того, какую работу герой выполняет. Очень развитая сюжетная линия и система квестов. Помимо квестов есть и "работы" - задания на сбор ресурсов или убийство монстров, которые квестами не считаются. Большинство эликсиров, снадобий и доспехов герой делает себе сам из того, что добывает в природе. Например, щит, который вы видите на скриншотах сделан самим героем в кузнице из двух убитых жуков и нарубленного дерева. Очень много видов различных товаров.

В игре есть элементы жантра adventure: есть тайные квесты, которые могут быть спрятаны в дорожном указателе, например, или в предмете в каком-нибудь доме. Для некоторых квестов необходимые предметы также спрятаны, и герой ищет их по всему городу, пользуясь намеками персонажей, древними книгами и т.д. Возникает ощущение тайны.

Игру можно скачать тут: http://www.auteria.com/



Matwey Kornilov: openSUSE Build Service 2.0.5

@ 11:50 UTC

face

Наконец переехал у себя с OBS 1.7 на 2.0. OBS — это, пожалуй, единственное ПО, которое я ставлю из пакета, делаю как в инструкции, и... и все падает с какими-то не информативными странными ошибками.

Начать следует с того, что, насколько я понял, эта штука теперь научилась работать с gpg2, поэтому gpg 1.4.5 со специальным патчем "files_are_digests" можно выкинуть. Не забыв при этом подправить путь к gpg в /etc/sign.conf

Порадовало, что наконец в пакет добавили конфиги для logrotate, теперь логи не вырастают до невиданных размеров.

Теперь более интересное. В связи с тем, что рабочие научились самостоятельно создавать себе образы дисков, в /etc/sysconfig/obs-worker добавлено очень много новых опций. В нем же можно изменить рабочую директорию (теперь по умолчанию /var/cache/obs/worker), размеры образов, количество памяти для виртуальной машины и указать её тип. В нем же мне пришлось обратить пристальное внимание на OBS_VM_KERNEL и OBS_VM_INITRD, у меня ничего не заработало пока я их не исправил:

OBS_VM_KERNEL="/boot/vmlinuz"
OBS_VM_INITRD="/boot/initrd-virtio"
Дело в том, что я предпочитаю использовать build с KVM. И, к сожалению, build не смог самостоятельно найти нужные образы для загрузки без явного указания этих параметров. Кстати, файл /boot/initrd-virtio (initrd с поддержкой virtio) делает сам скрипт build, так что не надо удивляться откуда он взялся.

Четверг
26. Август 2010

Alexander Naumov: Make YOUR openSUSE better

@ 11:47 UTCmember

face

Нравится openSUSE? Открытые группы разработчиков, несколько команд для работы с сообществом, прекраснейшая инфраструкрута проекта, удобные web-интерфейсы, позволяющие отправлять feedback, собирать пакеты, есть так же форумы, IRC каналы, списки мэйлинг рассылок… Да, круто, но в oS остается немало багов, или просто вещей, которые не совсем хорошо работают. Мы часто обсуждаем проблемы на форуме или в IRC или в рассылке, но проблемы надо не только обсуждать и искать решение. Их надо исправлять. Каждый из вас может сделать этот дистрибутив еще лучше. Притом не только исправить ошибки, но и добавить свои функции, внести свои идеи. Это может быть что угодно – начиная интерфейсом инсталлятора, обоями и заканчивая конкретными функциями программ.
Я заметил, что пользователи привыкли пологаться полностью на разработчиков и не принимают такого активного участия в разработке проекта.
Вы хотите использовать KDE3, а во время установки oS этого уже не предлагает? Приходите на meeting и скажите об этом. Просто оставте свой feedback, просто предложите свою идею. Ок, возможно именно этот пример потребует ответственного отношения и поддержку пакетов в KDE3 репозитории, но смысл в том, что никто не скажет просто НЕТ. Если вы готовы сделать oS лучше, просто сделайте это. Разработчики поступают по-своему лишь в том случае, если от сообщества в том или ином вопросе не было никаких идей.
Для некоторых было сюрпризом, к примеру, отсутствие sax2 в последней версии oS. Об этом писали разработчики в рассылке. Там так же можно найти обсуждение и комментарии. До этого так же было обсуждение в IRC.
Не ждите, что кто-то за вас предложит сделать то, что хотели бы сделать и вы, скажите об этом сами. Сделайте свою домашнюю систему лучше… для вас же самих.


Среда
25. Август 2010

Alexander Naumov: Russian license (translation) for new openSUSE’s versions

@ 22:57 UTCmember

face

В openSUSE до сих пор нет русского перевода лицензии. Я думаю, что перевести страницу английского текста не составляет особого труда. Обычный перевод технической документации, это наверное то, что все из нас постоянно делают для того или иного Open Source проекта. Но тут нужен не просто перевод. Это лицензия, тут нужен не любительский перевод, а перевод адвоката/юристра. Английскую версию можно найти на любом медиа-носителе в файле license.tar.gz, или на странице проекта openSUSE:License. Лицензия на русском есть в SLE, но там совсем другая лицензия.
В общем, пока рано говорить о чем-то конкретно, но я знаю того, кто сможет помочь. Вполне возможно, что уже в первом Milestone мы будем иметь лицензию на русском.


Вторник
24. Август 2010

Alexander Naumov: Russian “Welcome” for next openSUSE’s versions

@ 13:51 UTCmember

face

Я заметил, что несмотря на то, что я столько делаю для openSUSE, она не приветствует меня на моем родном языке :) Как вы можете видеть русского “Добро пожаловать” нет.

Я поговорил с дизайнером, и вот что из этого получилось. Русское “Добро пожаловать” состоит из двух слов и слишком длинное. Лимит на привествие 10 символов. “Welcome” имеет всего 7 символов, поэтому нашу фразу из 16 символов включая пробел никто вставлять не будет. “Приветствуем” тоже слишком длинное, хотя чего длинного в 12 символьном слове я не знаю. Самое длинное сейчас немецкое “Willkommen” всего на 2 символа меньше. В общем, я был несколько озадачен подбором короткого приветствия на русском. Пока по умолчанию выбрали просто “Привет”, но на фоне “Welcome” и “Willkommen” оно совсем не кстати… Не хочется добавлять что-то лишь бы было, хотя с другой стороны было бы прикольно если бы openSUSE сразу же обращалась к пользователю на “ты” ;)

Если у вас есть какие-то идеи по поводу того какое русское приветствие (в пределах 10 символов) можно использовать, пожалуйста напишите в комментах. Это приветствие будет использоваться так же и в последующих версиях openSUSE.


Понедельник
23. Август 2010

Alexander Naumov: Russian Linux kernel community

@ 15:04 UTCmember

face

Привет сетяне!

Как некоторые их вас знают, я увлекаюсь ядром Linux. Однако в рунете нет (или он слишком малоизветсный) портала, целиком посвященного ядру. В то же время я знаю немало ребят, которым интересна эта тема. Среди разработчиков ядра Linux есть и русские программисты, с которыми я знаком, и которых я думаю обрадует эта новость.

Основатель проекта linuxkernel.ru – Тарасенко Николай – к сожаленью забросил развитие и поддержку портала. Я не раз пытался с ним связатья, но ответа не получил. По моей инициативе был создан раздел о ядре на unixforum.org, такой же раздел при моей поддаче был позднее создан на linuxforum.ru. Однако я не согласен с многими пунктами развития обоих форумов. И дело даже не столько в том, что, к примеру, UFO использует проприетарный движок и windows-кодировку (cp-1251). Я говорю о атмосфере и правилах форума, где развитием занимается администрация, а не сообщество форумчан. Считаю такой подход крайне недопустимым и противоречущим философии Free Software, которая как бы и должна объединять форумчан этих форумов. Нередким явлением является протесты форумчан, и их последующая миграция на другие ресурсы. Но даже если закрыть глаза и на это, то все равно… это просто одина из веток форума. Это не портал, полностью посвященный ядру.

Поэтому я подумал “Хм… а почему бы не создать форум о Linux kernel самому?”. По анлогии с forums.opensuse.org, где я создал раздел для русского openSUSE сообщества, я начал диалог с основателем kernelnewbies.org. Rik van Riel – кернел-хакер из RedHat, с которым мы сразу же нашли общий язык. Он сразу поддержал мою инициативу и создал площадку для русского сообщества. Я вожусь с ней несколько дней, и похоже, что она уже готова.

Конфигурирование, настройка, компиляция и установка ядра… разработка, написание модулей, изучение принципов работы подстистем ядра, разработка драйверов… все это является главной темой портала, центральным элементом которой является конечно же форум. Кодировка UTF-8. На потрале есть возможность вести свой блог, а так же собирать RSS с других блогов (kernel planet). Остальные функции работают пока не так хорошо, но я работаю над этим сейчас.

По поводу английского языка. Да, я буду максимально лояльно относится к английскому. Основной язык, язык для общения, русский, но думаю никто не будет спорить, что документация на EN и свежее и интереснее (не потерян смысл при переводе). К тому же для любого ITшника английский является родным, что уж говорить о разработчиках ядра… Это для новичков, разработчики, думаю, в этом никакой проблемы не увидят.

В общем, еще раз welcome and don’t forget to have a lot of fun ;)


Воскресенье
22. Август 2010

Artem Gavrilyuk: Легким движением руки .ape превращаются…

@ 23:34 UTC

face

Трудно, наверное, найти человека, который не любит музыку. Рок, рэп, джаз, попса, классика — многообразие стилей и направлений позволяет выразить наши чувства и эмоции, да и просто поднять настроение. Все мы разные в своих пристрастиях. Но есть то, что объединяет всех меломанов вне зависимости от возраста и вкусов — форматы кодирования аудиоданных. До недавнего времени [...]

Sergey Lomakov: Обновление до KDE 4.5 в OpenSuSE

@ 13:00 UTC

face

Вы еще не знаете, как обновить KDE 4.4 вашей Opensuse 11.3 до нового восхитительного релиза KDE 4.5? Тогда этот пост предназначен специально для Вас. Те, кому не терпится увидеть новейший KDE, могут воспользоваться предложением одного из разработчиков KDE Уилла Стивенсона, позволяющим уменьшить количество шагов в процессе обновления. Если вы еще не опытный пользователь или просто опасаетесь [...]

Sergey Lomakov: KDE 4.5 – ускоритель OpenSuSe!

@ 12:30 UTC

face

Внимание, отличная новость! Недавно команда разработчиков KDE проанонсировала релиз KDE 4.5.0, самого последнего релиза этой знаменитой рабочей среды. Этот выпуск рабочей среды включает обновления для платформы разработчиков, приложений KDE, основного рабочего стола – все это включено в очень важный для всего сообщества KDE релиз. Возможно, из-за слишком больших задержек в процессе выпуска, вы уже не захотите [...]

Четверг
19. Август 2010

Anton Chernyshov: Важные инновации в области ПО. Часть I

@ 08:21 UTC

face
Жара в Москве идет на спад и наконец-то возвращается работоспособность :).  Те, кто читал мой предыдущий дневник, наверное, помнит серию переводных статей о наиболее важных инновациях в мире ПО. Потом я затеял перенос блога сюда и эти статьи оттуда удалил. Но сюда их не выкладывал потому, что еще раз прочел и ужаснулся качеству перевода :). По мере наличия свободного времени я буду вычитывать тот самый текст и выкладывать его тут по частям. Пока готова самая первая часть. По мере вычитывания остального текста, я буду этот пост дополнять ссылками на остальные части. Итак, поехали...


David A. Wheeler
Первая версия от 1 августа 2001 с дополнениями от 26 мая 2009

Введение

В последнее время слишком многие путают термин «инновации в области ПО» с другими факторами, такими как увеличение скорости работы компьютеров и сетевого оборудования. В этой статье я попытался положить конец этой путанице, выявив наиболее важные нововведения в области ПО, путем отсева тех из них, которые относятся к сфере аппаратного обеспечения (hardware), и таких программных продуктов, которые не привнесли ничего нового. Также представлены критерии оценки и определение понятия наиболее важных инноваций в ПО, источники информации, что именно привнесли эти инновации, обсуждаются патенты на ПО и почему некоторые из инноваций в ПО не упомянуты в этой статье. В заключение статьи представлены выводы.
Результаты вас могут удивить.

Критерии оценки

В этой статье приводится список наиболее важных инноваций в области ПО, поэтому в первую очередь необходимо дать точное определение каждому из этих слов:
  • Чтобы удостоиться звания наиболее важной, инновация должна заключать в себе идею, которая очень широко используется и/или имеет большое значение для той области, где применяется. То, что не получило широкого распространения, не было включено в такой список.
  • Инновация в области ПО (software) — это то, что привносит технологические новшества, которые оказывают непосредственное влияние как на процесс программирования, так и на использование компьютера.  Я намеренно не упоминаю инновации в аппаратном обеспечении (innovation in hardware), которые не связаны с инновациями в области ПО. Например, согласно судебному решению, John Vincent Atanasoff является изобретателем электронной вычислительной машины, поэтому к инновациям в ПО это изобретение не относится. По той же причине я также не включил в список другие нововведения, такие как транзисторы (1947) и интегральные микросхемы (1958), а также стандарт Ethernet, разработанный Бобом Меткалфом (Bob Metcalfe) в 1973. Я пропустил изобретения, которые не являются технологическими (например, социальные или правовые нововведения), даже если они имеют важное значение для технологии программного обеспечения и/или широко распространены. Например, концепция copyleft - это инновационный подход к лицензированию программного обеспечения, который разрешает модификацию ПО с невозможностью затем сделать его опять проприетарным. Она используется широким спектром ПО, благодаря General Public License (GPL). Первая такая лицензия (Emacs Public License) была разработана Ричардом Столлманом в 1985 году - но, поскольку copyleft это все-таки инновация в социальной и правовой сфере (а не в сфере технологий), она не включена в этот список. Кроме того, также сюда не включено изобретение смайлика ":-)". Безусловно, он широко используется повсюду, однако его существование не критично для компьютерной сферы и больше относится к социальной сфере.
  • Также тщательно нам необходимо определить само понятие инновация. Инновация - это не просто объединение двух функций в одном продукте (это интеграция, а не инновация, и требует для своей реализации только значительного объема работы). В частности, интеграция множества функций в один продукт для предотвращения использования клиентами конкурирующих продуктов - это хищничество, а не инновация. Инновация это НЕ конечный продукт, хотя, конечно же, этот продукт может содержать или воплощать какую-то революционную идею. Новая реализация существующего продукта для того, чтобы он делал то же самое, но на другом компьютере или операционной системе, также НЕ является новшеством. Инновация это новая идея. И применительно к данному документу это означает новую идею в области ПО.
В результате вы удивитесь тому количеству событий в компьютерной истории, которые НЕ входят в этот список. Большинство программных продуктов - это не инновации в ПО, поскольку они просто повторяют реализации других идей. Например, WordStar стал первым текстовым процессором для персональных компьютеров, но он не был первым - WordStar всего лишь новая реализация уже существовавшего продукта для других компьютеров. Более поздние текстовые процессоры (такие как Word или Word Perfect) также представляли собой следующие реализации аналогичных продуктов, а не инновации. Ряд значительных событий в компьютерной индустрии - это просто презентация новых продуктов или оборудования и не имеет никакого отношения к инновациям. Хотя появление IBM PC и Apple было важно для компьютерного мира, оно не представляло никаких инноваций в области ПО - это просто было очередное снижение стоимости компьютеров, с некоторым количеством ПО, написанным специально для них с использованием уже хорошо известных в то время технологий.
Иногда продукт является первой реализацией какой-либо инновации (например первая программа работы с электронными таблицами), в этом случае дата релиза продукта является датой публичного объявления какой-то идеи. Некоторые инновации порождают технологии, которые хотя и не являются явными для пользователей программного обеспечения, но они оказывают чрезвычайно важное влияние на разработку ПО (например, подпрограммы и объектно-ориентированное программирование), и тогда они включены в приведенный ниже список. В спорных случаях я привожу свои комментарии, поясняющие, почему тот или иной пункт присутствует в данном списке.
Я пытался определить дату и первую публичную презентацию идей, а не их воплощение в некоторые продукты. По возможности я пытался разделить даты первого внедрения и широкого признания инновации. "Публичность" в данном случае означает, по крайней мере, объявление для широкой аудитории. В некоторых случаях определить конкретную дату или событие трудно, и я буду рад, если кто-то укажет мне на более ранние работы. К примеру, иногда бывает трудно установить первую презентацию, поскольку с каждой последующей реализацией идея постепенно меняет форму.

Источники информации

Поскольку я не нашел никакого общепризнанного единого мнения о том, какие инновации наиболее важные, я составил данный список, проанализировав несколько источников. Я старался использовать много источников, чтобы не пропустить ничего важного. В частности, информацию об истории компьютеров IEEE (за последние 50 лет), виртуальный музей вычислительной техники, интернет-историю Гоббса, «A History of Modern Computing» Paul E. Ceruzzi и «A Brief History of the Future» John Naughton. Для описания некоторых инноваций я также использовал «Inventing the Internet» Janet Abbate, тщательно перепроверяя данные из этого источника, т.к. к сожалению Abbate иногда ошибается, что делает его использование в качестве авторитетного источника затруднительным. Например, Abbate (стр. 22) не понимает, что хотя Strachey и John McCarthy для описания своих идей использовали один и тот же термин ("timesharing" - разделение времени, см.ниже) - он обозначает разные понятия. Я также проверил ряд других источников, таких как «History-Making Components» James Durham  и «A History and Future of Computing». Стоит также отметить, что большинство источников смешивают события из области ПО аппаратного обеспечения. Другим источником является конференция “Software Pioneers” (28-29 июня 2001 года, Бонн). Также было проверено множество специализированных источников, таких как “OSI and TCP: A History” by Peter H. Salus.
Со времени первой публикации этого документа я получил ряд дополнительных сведений, которые вошли в данную статью. Я благодарю тех, кто предоставил мне эту информацию. В то же время, вполне возможно, что в ней обделены вниманием некоторые важные инновации. Поэтому, если у вас есть замечания или дополнения, пожалуйста, свяжитесь со мной (dwheeler at dwheeler.com).

Наиболее важные инновации в области ПО: 

Часть 1 (1837-1960) 

Часть 2 (1960-1970) 

Часть 3 (1970-1980) 

Часть 4 (1980-2004)

 

Патенты на ПО

Какие инновации в ПО не самые главные?

Выводы

Приложение: Инновации в ПО, которые стоит принять во внимание




Оригинальный текст: Copyright © David A. Wheeler
Перевод: Copyright © Чернышов Антон, УЦ R-Style

Среда
18. Август 2010

Alexander Naumov: openSUSE 11.4: first steps

@ 16:23 UTCmember

face

В середине прошлого месяца мы праздновали релиз openSUSE 11.3. Еще не все пользователи успели привыкнуть к оформлению, политре цветов и стандартным обоям, выбранными для новой версии openSUSE 11.3, но разработчики уже работают над openSUSE 11.4. Дизайн следующей версии будет скорее всего, как и в 11.2, несколько мрачноват, однако, как говорит Sirko Kemter, он еще может поменяться.

Серый цвет выбран как самый нейтральный. Он выступает в дуете с темно-зелеными тонами, что не ново и является уже скорее даже классикой для SUSE.

Обратите так же внимание как эта палитра сочетается с оформлением и стилем моего блога… поразительно :)

Обои для KDE:

и Gnome соответственно:

upd:
If someone want to give some feedback, you can do that on the gnokii’s blog.


Вторник
17. Август 2010

Antony Reznik: Открыл порты

@ 12:38 UTCmember

face

Решил стать сидером торрентов с образами последней openSUSE.Для этого в Transmission указал произвольный порт для входящих соединений.

После этого, открыл YaST, перешел в категорию "Пользователи и безопасность", и ткнул "Брандмауэр". В появившемся окошке нужно открыть вкладку "Разрешенные службы". Для внешней зоны теперь нужно выбрать разрешенные порты (службы) и нажать "Добавить".

Хотя, нужного порта в списке может не оказаться, или у может вам нужно открыть произвольный порт. Тогда, нужно нажать "Дополнительно" и ввести через пробел номера нужных портов.

Конечно, вы знали это.

Кстати, раздаем openSUSE! Качайте!

Понедельник
16. Август 2010

Alexander Naumov: KDE 4.5: update

@ 12:42 UTCmember

face

10 августа состоялся релиз KDE SC 4.5.0. Как всегда свежайшие пакеты KDE ждут вас в factory-репозиториях openSUSE. Туда же будут добавляться новые пакеты из ветки 4.5.x.

Для обновления до последней версии KDE надо добавить репозиторий KDE:Distro:Factory :

zypper ar -f http://download.opensuse.org/repositories/KDE:/Distro:/Factory/openSUSE_11.3 KDF

и KDE:Extra:openSUSE_11.3_KDE_Distro_Factory:

zypper ar -f http://download.opensuse.org/repositories/KDE:/Extra/openSUSE_11.3_KDE_Distro_Factory KDEExtra

А так же обновить все пакеты из этих реп:

zypper dup --from KDF --from KDEExtra

Обновление проходит абсолютно “безболезненно”, и никаких проблем после следующего входа в систему (logout/login) возникнуть не должно. Все же не забывайте, что это версия не считается еще стабильной.

Стоит так же отметить, что мы планируем в openSUSE 11.4 включить NetworkManagement (вместо NetworkManager-kde4).
Для тех, кто хочет опробывать его уже сейчас, сделайте

zypper in plasmoid-networkmanagement

И не забудьте удалить NetworkManager-kde4.
Для тех, кто хочет использовать _самую_ свежую версию NetworkManagement, могут загрузить исходные коды с сервера KDE и собрать проект сами:

svn co svn://svn.kde.org/trunk/extragear/base/networkmanagement/
cd networkmanagement
mkdir build
cd build
cmake .. -DCMAKE_INSTALL_PREFIX=/home/name/kde/install/trunk -DCMAKE_BUILD_TYPE=debugfull
make install
plasmoidviewer org.kde.networkmanagement

Однако не забывайте, что это разрабатываемая версия, которая постоянно менятся и тестируется разработчиками.


Воскресенье
15. Август 2010

Anton Chernyshov: Флаги процессора

@ 16:31 UTC

face
Часто встает вопрос о том, что означают те или иные флаги процессора, которые показывает команда cat /proc/cpuinfo. Я заинтересовался этим и нашел по этому поводу материал, перевод которого предлагаю.


3DNOW
Расширение мультимедиа, созданное AMD для своих процессоров, основанных на MMX.

3DNOWEXT
3DNOW Extensions. Расширенный вариант 3DNow! .
 
ACPI
Поддержка ACPI (Автоматического управления конфигурацией и питанием).
 
APIC
Расширенный контроллер прерываний (Advanced Programmable Interrupt Controller).
 
CID+
Скорее всего, это означает Certified Interconnect Designer (Сертификация для разработчиков дизайна печатных плат)
 
CLFSH/CLFlush
Cache Line Flush .
 
CMOV
Условные инструкции "переместить/сравнить" (Conditional Move/Compare Instruction).
 
CMP_Legacy
Показывает, что процессор не совместим с технологией Hyper-Threading.
 
Constant_TSC
На процессорах Intel P4, Time Stamp Counter работает с постоянной частотой, которая не зависти от частоты процессора, когда используется технология EIST (Enchanced Intel Speedstep) - технология позволяющая снизить энергосбережение процессоров, путем снижения их тактовой частоты при низкой нагрузке.
 
CX8
Набор инструкций CMPXCHG8B. (Сравнение и обмен 8 байтов. Также известен как f00f (произносится как "FOOF"), аббревиатура для F0 0F C7 C8 шестнадцатеричное обозначение инструкций, выявляющая дефекты в большинстве процессоров Intel Pentium, Pentium MMX, Pentium и OverDrive).
 
CX16
Набор инструкций CMPXCHG16B. (Позволяет выполнять атомарные операции над 128-битными двойными учетверенными словами (128-bit double quadword (or oword) data types). Это полезно для счетчиков высокого разрешения, которые могут обновляться несколькими процессорами (или ядрами).
 
DE
Debugging Extensions.
 
DS
Debug Store.
 
DTS
Цифровой термодатчик (Digital Thermal Sensor).
или
Хранение отладочных данных трассировки (Debug Trace Store).
 
EM64T
Intel Extended Memory 64 Technology - технология Intel, аналогичная 64-битной технологии для процессоров AMD. Использует 64-битные регистры процессора и 64-битные физические адреса памяти (адреса страниц), чтобы позволяет поддерживать до 1 тебибайта оперативной памяти, который впоследствии может быть увеличен (в будущих релизах процессоров) до 1 пебибайта.
 
EIST
Enhanced Intel SpeedStep - технология позволяющая снизить энергосбережение процессоров, путем снижения их тактовой частоты при низкой нагрузке..
 
FID
Frequency IDentifier - идентификатор частоты.
 
FPU
Блок x87 вычислений с плавающей точкой, встроенный в процессор. Именно здесь выполняются все математические расчеты. Использовался в качестве отдельной микросхемы на процессорах 80486SX и ранее (так называемый 80487 или 80387 и т.д. на процессоре 80486DX FPU уже был встроенным). На всех более поздних процессорах Pentium этот блок является встроенным.
 
FXSR
Инструкции FXSAVE/FXRSTOR.
 
HT
Hyper-Transport. Поддержка HyperTransport (AMD) или HyperThreading (Intel).
 
HTT
Hyper-Threading Technology. Возможность использования одного физического процессора как двух отдельных логических процессоров, воспользовавшись неиспользуемыми регистрами процессора во время обычной операции, чтобы попытаться повысить эффективность процессора. Если несколько программ используют те же регистры обоих логических процессоров, известны случаи, когда Hyper-Threading снижал общую производительность системы.
 
LM Long Mode (64bit Extensions) - режим в котором 64-битные приложения могут получать доступ к 64-битными инструкциям и регистрам процессора.
 
MCA
Machine Check Architecture - механизм, посредством которого процессор информирует программы или операционную систему об ошибках в аппаратном обеспечении.
 
MCE
Machine Check Exception - тип ошибки, которая возникает, когда центральный процессор обнаруживает проблему в аппаратном обеспечении

MMX
Ходят слухи что это расширения мультимедия (MultiMedia eXtension) или Multiple Math или Matrix Math eXtension, но формально это бессмысленный акроним, являющийся торговой маркой Intel.
 
MMXEXT
MMX Extensions - расширения MMX.
 
MNI
Модульный сетевой интерфейс (Modular Network Interface )
или
Merom New Instruction (cм SSSE3).
 
MON
Монитор процессора.
 
MSR
Поддержка RDMSR и WRMSR.
 
MTRR Memory Type Range Register - поддержка диапазонных регистров памяти.
 
NNI
Nehalem New Instructions (см. SSE4).
 
NX

Поддержка технологии No Execute
 
PAE
Physical Address Extensions - расширения физических адресов. Добавляет возможность 32-битным процессорам адресовать более 4 ГБ физической памяти с помощью 36-битных адресов Intel вместо стандартных 32 бит, получая доступ к памяти до 64 гибибайтов оперативной памяти. Большинство чипов от AMD также поддерживает эту технологию.
 
PAT
Page Attribute Table - технология управления памятью на x86 и x86-64 процессорах.
 
PNI
Prescott New Instruction - кодовое имя для набора инструкций SSE3, до выпуска чипов семейства Intel Prescott (которые позже были добавлены в семейство Pentium-4).
 
PSE
Page Size Extensions (см. PSE36).
 
PSE36
Page Size Extensions 36. IA-32 поддерживает два метода доступа к памяти свыше 4 ГБ (32 бит). PSE (Page Размер Extension) была первым методом, который использовался Pentium II. Этот метод дает преимущество совместимости, поскольку он сохранил размер PTE (page table entry) 4 байта. Однако, практическая реализация этого возможна только через драйвер. Такой подход страдает от значительного ограничения производительности, из-за буферных операций копирования, необходимых для чтения и записи выше 4 Гб.
 
SS
Self-Snoop.
 
SSE
Поддержка набора 70 новых потоковых SIMD (Single Instruction, Multiple Data) инструкций встроенных в процессор. Впервые появился на процессорах Intel Pentium III, первым чипом AMD с поддержкой SSE был Athlon XP.
 
SSE2
Поддержка 144 дополнительных потоковых SIMD инструкций. Впервые появился на процессорах Intel Pentium 4. Первым чипом AMD с поддержкой SSE2 был Athlon 64.
 
SSE3
Третья версия набора потоковых расширений SIMD (13 дополнительных инструкций). Впервые появился на чипах Prescott процессоров Intel Pentium 4. AMD включил поддержку этой технологии на процессорах Athlon 64 "Venice".
 
SSSE3
Дополнительный набор потоковых расширений SIMD 3. (SSSE3 содержит 16 новых дискретных инструкций по сравнению с SSE3. Каждая из них может выполняться на 64-разрядных регистрах MMX или 128-битных регистрах XMM. Однако, документация Intel содержит 32 новые инструкции.) Дебютировал на процессорах Intel Core 2 Duo. Чипы AMD пока не поддерживают данную технологию.
 
SSE4
Четвертая версия потоковых расширений SIMD. Следующая версия SSE-инструкций от Intel, содержащя 50 дополнительных инструкций, которая дебютировала на процессорах Intel семейства «Nehalem». Также известна как "Nehalem New Instructions (NNI)".
 
SVM
Secure Virtual Machine - расширения AMD для виртуализации.
 
SYSCALL
Системный вызов - механизм, используемый приложением для запроса операционной системы.
 
TNI
Tejas New Instruction (cм. SSSE3).
 
ТМ
Thermal Monitor.
 
TM2
Thermal Monitor 2.
 
TPR
Task Priority Register - регистры приоритета задач, используются операционной системой для планирования исполнения множества задач.
 
TS
Thermal Sensor.
 
TSC
Time Stamp Counter — используется для повышения точности измерения скорости вычислений.
 
TTP
Thermal Trip.
 
VME
Дополнительный режим эмуляции 8086.
 
VMX
Технология аппаратной виртуализации от Intel
 
XTPR
TPR chipset update control messenger. Часть кода APIC.


Alexander Savin: Сетевые сервисы для восстановления системы и/или изменения разделов

@ 12:19 UTCmember

face

Многие слышали о таких сервисах как boot.kernel.org и netboot.me
(позволяют запускать минималистичные сборки ОС без предварительной загрузки).

Когда я о них услышал я загорелся идеей сделать их установку в opensuse максимально простой - "в 1 клик", для чего собственно и собрал следующие пакеты:

netbootme-for-os-bootloader
bootkernelorg-for-os-bootloader

После установки, в загрузочном меню появится возможность выбрать соответствующий сервис.

Данные пакеты будут полезны если нужно изменить системные разделы диска ("/"), или как еще один инструмент для восстановления системы в случае сбоя, или...


Ссылки:  на проект, на spec-файл.

Да, можно было бы обойтись и без создания пакета, а просто:
cd /boot
wget http://static.netboot.me/gpxe/netbootme.lkrn
/sbin/update-bootloader --add --image /boot/netbootme.lkrn --name "netboot.me
#(и то же самое для bootkernelorg)

но мне показалась удобней сделать это в виде пакета, just for fun).

Sergey Lomakov: Красивые обои с символикой OpenSuSE

@ 11:30 UTC

face

OpenSuSE линукс считается одной из самых красивых open-source ОС. Учеными доказано - зеленый цвет успокаивает глаза В связи с этим хочу поделиться обоями с символикой хамелеона: Наслаждаемся okbm("http://sapfeer.ru/krasivye-oboi-s-simvolikoj-opensuse/","Красивые обои с символикой OpenSuSE")

Суббота
14. Август 2010

Sergey Lomakov: OpenSuSE – удаленное управление в gnome

@ 08:00 UTC

face

Сегодня хочу рассказать как можно быстро и легко настроить удаленное управление в Gnome. Вот один из вариантов, зачем же оно может понадобиться. Батарейка в моем ноутбуке окончательно сдохла, из Москвы заказать такую же батарейку нельзя, поэтому, ноутбук перешел в стационарное состояние на верхнюю полку. Он стал машиной для экспериментов, и первый мой эксперимент – установка VNC-сервера [...]

Пятница
13. Август 2010

Ilya Chernykh: Таблица процессов в КДЕ3 снова работает!

@ 22:30 UTC

face

Я исправил таблицу процессов в КДЕ3, которая не работала с выпуска 11.0.
Чтобы сделать таблицу процессов снова нормально работающей, надо установить пакет kdebase3-ksysguardd. К сожалению, этот пакет не может быть установлен одновременно с КДЕ4, так что, те пользователи, которые используют КДЕ3 одновременно с КДЕ4 не почувствуют никакой разницы.

Кроме этого, я удалил все дурацкие зависимости от компонентов КДЕ4, так что вы теперь можете полностью удалить с компьютера Qt4, не нанося никакого ущерба КДЕ3.

Четверг
12. Август 2010

Artem Gavrilyuk: Примеряем новые «кеды»

@ 20:15 UTC

face

Мне кажется, что каждый линуксоид вполне осознанно стремится к чему-то новому и неизведанному. Кто из нас не ставил релиз-кандидаты дистрибутива openSUSE? Кто не спешил обновить свою графическую оболочку в день выхода новой версии? Думаю таких меньшинство. И даже понимая последствия своих действий, зная, что впереди нас ждут баги и глюки, мы смело глядим в лицо [...]

Ilya Chernykh: KBibtex

@ 17:17 UTC

face

еще один подарок для любителей КДЕ3. Kbibtex:



Установка: http://software.opensuse.org/ymp/KD...1.3/kbibtex.ymp

Среда
11. Август 2010

Ilya Chernykh: kde3-texmaker

@ 14:17 UTC

face

Для тех, кто использует КДЕ3 собрал пакет kde3-texmaker



Исходники с трудом нашел в интернете.

Установка в один щелчок:

http://software.opensuse.org/ymp/KD...e3-texmaker.ymp

Вторник
10. Август 2010

Matwey Kornilov: Обновление на openSUSE 11.3.

@ 18:37 UTC

face

По мотивам прошлогодней повести. При попытке обновиться с DVD ничего не отвалилось.

Matwey Kornilov: Kernel Module Packages

@ 18:34 UTC

face

Ссылки на существующую документацию, политки и примеры по созданию пакетов с модулями ядра для разных дистрибутивов:


Комментарии. "Novell Kernel Module Packages Manual for CODE 11" и driverupdateprogram.com от RedHat кажутся оба совместимы с вариантом от LinuxFoundation. Fedora считает что все модули которые нужны, уже есть в ядре и поэтому пакеты с модулями вообще не нужны.

Старые записи в блогах ->