Предложения к ТТ на ПО КУ

Данный документ описывает предложения по включению тех или иных требований в ТТ на программное обеспечение кластерного уровня.

Документ был разработан во время работы на конференции Моряк'2000 представителями ИПС РАН и МГУ. В первую очередь при разработке было уделенео внимание проработке требований по составу. Хотя и требования на функциональность в основном отмечены.

Мы постарались закрыть все пункты, имеющие отношение к ПО КУ, то есть, все пункты (и даже шире), которые предусмотрены мероприятиями:

• мероприятие 6 "Проектирование и реализация программной документации (ПД) программного обеспечения (ПО) кластерного уровня (КУ) в части ОС КУ, системной сети КУ и программных средств поддержки параллельных вычислений"
• мероприятие 8 "Проектирование и реализация программной документации (ПД) языковых средств программного обеспечения (ПО) кластерного уровня (КУ) в части компилятора и редактора связей Т-языка"
• и др. (взаимодействие КУ и ОВС, например).

Большинство компонент ПО КУ снабжены пометками сроков реализации (с последущим сопровождением и выпуском новых версий). Пример пометки: "(2001 и далее)". Если такой пометки нет, то предполагается срок реализации 2000 г. с последущим сопровождением и выпуском новых версий.

Некоторые компоненты не вполне продуманы по составу, исполнению и функциональности.  Тогда записан план мероприятий по ним (см. 10, 11, 12).

Хотя мы и старались---документ является черновиком и требует обсуждения и доработки:

• как в части добавления всего, что мы могли пропустить (что в этом супе не хватает?);
• так и в части формального превращения его в настоещее ТТ.

Состав ПО КУ и функциональность компонент

1. Специальный дистрибутив ОС Linux

Версия ядра 2.2 (2000, в дальнейшем---2.4)

Специальный дистрибутив ОС Linux дополнительно (по сравнению с обычной версией) будет обеспечивать:

• повышенную защищенность;
• поддержку аппаратуры СС SAN (SCI);
• поддержку SМP;
• расширенную функциональность управления памятью процесса (memory management);
• поддержку всех необходимых базовых средств OC Linux.

2. Программное обеспечение СС SAN (SCI)

Программное обеспечение СС SAN (SCI) по составу включающет:

• Драйвер аппаратуры СС SAN (SCI). Требования:
  • совместимость с выбранными аппаратными средствами БВМ КУ и
  • совместимость с разрабатываемым дистрибутивом OC Linux (см. п.1).
• ПО поддержки MPI на платформе СС SAN (SCI). Требования:
  • совместимость со стандартом MPI 1.2;
  • совместимость со стандартом MPI 1.2 + ROMIO (2001 и далее);
  • расширенная совместимость MPI с SMP (2001 и далее).
• ПО поддержки модели "общей памяти" на платформе СС SAN (SCI). Требования: позволяет "напрямую" (без поддержки со стороны ОС и/или MPI) выполнять операции доступа на чтение и запись к памяти различных БВМ КУ (2001 и далее).
• ПО поддержки PVM на платформе СС SAN (2001 и далее).

3. Программное обеспечение поддержки параллельных вычислений---в части поддержки MPI

ПО поддержки MPI по состяву должно включать (частично 2000, частично 2001 и далее):

• mpirun (2000);
• mpicc (2000, 2001 и далее);
• библиотеки (2001 и далее).

4. Программное обеспечение поддержки параллельных вычислений---в части поддержки PVM

ПО поддержки MPI по состяву должно включать (частично 2000, частично 2001 и далее):

• pvm (2000);
• xpvm (2001 и далее);
• pvm поверх MPI---или pvm на платформе СС SAN (SCI) бесконфликтный с MPI (2001 и далее);
• прикладные пакеты над PVM
  • SCILab
  • GPH/PVM

5. Программное обеспечение поддержки параллельных вычислений---в части T-системы (расширенная версия)

ПО поддержки MPI по состяву должно включать (частично 2000, частично 2001 и далее):

• Библиотека поддержки Т-системы---TKI:
  • Эффективный memory management для SMP (+GC)
  • Мобильные легковесные процессы
  • Корректная работа с LIBC (2001 и далее);
• SMP-ядро Т-системы: PGR/SMP:
  • реализация примитивов TVar, TCoht, Node, PQue
  • инкрементальное вычисление (2001 и далее)
  • различные стратегии вычислений (2001 и далее)
  • потоковые функции (2001 и далее)
• Коммуникационный уровень Т-системы---CLS/MPI
  • поддержка сериализация/десериализация объектов;
  • поддержка обмена сообщениями между выполняющимися потоками;
  • поддержка распределенной мемо-таблицы (частично 2000, частично 2001 и далее);
  • статистическая поддержка внешнего планирования (2001 и далее);
  • поддержка абстракции "вычисления", "вычислительного пространства" и "портала" (частично 2000, частично 2001 и далее);
  • отказоустойчивость (2001 и далее);
  • поддержка эмуляции кластера на одном узле (2001 и далее).
• Поддержка монотонных объектов (2001 и далее).

6. Языковые средства параллельных вычислений

• Языковые средства MPI
  • mpcc
  • Fortran/MPI
  • DVM/MPI (2001 и далее)
  • Norma/MPI (2001 и далее)
• Языковые средства семейства PVM (2001 и далее)
  • GPH/MPI (2001 и далее)
  • SCILab (2001 и далее)
• Языковые средства семейства Т-системы
  • ТС
  • FL (2001 и далее)
  • Refal+ (2001 и далее)
  • TFortran (2001 и далее)

7. Программные средства поддержки отладки Т-задач (2001 и далее)

• многооконный отладчик Т-задачи для кластерного уровня (2001 и далее);
• средства сбора и анализа трассы событий Т-задачи, включая режим повторения трассы под отладчиков (2001 и далее).

8. Программные средства профилировки Т-задач (2001 и далее)

Поддержка сбора и обработка статистических данных Т-задачи. По составу собираемой статистики аналогичен gprof и средствам профилировки в языке Haskell.

9. Комплексирование Т-задач и существующих библиотек (2001)

• (см. так же п.5, TKI, корректная работа с LIBC);
• осуществление подбора существующих библиотек;
• выполнение комплексирования.

10. Программное обеспечение поддержки взаимодействия КУ и ОВС (2001-2002)

• разработка ТЗ в 2000 (а там будет видно---2001-2002).

11. Выбор базовой файловой системы для КУ ОВС

• Формирование требований на файловой системе (2000)
• Выбор одной из существующих---RaiserFS, ext2, ext3,---файловой систем (2000)
• Формирование плана доработок и реализация доработок файловой системы (2001 и далее)

12. Поддержка параллельного ввода/вывода---PI/O (2001)

• Изучение ROMIO/MPI (2001 и далее)
• Изучение PVFS (2001 и далее)
• Принятие решения о реализации PI/O (2001 и далее)

13. Средства поддержки мониторинга и системного администрирования КУ (2001)

• Средства поддержки системного администрирования по функциональности должны обеспечивать:
  • удаленный доступ к суперкомпьютеру и безопасность этого доступа;
  • средства регистрации и учета (accounting) пользователей;
  • поддержку инсталляции, конфигурирования и тестирования ПО КУ;
  • поддержку загрузки КУ, перезагрузки/перезапуска узлов КУ или всей установки.
• Средства поддержки системного мониторинга по функциональности должны обеспечивать:
  • мониторинг состояния аппаратуры: БВМ КУ (загрузка процессора, памяти, интенсивность обмена с дискоми, ATX-информация: работоспособность вентиляторов, температура процессоров и т.п.), BC LAN, CC SAN;
  • программные тесты для аппаратуры и ПО
  • визуализация результатов мониторинга

14. Тестовые и демонстрационные задачи и тесты предварительности (benchchmarks)---2000, 2001 и далее