распараллелить Linux под Orca

[Shorku]

Мда, нашел, действительно "решается" добавлением в инпут "%pal nprocs 16 end"
Теперь вылетает с

ORCA finished by error termination in ORCA_GTOInt

Это должно лечиться через http://www.qchem.ru/f/kvantovo-khimiche ... =printpage

ORCA=/opt/q/orca/:$ORCA
PATH=$PATH:$ORCA
export PATH ORCA

в .bashrc
Но как то я пока в этих строках не отдупляюсь.

параллельной версии при запуске надо вводить не просто orca *.inp > *.out
часто надо ввести в этой строке весь путь до программы, даже если Вы все вбили в bashrc, иначе может не найти подпрограммы

[Гесс]

To Amge
Да это то понятно. У меня прописан в этот дот-файл

ORCA=/home/Myname/Prog/orca_2_9_1_linux_x86-64/:$ORCA
PATH=$PATH:$ORCA
export PATH ORCA

Но ему это не помогает.

To Shorku

Код: Выделить всё

/home/Myname/Prog/orca_2_9_1_linux_x86-64/orca Myfile.inp >> Myfile.out

[Shorku]

Блин, поставил openmpi 1.5, не пашет, переставил 1.4.3- заработало. Полез на экспериментальную виртуалку разбираться, в чем различия)

[Гесс]

У меня проблема не в версии mpi. На сервере есть "пользователь", у которого все нормально распараллелилось.
Это мое начальство и моя задача сделать то же самое.

Проблема где то в путях или в их отсутствии или в том что они не там где надо.
Возможно они должны быть в пбс-скрипте.

[Shorku]

У меня проблема не в версии mpi. На сервере есть "пользователь", у которого все нормально распараллелилось.

а нельзя у пользователя поинтересоваться? авось подкинет все необходимое)

[kbob]

To Amge
Да это то понятно. У меня прописан в этот дот-файл

ORCA=/home/Myname/Prog/orca_2_9_1_linux_x86-64/:$ORCA
PATH=$PATH:$ORCA
export PATH ORCA

Но ему это не помогает.

To Shorku

Код: Выделить всё

/home/Myname/Prog/orca_2_9_1_linux_x86-64/orca Myfile.inp >> Myfile.out

Довольно странная строчка.
ORCA=/home/Myname/Prog/orca_2_9_1_linux_x86-64/:$ORCA

У меня лично работает так:
cd <полный путь к директории с бинарями ORCA>
.orca <полный путь к директории с inp-файлом> > <полный путь к директории с out-файлом>

mpirun (Open MPI) 1.4.3

[Гесс]

Довольно странная строчка.
ORCA=/home/Myname/Prog/orca_2_9_1_linux_x86-64/:$ORCA

Строчка уже видоизменилась в

Код: Выделить всё

[b]ORCA[/b]=/home/Myname/Prog/orca_2_9_1_linux_x86-64/

Я так понимаю что я обьявляю переменную Орка, которая представляет собой путь к файлам орки. Потом добавляю эту переменную в хранилище путей, которые могу просмотреть через "echo $PATH". экспортирую эти переменные (нифига непонимаю куда и зачем, но так везде где я нашел). Я запихнул эти строки в .bashrc и в pbs файл. Без изменений.

У меня лично работает так:
cd <полный путь к директории с бинарями ORCA>
.orca <полный путь к директории с inp-файлом> > <полный путь к директории с out-файлом>

mpirun (Open MPI) 1.4.3

То есть вы раните задачу в папке с бинарниками???

В том виде как я его расписал оно ранится на одном проце. Хотя сейчас может уже и неначем неранится после того как я по 5 раз переписывал инпут, пбс, и дотфайлы.

[kbob]

Довольно странная строчка.
ORCA=/home/Myname/Prog/orca_2_9_1_linux_x86-64/:$ORCA

Строчка уже видоизменилась в

Код: Выделить всё

[b]ORCA[/b]=/home/Myname/Prog/orca_2_9_1_linux_x86-64/

Я так понимаю что я обьявляю переменную Орка, которая представляет собой путь к файлам орки. Потом добавляю эту переменную в хранилище путей, которые могу просмотреть через "echo $PATH". экспортирую эти переменные (нифига непонимаю куда и зачем, но так везде где я нашел). Я запихнул эти строки в .bashrc и в pbs файл. Без изменений.

У меня лично работает так:
cd <полный путь к директории с бинарями ORCA>
.orca <полный путь к директории с inp-файлом> > <полный путь к директории с out-файлом>

mpirun (Open MPI) 1.4.3

То есть вы раните задачу в папке с бинарниками???

В том виде как я его расписал оно ранится на одном проце. Хотя сейчас может уже и неначем неранится после того как я по 5 раз переписывал инпут, пбс, и дотфайлы.

Когда вы запускаете любую команду, например orca без указания пути, то система ищет ее по путям записанным в переменной $PATH, первый найденный путь завершает поиск. У меня путь к orca не прописан в $PATH и я запускаю orca переходя в папку с её бинарниками. При этом в папке с бинарниками создаются файлы: CommonDisk.tmp, master0.tmp, slave1.tmp, а в папке с inp-файлом остальные tmp-файлы.

[Гесс]

У меня в pbs скрипте прописан полный путь. И я предполагал что для распараллеливания необходим полный путь.
Возможно ли что орке нужны еще какие то дополнительные пути типа путей к ее же билиотекам в стиле
export LD_LIBRARY_PATH=$ORCA2_HOME/lib:$LD_LIBRARY_PATH
?

[kbob]

У меня в pbs скрипте прописан полный путь. И я предполагал что для распараллеливания необходим полный путь.
Возможно ли что орке нужны еще какие то дополнительные пути типа путей к ее же билиотекам в стиле
export LD_LIBRARY_PATH=$ORCA2_HOME/lib:$LD_LIBRARY_PATH
?

У ORCA нет динамических библиотек. Все библиотечные функции скомпилированы статически, от этого исполняемые файлы большие по размеру (размер от 85Мб и выше).
Кстати вспомнил, у меня путь до gbw-файла в задаче тоже содержит полный путь иначе файл не находится.

[Гесс]

Проблема должна быть в OpenMPI ...

[avelon]

надеюсь решу проблему.
скрипт для запуска
export RSH_COMMAND=/usr/bin/ssh
export PATH="/gpfs/CLUSTERUSERS/neilparker2/INSTALL/OPENMPI_last/bin:$PATH"
export LD_LIBRARY_PATH="/gpfs/CLUSTERUSERS/neilparker2/INSTALL/OPENMPI_last/lib:$LD_LIBRARY_PATH"
/gpfs/CLUSTERUSERS/neilparker2/soft/orca_2_9_1_linux_x86-64/orca 1,3DiMe_DHD.inp >&1,3DiMe_DHD.log
у меня стоит несколько MPI библиотек, поэтому работаю через экспорт, если только Opempi стоит то можно PATH и LD_LIBRARY_PATH вынести в bashrc.
у меня без RSH_COMMAND отказывается работать.
путь к программе должен быть полный!
в инпуте должно присутствовать
%pal
nprocs 32
end
это означает что будет запущено на 32 ядрах. расширение входного файла обязательно .inp иначе не запуститься
плюс должен быть файл 1,3DiMe_DHD.nodes, т.е. с таким же именем что и входной файл, но расширение .nodes в нем
node-06-06 slots=8
node-06-07 slots=8
node-06-08 slots=8
node-06-09 slots=8
это значит что указаны на каких нодах запускается и сколько ядер можно задействовать
P.S. не забудь поменять пути и имена файлов на свои. а скрипт должен лежать там же где и входной файл, иначе нужно указывать полный путь к задаче
на счет версии OpenMPI должна быть версия 1.4.x, следующие версии (1.5, 1.6) не подойдут, т.к. там название динамических библиотек не совпадает с 1.4, а в программе они четко прописаны и орка не запуститься
P.S.S надеюсь всем помог

[Гесс]

расширение входного файла обязательно .inp иначе не запуститься

Соблюдено

путь к программе должен быть полный!

Соблюдено

в инпуте должно присутствовать %pal nprocs 32 end

Соблюдено

export RSH_COMMAND=/usr/bin/ssh
у меня без RSH_COMMAND отказывается работать.

Соблюдено

export PATH="/АдресМПИ/bin:$PATH"
export LD_LIBRARY_PATH="/АдресМПИ/lib:$LD_LIBRARY_PATH"
/АдресОрки/orca_2_9_1_linux_x86-64/orca 1,3DiMe_DHD.inp >&1,3DiMe_DHD.log

Соблюдено, опробовано с кавычками и без

плюс должен быть файл 1,3DiMe_DHD.nodes, т.е. с таким же именем что и входной файл, но расширение .nodes в нем
node-06-06 slots=8
node-06-07 slots=8
node-06-08 slots=8
node-06-09 slots=8
это значит что указаны на каких нодах запускается и сколько ядер можно задействовать

Выясняю

на счет версии OpenMPI должна быть версия 1.4.x, следующие версии (1.5, 1.6) не подойдут, т.к. там название динамических библиотек не совпадает с 1.4, а в программе они четко прописаны и орка не запуститься

Хреново. Выясняю не приведет ли постановка OpenMPI 1.4.x к конфликту с OpenMPI 1.6.3.

Оооочень полезно, огромное спасибо, надеюсь после фикса двух последних пунктов оно таки распараллелится.

[avelon]

поставить две версии openmpi можно. просто придется сделать так же как у меня в скрипте, загружаете нужную версию и работаете. а еще лучше поставить прогу которая подгружает нужную версию bashrc. забыл как называется

[Гесс]

А вот болт мне пока с левой резьбой, а не OpenMPI 1.4.Х

на доброжелательную просьбу

Код: Выделить всё

./configure --prefix=Адрес куда я хочу впихнуть 

(равно как и на матерную просьбу с учетом ключа из http://www.underworldproject.org/docume ... nload.html)
оно меня посылает в

Код: Выделить всё

configure: error: in `/home/Адрес откуда я ставлю':
configure: error: C++ preprocessor "/lib/cpp" fails sanity check

Изменение адреса куда я хочу поставить не влияет
Разные Х - версии не влияют.

С помощью http://gcc.gnu.org/ml/gcc-help/2006-01/msg00161.html
удалось заменить ошибку. Теперь это

checking for the C++ compiler vendor... gnu
checking if C++ compiler works... no
**********************************************************************
* It appears that your C++ compiler is unable to produce working
* executables. A simple test application failed to properly
* execute. Note that this is likely not a problem with Open MPI,
* but a problem with the local compiler installation. More
* information (including exactly what command was given to the
* compiler and what error resulted when the command was executed) is
* available in the config.log file in this directory.
**********************************************************************
configure: error: Could not run a simple C++ program. Aborting.

дальше

[avelon]

какой версии у вас gcc?

[Гесс]

$ gcc --version
gcc (GCC) 4.4.6 20110731 (Red Hat 4.4.6-3)
Copyright &copy; 2010 Free Software Foundation, Inc.

[avelon]

а от предыдущей версии openmpi bashrc почистили? и из другой директоории попробуйте поставить. с таким gcc все должно ставиться. кстати gcc 4.4.7 самый быстрый из всей линейки, по крайней мере на моей системе и для gamess us

[Гесс]

Опять не оно.
1) Предыдущие версии OpenMPI не могут быть установлены на кластер
2) Орка может быть распараллелена с данным OpenMPI и, она работает без указания .nodes

Как это сделано мне неизвестно.
Счас еще раз вычищу все профалы от всех изменений, оставлю только то что в pbs- скрипте и когда незаработает буду писать Dr. Frank Neese.

[Гесс]

Собственно последняя имеющаяся версия.

#! /bin/bash -l
#PBS -q workq
#PBS -N Trying
#PBS -l nodes=1:ppn=16
#PBS walltime=1:00:00
#PBS -j oe
TASK=Try

export RSH_COMMAND=/usr/bin/ssh
export PATH=/local/openmpi-1.6.3/bin:$PATH
export LD_LIBRARY_PATH=/local/openmpi-1.6.3/lib:$LD_LIBRARY_PATH
export MPI_INCLUD=/local/openmpi-1.6.3/include

ORCA=/home/Name/Prog/orca_2_9_1_linux_x86-64
PATH=$PATH:$ORCA
export PATH ORCA

cd /home/Name/ORCA
mkdir TMP_$TASK
cp ./$TASK.inp ./TMP_$TASK/$TASK.inp
cd TMP_$TASK
/home/Name/Prog/orca_2_9_1_linux_x86-64/orca $TASK.inp >> $TASK.out
cd ..
cp ./TMP_$TASK/$TASK.out ./$TASK.out
#rm -rf TMP_$TASK