распараллелить Linux под Orca

[Гесс]

попробую еще подолбаться на их форуме. http://www.cec.mpg.de/forum/
Может не придется основателя дергать.

[avelon]

openmpi-1.6.3 у меня орка не работала. только 1.4.х. там жесткая привязка
работает без указания nodes если требуемое количество ядер равно количество ядер на ноде, т.е. локально
абсолютно бесполезные строки:
ORCA=/home/Name/Prog/orca_2_9_1_linux_x86-64
PATH=$PATH:$ORCA
export PATH ORCA
если у вас нет прав на установку, попросите админа поставить нужную версию openmpi и все заработает.

[Гесс]

Ну я пока пытаюсь влезть хотя бы в ноду.

С админом я уже общался. Админ сказал что в этом нет смысла и чтоб я общался с Frank Neese и уж если Neese скажет что иначе никак тогда админ сам с ним будет общаться.
Начальство распараллелило с имеющимся OpenMPI, что светит и мне. Ну или несветит.

Строки почерпнуты из
http://www.qchem.ru/f/kvantovo-khimiche ... =printpage
http://www.destructio.ru/2009/09/orca-u ... -i-zapusk/
http://www.qchem.ru/f/kvantovo-khimiche ... a/10/?wap2

[avelon]

когда запускаете задачу что вылазит, приведите все

[Гесс]

Так, я удалил из пбсника опять почти все эти экспорты, впихнул в .bashrc

export RSHCOMMAND=ssh
export PATH=$PATH:/local/openmpi-1.6.3/bin
export ORCA=$ORCA:/home/Имя/Prog/orca_2_9_1_linux_x86-64
export PATH=$PATH:$ORCA

аутпут теперь заканчивается через

Checking for AutoStart:
The File: Try.gbw exists
Trying to determine its content:
... Fine, the file contains calculation information
... Fine, the calculation information was read
... Fine, the file contains a basis set
... Fine, the basis set was read
... Fine, the file contains a geometry
... Fine, the geometry was read
... The file does not contain orbitals - skipping AutoStart
ORCA finished by error termination in ORCA_GTOInt

А что при запуске, на qsub orca.pbs он дает номер под которым задача уходит в очередь и все.

А не, уже опять дает

-------------------------------
AUXILIARY BASIS SET INFORMATION
-------------------------------
There are 1 groups of distinct atoms

Group 1 Type C : 9s3p3d1f contracted to 7s3p3d1f pattern {3111111/111/111/1}

Atom 0C basis set group => 1
....Перечень атомов
Atom 119C basis set group => 1
ORCA finished by error termination in ORCA_GTOInt

[avelon]

а в командной строке есть что нибудь? в сериал режиме орка запускается?
а вот это вообще бред:

Админ сказал что в этом нет смысла и чтоб я общался с Frank Neese и уж если Neese скажет что иначе никак тогда админ сам с ним будет общаться.

если я собираю бинарник и не даю исходников, то вероятнее всего что без тех же библиотек, что собирался бинарник, работать не будет. там даже специально черным по белому написано какой MPI нужен.
ради любопытсва можете сравнить содержание папок lib для 1.4 и 1.6 увидите что они различаются.
при статической линковке, библиотеки жестко прописаны, если название не соответствует не запуститься. есть вариант сделать симлинк с нужным именем. но нужно знать какие названия библиотек соответствуют для разных версий. но и это не факт, нужно чтобы еще и процедуры вызывов для них совпадали. самый просто и действенный способ поставить нужную версию MPI. админы как всегда ...., тоже долго с ними общался, пока не разобрался как самому все поставить и настроить

[avelon]

для примера взять тот же firefly ведь не спроста он работает только с 32 bit библиотекой и openpmi 1.2.9 (для 7 версии)
если у вас работает в сериал режиме, а все остальные мои рекомендации соблюли, то остается только одна версия почему не работает орка - это версия openmpi.

[Гесс]

При запуске напрямую из консоли в стиле

Код: Выделить всё

[Имя@master01 ORCA]$ orca Try.inp

выдает

...
Atom 119C basis set group => 1
/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun: line 96: /opt/intel/ composer_xe_2013.1.117/mpirt/bin/intel64/mpivars.sh: No such file or directory
ORCA finished by error termination in ORCA_GTOInt
ORCA finished by error termination in ORCA_GTOInt

В отношении OpenMPI - все что мне известно что оно каким то образом распараллелено с OpenMPI 1.6.3. На этом кластере. Вероятно некоторым правильным прописыванием каких то путей куда то. Каким и куда у меня мыслей неосталось.

[o-oxhem]

В этом случае у Вас даже до OpenMPI исполнения не доходит. Оказывается, что у Вас по умолчанию IntelMPI вызывается. А его, как видно, у Вас просто нет. Т.е. Вам остается из bashrc выгрузить Intel компилятор, компилировать OpenMPI без Intel компилятора (это может быть уже избыточно, я уже не помню - давно уже делал). Запускать орка всегда с выгруженным Intel компилятором.
Может есть вариант что -то написать в mpivars, но я не знаю.

[avelon]

закомментируйте все в bashrc и напишите в командной строке echo $PATH
если в пути не будет никаких других MPI. пропишите только путь к нужному MPI и попробуйте запустить.

[Гесс]

После комментирования всего в .bashrc echo $PATH дает (разбито на строчки иначе неприятно читать):

/usr/lib64/qt-3.3/bin
:/opt/intel/composer_xe_2013.1.117/bin/intel64
:/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64
:/opt/intel/composer_xe_2013.1.117/bin/intel64
:/opt/intel/composer_xe_2013.1.117/bin/intel64_mic
:/opt/intel/composer_xe_2013.1.117/debugger/gui/intel64
:/usr/local/bin
:/bin
:/usr/bin
:/usr/local/sbin
:/usr/sbin
:/sbin
:/opt/env-switcher/bin
:/local/openmpi-1.6.3/bin
::/home/Имя/Prog/orca_2_9_1_linux_x86-64
:/home/Имя/bin

После перезагрузки

/usr/lib64/qt-3.3/bin
:/opt/intel/composer_xe_2013.1.117/bin/intel64
:/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64
:/opt/intel/composer_xe_2013.1.117/bin/intel64
:/opt/intel/composer_xe_2013.1.117/bin/intel64_mic
:/opt/intel/composer_xe_2013.1.117/debugger/gui/intel64
:/usr/local/bin
:/bin
:/usr/bin
:/usr/local/sbin
:/usr/sbin
:/sbin
:/opt/env-switcher/bin
:/home/Имя/bin

Тут внезапно выяснилось что для работы OpenMPI 1.6.3 нужны софтлинки библиотек,

libmpi_cxx.so.0 and libmpi.so.0 required by Orca was soft-linked against /local/openmpi-1.6.3/lib/libmpi_cxx.so.1 and /local/openmpi-1.6.3/lib/libmpi.so.1.
Works just fine. TS

софтлинки есть, но

Код: Выделить всё

ldd /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca_scf_mpi

их не видит

linux-vdso.so.1 => (0x00007fff305ff000)
libmpi_cxx.so.0 => not found
libmpi.so.0 => not found
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000003a03400000)

Я читая всякое типа http://www.linuxquestions.org/questions ... nk-168882/, https://github.com/37signals/pow/issues/145 начинаю думать куда то в сторону файла config, который у меня аж 1 и живет в /home/Имя/.ssh/

[avelon]

теперь когда все закоментировано и перезагружено наберите mpirun -V

[Гесс]

Судя по ldconfig -p | grep 'mpi' оно об них не в курсе... Или я опять куда то нетуда рою.

[Гесс]

теперь когда все закоментировано и перезагружено наберите mpirun -V

mpirun -V
/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun: line 96: /opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpivars.sh: No such file or directory

[avelon]

меня настораживает :/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64
если у вас стоит intelMPI то у вас конфликт MPI реализаций. а так как :/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64 прописано админами для всех пользователей, то intelMPI будет загружаться вперед
поэтому меня и интересует есть mpirun -V когда отсутствуют пользовательские конфиги

[Гесс]

меня настораживает :/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64
если у вас стоит intelMPI то у вас конфликт MPI реализаций. а так как :/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64 прописано админами для всех пользователей, то intelMPI будет загружаться вперед
поэтому меня и интересует есть mpirun -V когда отсутствуют пользовательские конфиги

То есть выгружать intelMPI ? счас буду разбираться как

module unload intel-mpi не имеет результата ни с командной строки ни прописанный в .bashrc после перезапуска.

Может сначала попробовать бороться с неконфигнутыми библиотеками?

[avelon]

как я понял у вас есть intelmpi (/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun) но не настроены ссылки на библиотеки ( /opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpivars.sh: No such file or directory) для него.
отсюда и конфликт. нужно админам убрать intelmpi. потом прописать openmpi и снова запустить орку

[uchebnik fiziki]

что дают module list и module avail?

[uchebnik fiziki]

что дают module list и module avail?

[Гесс]

что дают module list и module avail?

После перезапуска

module list
Currently Loaded Modulefiles:
1) switcher/1.0.13 2) oscar-modules/1.0.5

module avail

------------------------ /opt/modules/oscar-modulefiles ------------------------
switcher/1.0.13(default)

----------------------------- /opt/modules/version -----------------------------
3.2.6

-------------------- /opt/modules/Modules/3.2.6/modulefiles --------------------
dot module-cvs module-info modules null use.own

--------------------------- /opt/modules/modulefiles ---------------------------
oscar-modules/1.0.5(default)