распараллелить Linux под Orca

[amge]

В строке "#! /bin/bash -l" после #! пробел, которого в подобных конструкциях обычно не бывает.
Возможно, из-за этого пробела первая строка игнорируется, и опция -l тоже.
Данная опция важна, она говорит bash-у, что нужно вести себя как при логине, в частности, исполнить .bashrc

Иногда исполнение .bashrc вставляют в pbs-скрипты в явном виде:
. $HOME/.bashrc
(начинается с точка-пробел)

Upd Умные люди говорят, что пробел после #! допустим.
Но все же попробуйте после директив #PBS включить исполнение .bashrc в явном виде.

[uchebnik fiziki]

(начинается с точка-пробел)

Впервые вижу такое. Что это означает? Обычно выполнение bashrc командой source вроде делается, в чём разница?

[amge]

Никогда не задумывался, а сейчас глянул. Оказывается,
. filename
source filename
просто синонимы

[uchebnik fiziki]

однако

[Гесс]

Пробел в вызове баша я вчера лечил, не помогает.
Вызов .профайла поставил. Не помогает.

Окончание аутпута счас такое как раньше было у вызова из консоли:

Atom 119C basis set group => 1

Checking for AutoStart:
The File: Try.gbw exists
Trying to determine its content:
... Fine, the file contains calculation information
... Fine, the calculation information was read
... Fine, the file contains a basis set
... Fine, the basis set was read
... Fine, the file contains a geometry
... Fine, the geometry was read
... The file does not contain orbitals - skipping AutoStart
ORCA finished by error termination in ORCA_GTOInt

Файл Try.gbw реально существует, но когда он создается запуском скрипта он примерно в 30 раз меньша чем когда задача выполняется запуском из консоли. Неуверен правда что именно отстутствие орбиталей убивает задачу, когда я подсовывал ей "хороший" Try.gbw она проходила "автостарт" но все равно умирала со все той же ошибкой через пару строк. Кстати Try.gbw при этом перезаписывается, превращаясь в дефективный.
Чует моя пятая точка что скоро я буду знать об орке таким манером много бесполезной информации.

[alxyppv]

Не думаю что дело в орбиталях, вылет с такой строчкой скорее всего означает что орка не нашла исполняемого файла, т.е проблема с путями так и не решена
Когда-то давно, несколько лет назад, я решал такую же проблемы прописыванием во входном файле непосредственных путей к каждому модулю, типа такого:

%method
ProgSCF "/home/14/ap5/orca01/orca_scf"
ProgGTOInt "/home/14/ap5/orca01/orca_gtoint"
ProgMP2 "/home/14/ap5/orca01/orca_mp2"
ProgPlot "/home/14/ap5/orca01/orca_plot"
ProgSCFGrad "/home/14/ap5/orca01/orca_scfgrad"
ProgGStep "/home/14/ap5/orca01/orca_gstep"
ProgMom "/home/14/ap5/orca01/orca_mom"
ProgCPSCF "/home/14/ap5/orca01/orca_cpscf"
ProgEPRNMR "/home/14/ap5/orca01/orca_eprnmr"
ProgCIS "/home/14/ap5/orca01/orca_cis"
ProgRel "/home/14/ap5/orca01/orca_rel"
ProgSOC "/home/14/ap5/orca01/orca_soc"
Grid 6
end

Не уверен, что в нынешних версиях это так работает, но проверить можно. Просто вставтье строчку с отсылкой к orca_gtoint, а точнее - к параллельной его версией. Если задача проскочит этот момент, и заткнется на следующем этапе - значит дело таки в путях. Это, конечно, не самый прямой путь, но вдруг поможет...

[amge]

Пути в окружении PBS можно посмотреть, запустив pbs-скрипт, в котором вместо вызова орки будет строка
env > env.txt

А в файлах
filename.eNNNNNN
filename.oNNNNNN
пусто?

[Гесс]

Аутпутник пустой, а эррорник попрежнему невидит библиотеки
mpirun: error while loading shared libraries: libimf.so: cannot open shared object file: No such file or directory
ORCA finished by error termination in ORCA_GTOInt

[avelon]

меняйте версию openmpi на 1.4.3

[Гесс]

Начинаю править в обратную сторону

[Гесс]

Итаааак
env.txt
[cut]MODULE_VERSION_STACK=3.2.6
MANPATH=:/opt/modules/default/man
HOSTNAME=node011
PBS_VERSION=TORQUE-4.1.0
SHELL=/bin/bash
HISTSIZE=1000
PBS_JOBNAME=Trying
PBS_ENVIRONMENT=PBS_BATCH
MODULE_SHELL=sh
OLDPWD=/home/Имя
PBS_O_WORKDIR=/home/Имя/ORCA
USER=Имя
PBS_TASKNUM=1
MODULE_OSCAR_USER=Имя
LD_LIBRARY_PATH=:/local/openmpi-1.6.3/lib:/local/openmpi-1.6.3/lib:/local/openmpi-1.6.3/lib:/local/openmpi-1.6.3/lib:/local/openmpi-1.6.3/lib
PBS_O_HOME=/
ENV=/home/Имя/.bashrc
RSHCOMMAND=ssh
PBS_WALLTIME=3600
PBS_MOMPORT=15003
PBS_GPUFILE=/var/spool/torque/aux//8782gpu
PBS_O_QUEUE=workq
ORCA_DIR=/home/Имя/Prog/orca_2_9_1_linux_x86-64
PATH=/usr/lib64/qt-3.3/bin:/local/openmpi-1.6.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/opt/env-switcher/bin:/local/openmpi-1.6.3/bin:/local/openmpi-1.6.3/lib:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/home/Имя/bin:/local/openmpi-1.6.3/lib:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/opt/intel/composer_xe_2013.1.117/bin/intel64:/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64:/opt/intel/composer_xe_2013.1.117/bin/intel64:/opt/intel/composer_xe_2013.1.117/bin/intel64_mic:/opt/intel/composer_xe_2013.1.117/debugger/gui/intel64
MAIL=/var/spool/mail/Имя
MODULE_VERSION=3.2.6
PBS_JOBCOOKIE=3B5FBBCAD7B3DC8C8EC8B474D999668C
PWD=/home/Имя/ORCA
_LMFILES_=/opt/modules/modulefiles/oscar-modules/1.0.5
LANG=C
PBS_NODENUM=0
MODULEPATH=/opt/modules/oscar-modulefiles:/opt/modules/version:/opt/modules/Modules/$MODULE_VERSION/modulefiles:/opt/modules/modulefiles:
PBS_NUM_NODES=1
LOADEDMODULES=oscar-modules/1.0.5
PBS_JOBID=8782
ENVIRONMENT=BATCH
HISTCONTROL=ignoredups
HOME=/home/Имя
SHLVL=2
PBS_O_HOST=master01
PBS_VNODENUM=0
LOGNAME=Имя
PBS_QUEUE=workq
MODULESHOME=/opt/modules/Modules/3.2.6
LESSOPEN=|/usr/bin/lesspipe.sh %s
PBS_NP=16
PBS_O_SERVER=master01
PBS_NUM_PPN=16
ORCA=:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/home/Имя/Prog/orca_2_9_1_linux_x86-64
PBS_NODEFILE=/var/spool/torque/aux//8782
G_BROKEN_FILENAMES=1
module=() { eval `/opt/modules/Modules/$MODULE_VERSION/bin/modulecmd bash $*`
}
_=/bin/env[/cut]
ХХХХ.о.NNNN

mpirun: error while loading shared libraries: libimf.so: cannot open shared object file: No such file or directory
ORCA finished by error termination in ORCA_GTOInt

$ find / -name libimf.so > results.txt 2>&1
$ grep -v 'Permission' results.txt
/scratch/test/compiler/lib/intel64/libimf.so
/scratch/test/compiler/lib/ia32/libimf.so
/scratch/test/compiler/lib/mic/libimf.so
/local/intel/composer_xe_2013.1.117/compiler/lib/intel64/libimf.so
/local/intel/composer_xe_2013.1.117/compiler/lib/mic/libimf.so
/local/intel_rtl/compiler/lib/ia32/libimf.so
/local/intel_rtl/compiler/lib/intel64/libimf.so
/local/intel_rtl/compiler/lib/mic/libimf.so

$ ldd orca_anoint_mpi
linux-vdso.so.1 => (0x00007fff663ff000)
libmpi_cxx.so.0 => /local/openmpi-1.6.3/lib/libmpi_cxx.so.0 (0x00002ad5c253c000)
libmpi.so.0 => /local/openmpi-1.6.3/lib/libmpi.so.0 (0x00002ad5c2758000)
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000003a03400000)
libm.so.6 => /lib64/libm.so.6 (0x00000039fe000000)
libc.so.6 => /lib64/libc.so.6 (0x00000039fd400000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00000030f1400000)
/lib64/ld-linux-x86-64.so.2 (0x00000039fd000000)
librt.so.1 => /lib64/librt.so.1 (0x00000030f3000000)
libnsl.so.1 => /lib64/libnsl.so.1 (0x0000003a03000000)
libutil.so.1 => /lib64/libutil.so.1 (0x0000003a02c00000)
libimf.so => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libimf.so (0x00002ad5c2b64000)
libirng.so => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libirng.so (0x00002ad5c3021000)
libcilkrts.so.5 => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libcilkrts.so.5 (0x00002ad5c3228000)
libintlc.so.5 => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libintlc.so.5 (0x00002ad5c345d000)
libsvml.so => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libsvml.so (0x00002ad5c36ac000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000039ff800000)
libdl.so.2 => /lib64/libdl.so.2 (0x00000039fd800000)

То есть ldd библиотеку находит. Орке я е все равно найду как скормить, вопрос только времени и толку.

[Гесс]

В XXXX.oNNNN все по прежнему
mpirun: error while loading shared libraries: libimf.so: cannot open shared object file: No such file or directory
ORCA finished by error termination in ORCA_GTOInt
Хотя в пбснике прописаны пути и в эти пути добавлена папка в которой лдд находит эту библиотеку.

В конце рассчета мы перестали ругаться на отсутствие орбиталей, но результат не поменялся:
Checking for AutoStart:
The File: Vseh.gbw exists
Trying to determine its content:
... Fine, the file contains calculation information
... Fine, the calculation information was read
... Fine, the file contains a basis set
... Fine, the basis set was read
... Fine, the file contains a geometry
... Fine, the geometry was read
... Fine, the file contains a set of orbitals
... Fine, the orbitals can be read
=> possible old guess file was deleted
=> GBW file was renamed to GES file
=> GES file is set as startup file
=> Guess is set to MORead
... now leaving AutoStart

ORCA finished by error termination in ORCA_GTOInt

Продолжаю думать и тыкаться.

[Гесс]

Заработало!
Осталось понять почему
Всем откликавшимся огромное спасибо!
Скорее всего все было оочень просто, но я как всегда нашел себе головной боли.

[sanya1024]

А как выглядит работающий скрипт?

[Гесс]

Прошу прощения за нелитературную лексику

#! /bin/bash -l
#PBS -q workq
#PBS -N Singlet
#PBS -l nodes=1:ppn=16
#PBS walltime=1:00:00
#PBS -j oe
ebanutayazateya=28.sin
#Many people (including myself) will prefer to write a small shellscript that, for example, creates a run directory, copies the input to there,
#runs the program, deletes possibly left over temporary files and then copies the output back to the original directory.

export RSHCOMMAND=ssh
export PATH=/usr/lib64/qt-3.3/bin:/local/openmpi-1.6.3/bin:/local/openmpi-1.6.3/lib:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/opt/env-switcher/bin:/home/Имя/Prog/orca_2_9_1_linux_x86-64:/home/Имя/bin:/opt/intel/composer_xe_2013.1.117/bin/intel64:/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64:/opt/intel/composer_xe_2013.1.117/bin/intel64:/opt/intel/composer_xe_2013.1.117/bin/intel64_mic:/opt/intel/composer_xe_2013.1.117/debugger/gui/intel64:/opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/
export ORCA=$ORCA:/home/Имя/Prog/orca_2_9_1_linux_x86-64
export ORCA_DIR=/home/Имя/Prog/orca_2_9_1_linux_x86-64
export LD_LIBRARY_PATH=/local/openmpi-1.6.3/lib:/opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/:$LD_LIBRARY_PATH

cd /scratch
mkdir Nenavizhu$ebanutayazateya
cp /home/Имя/Orca/$ebanutayazateya.inp /scratch/Nenavizhu$ebanutayazateya/$ebanutayazateya.inp
cd /Имя/Nenavizhu$ebanutayazateya/
/home/Имя/Prog/orca_2_9_1_linux_x86-64/orca $ebanutayazateya.inp >> $ebanutayazateya.out
cd ..
cp /scratch/Nenavizhu$ebanutayazateya/$ebanutayazateya.out /home/Имя/Orca/$ebanutayazateya.out
rm -rf Nenavizhu$ebanutayazateya

Кстати чтото все равно не так. Синглпоинт считает а на оптимизацию матерится. Но это не должно быть проблемой параллелизации, я так надеюсь.

------------------------------------------------------------------------------
ORCA OPTIMIZATION COORDINATE SETUP
------------------------------------------------------------------------------

The optimization will be done in new redundant internal coordinates
Making redundant internal coordinates ... (new redundants) done
Evaluating the initial hessian ... (Almloef) ERROR : GSTEP Program returns an error
cannot continue with the optimization
COMMAND : /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca_gstep 18.sin.ginp.tmp
RETURN CODE : 11

Пока понятно что это не библиотековая проблема:
$ ldd orca_gstep
not a dynamic executable

Содержимое ругаемого файла:

18.sin.gbw
0
1
0
$constraints
0
0
1 6
1 120 24 -1 -1 1 3.40150704

Счас посмотрим без констрейнтсов...

[Гесс]

Пример из мануала посчитался нормально. Но судя по всему на одном проце.

!B3LYP SV SurfCrossOpt SurfCrossNumFreq
%mecp Mult 1
end
*xyz +1 3
C 0.000000 0.000000 0.000000
H 0.000000 0.000000 1.300000
H 1.026719 0.000000 -0.363000
O -0.879955 0.000000 -1.088889
H -0.119662 -0.866667 0.961546
*

Констрейнутая оптмизация на одном проце работала и до параллелизации. Это не совсем тот результат который бы я хотел.
Буду рыться. Счас запустил этот же пример с указанием 16 процов. Посмотрим.

Я тут в этой теме походу организовал свой то ли блог то ли дневник

[Гесс]

Стало веселее.

!B3LYP SV SurfCrossOpt SurfCrossNumFreq
%pal nprocs 16 end
%mecp Mult 1
end
*xyz +1 3
C 0.000000 0.000000 0.000000
H 0.000000 0.000000 1.300000
H 1.026719 0.000000 -0.363000
O -0.879955 0.000000 -1.088889
H -0.119662 -0.866667 0.961546
*

Тоже посчиталось, причем на 16 процах. (на 1 проце за 6 minutes 34 seconds 300 msec а на 16 за 5 minutes 51 seconds 851 msec, занятно параллелизнуто).
Счас запихнем в пример констрейнт...

ААА, пока не посчиталось но наверное понял. Чето из мозгов выскочило что нумерация начинается с нулевого атома.

[sanya1024]

Я тут в этой теме походу организовал свой то ли блог то ли дневник

На самом деле, спасибо -- Ваш опыт пригодится будущим поколениям

[Гесс]

Стало загадочнее. Имеется скажем 8 почти одинаковых инпутов (сканирование), из них 1 посчитался а 7 легло с

An error has occured in the SCF module
CALLING COMMAND: mpirun -np 16 /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca_scf_mpi 30.sin.gbw b
RETURN CODE : 16384
ABORTING THE RUN

Причем внезапно, SCF степы шли-шли и вдруг бац!

Счас схожу расскажу как прекрасно жить на этом свете и какие у меня грандиозные результаты и буду лечить.

[amge]

SCF степы шли-шли и вдруг бац!

Частенько наблюдаю подобное с Природой на кластере. Чем больше процов задействовано и чем тяжелее задачка, тем больше вероятность вылета. Поэтому даю на каждый расчет только по 4 проца.