распараллелить Linux под Orca

[wait]

что показывет: mpi-selector --query?

[Гесс]

Попытался выяснить где фигурируют эти библиотеки

grep -r "libmpi" /home/Имя
/home/Имя/.viminfo:> /local/openmpi-1.6.3/lib/libmpi_cxx.so.0
Binary file /home/Имя/MPI/libmpi.so.0 matches - Это я делал отдельные софтлинки
Binary file /home/Имя/MPI/libmpi_cxx.so.0 matches
grep: /home/Имя/local/cc1plus: No such file or directory
Binary file /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca_pc_mpi matches
Длинный список бинарников орки
Binary file /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca_mdci_mpi matches
/home/Имя/ORCA/orca.pbs:#module load /local/openmpi-1.6.3/lib/libmpi_cxx.so.0 - Это я прописывал в пбсник надеясь загрузить их как модуль
/home/Имя/ORCA/orca.pbs:#module load /local/openmpi-1.6.3/lib/libmpi_cxx.so.
/home/Имя/ORCA/Nezarabotaet.o8688:locate_module.c(565):ERROR:106: Magic cookie '#%Module' missing in '/local/openmpi-1.6.3/lib/libmpi_cxx.so.0' Это результат такого прописывания
/home/Имя/ORCA/Nezarabotaet.o8688:locate_module.c(565):ERROR:106: Magic cookie '#%Module' missing in '/local/openmpi-1.6.3/lib/libmpi_cxx.so.0'
/home/Имя/.bash_history:vi libmpi_cxx.so.0
/home/Имя/.bash_history:ln -s /local/openmpi-1.6.3/lib/libmpi_cxx.so.1 libmpi_cxx.so.0
/home/Имя/.bash_history:ln -s /local/openmpi-1.6.3/lib/libmpi.so.1 libmpi.so.0

[Гесс]

что показывет: mpi-selector --query?

Команда неизвестна. Скачать http://alex-hpc.blogspot.de/2012/08/mpi-selector.html, установить и выяснить?

[wait]

ну вероятно можно и попробовать это выбор MPI по умолчанию в сеансе...

[Гесс]

У меня безумная идея (если сработает то будет "ну разумеется"). Счас я попробую не только экспортировать но и за чивать в PATH

А не, нифига не заработало. Однако вопрос:
Если у меня в pbs-файле прописано
export LD_LIBRARY_PATH=/local/openmpi-1.6.3/lib:$PATH

(также опробован вариант LD_LIBRARY_PATH=/local/openmpi-1.6.3/lib
PATH=$PATH:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH)

Не должен ли этот путь появляться в echo $PATH ???

Запихнул в .bashrc

export RSHCOMMAND=ssh
export PATH=$PATH:/local/openmpi-1.6.3/bin
export PATH=$PATH:/local/openmpi-1.6.3/lib
export ORCA=$ORCA:/home/Имя/Prog/orca_2_9_1_linux_x86-64
export PATH=$PATH:/home/Имя/Prog/orca_2_9_1_linux_x86-64

Теперь echo $PATH дает

/usr/lib64/qt-3.3/bin
:/opt/intel/composer_xe_2013.1.117/bin/intel64:/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64
:/opt/intel/composer_xe_2013.1.117/bin/intel64:/opt/intel/composer_xe_2013.1.117/bin/intel64_mic
:/opt/intel/composer_xe_2013.1.117/debugger/gui/intel64
:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/opt/env-switcher/bin
:/local/openmpi-1.6.3/bin
:/local/openmpi-1.6.3/lib
:/home/Имя/Prog/orca_2_9_1_linux_x86-64
:/home/Имя/bin

На работу орки не оказало никакого эффекта
Ответ ldd не изменился. Софтлинкнутые библиотеки не находятся.

[Гесс]

Таак, небыло печали. Я таки прилепил новые библиотеки но кажется затер путь к половине старых...

Пути к библиотекам прописаны в $PATH, в $LD_LIBRARY_PATH, ldd orca отрабатывает все библиотеки, задача висит в очереди. Если оно все равно не заведется я за себя не отвечаю...

[avelon]

а другая программа использующая openmpi видит библиотеки? и запускается?
если орка теперь не запуститься то однозначно версия мпи.

[Гесс]

жду. сколько ждать неведомо.

[Гесс]

Очередь наконец дошла. Нет, оно не заработало

Собственно, опять, что я имею?:
Все возможжные и невозможные пути запихнутые в .bashrc и .bash_profile

export RSHCOMMAND=ssh
export PATH=$PATH:/local/openmpi-1.6.3/bin
export PATH=$PATH:/local/openmpi-1.6.3/lib
export ORCA=$ORCA:/home/Имя/Prog/orca_2_9_1_linux_x86-64
export PATH=$PATH:/home/Имя/Prog/orca_2_9_1_linux_x86-64
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/local/openmpi-1.6.3/lib

Рабочий ldd /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca_scf_mpi

linux-vdso.so.1 => (0x00007fffce3ff000)
libmpi_cxx.so.0 => /local/openmpi-1.6.3/lib/libmpi_cxx.so.0 (0x00002b4b8eae0000)
libmpi.so.0 => /local/openmpi-1.6.3/lib/libmpi.so.0 (0x00002b4b8ecfc000)
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000003a03400000)
libm.so.6 => /lib64/libm.so.6 (0x00000039fe000000)
libc.so.6 => /lib64/libc.so.6 (0x00000039fd400000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00000030f1400000)
/lib64/ld-linux-x86-64.so.2 (0x00000039fd000000)
librt.so.1 => /lib64/librt.so.1 (0x00000030f3000000)
libnsl.so.1 => /lib64/libnsl.so.1 (0x0000003a03000000)
libutil.so.1 => /lib64/libutil.so.1 (0x0000003a02c00000)
libimf.so => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libimf.so (0x00002b4b8f108000)
libirng.so => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libirng.so (0x00002b4b8f5c5000)
libcilkrts.so.5 => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libcilkrts.so.5 (0x00002b4b8f7cc000)
libintlc.so.5 => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libintlc.so.5 (0x00002b4b8fa01000)
libsvml.so => /opt/intel/composer_xe_2013.1.117/compiler/lib/intel64/libsvml.so (0x00002b4b8fc50000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000039ff800000)
libdl.so.2 => /lib64/libdl.so.2 (0x00000039fd800000)

Почти пустой пбсник (в нем указания #PBS, прыганья между папками и /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca $TASK.inp > $TASK.out)
Конец аутпута:

ORCA finished by error termination in ORCA_GTOInt

Ну и наконец при тупом запуске /home/Имя/Prog/orca_2_9_1_linux_x86-64/orca $TASK.inp > $TASK.out с консоли (навряд ли умная идея, однако умнее не выросло), в консоль выдается

/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun: line 96: /opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpivars.sh: No such file or directory
ORCA finished by error termination in ORCA_GTOInt

(В аутпуте таких строк нет)
а аутпут заканчивается

Checking for AutoStart:
The File: Try.gbw exists
Trying to determine its content:
... Fine, the file contains calculation information
... Fine, the calculation information was read
... Fine, the file contains a basis set
... Fine, the basis set was read
... Fine, the file contains a geometry
... Fine, the geometry was read
... The file does not contain orbitals - skipping AutoStart
ORCA finished by error termination in ORCA_GTOInt

У кого еще остались идеи?

[sanya1024]

А почему Орка ищет какие-то mpi-related вещи среди интелевских файлов (/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64)? и почему она вообще пытается запустить интелевский mpirun (/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun). Что выдает система в ответ на which mpirun?

[Гесс]

which mpirun

/opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun

Я вытравил из .профайла интеловские пути, получил echo $PATH

/usr/lib64/qt-3.3/bin
:/usr/local/bin:/bin:/usr/bin
:/usr/local/sbin:/usr/sbin:/sbin
:/opt/env-switcher/bin
:/local/openmpi-1.6.3/bin
:/local/openmpi-1.6.3/lib
:/home/Имя/Prog/orca_2_9_1_linux_x86-64
:/home/Имя/bin
:/local/openmpi-1.6.3/bin
:/local/openmpi-1.6.3/lib
:/home/Имя/Prog/orca_2_9_1_linux_x86-64

а для which mpirun

/usr/bin/mpirun

Запуск из консоли
/home/Имя/Prog/orca_2_9_1_linux_x86-64/orca Try.inp
дает окончание

... The file does not contain orbitals - skipping AutoStart
mpiexec_master01: cannot connect to local mpd (/tmp/mpd2.console_Имя); possible causes:
1. no mpd is running on this host
2. an mpd is running but was started without a "console" (-n option)
In case 1, you can start an mpd on this host with:
mpd &
and you will be able to run jobs just on this host.
For more details on starting mpds on a set of hosts, see
the MPICH2 Installation Guide.
ORCA finished by error termination in ORCA_GTOInt
ORCA finished by error termination in ORCA_GTOInt

Запускать через пбсник вероятно опять займет день, счас попробую.

[uchebnik fiziki]

Теперь он у вас ищет MPICH вместо OpenMPI. Куда указывает /usr/bin/mpirun или какую версию показывает?

[Гесс]

Теперь он у вас ищет MPICH вместо OpenMPI. Куда указывает /usr/bin/mpirun или какую версию показывает?

Это двойной софтлинк на лежащий там же mpiexec.py
mpirun -> /etc/alternatives/mpi-run
mpi-run -> /usr/bin/mpiexec.py

Счас разберусь как смотреть версию.

[Гесс]

Поставил в путях папку с опенмпи раньше чем юзер/бин, теперь which mpirun показывает опенмпи а задача с консоли прорвалась через заколдованное место.
Поставил задачу через пбс. Если она сойдется я буду в шоке.
У меня жопное чувство что export PATH=$PATH:/local/openmpi-1.6.3/bin и export PATH=/local/openmpi-1.6.3/bin:$PATH это в данном случае 2 принципиальные разницы. И если окажется что для обнаружения этого факта я ся 4 дня, морочил голову как минимум 8 людям на 2 форумах, начал курить и сбил кулаки ....

[uchebnik fiziki]

Вообще-то да, это в любом случае две большие разницы, поскольку содержимое переменной PATH -- это упорядоченный список и файлы ищутся в директориях в том порядке, в котором они указаны в PATH. И это написано во всех описаниях этой переменной.

[Гесс]

Был бы я такой умный я б тут не постил

[Гесс]

Я еще раз перечитал первый пост avelonа и теперь непонимаю почему версия переделанная согласно его посту неработала.

Вижу только отсутствие export PATH=/local/openmpi-1.6.3/lib:$PATH

Смахивает на то что удаляя одни ошибки я плодил другие

[avelon]

в итоге мы имеем /opt/intel/composer_xe_2013.1.117/mpirt/bin/intel64/mpirun что значит вперед запускается то, что прописано для всех юзеров. т.е. орка видит что есть нужные библиотеки. а вот при запуске получается не состыковка: запускается IntelMPI и не видит своих библиотек. так же For more details on starting mpds on a set of hosts, see the MPICH2 Installation Guide. теперь у вас еще MPICH2 висит. тут админы ваши что то мудрят. должна быть свобода для юеров, т.е. при полностью закоментированном профайле echo PATH не должен содержать какие либо библиотеки MPI, иначе вы получаете конфлик с пользовательскими настройками.
попробуйте явно указать в скрипте через какой MPI запускать, т.е. путь к/mpirun, а не просто mpirun. т.к. mpirun есть во всех реализациях MPI и где первый раз он встретиться та версия MPI и запуститься

[Гесс]

Хахаха. Сейчас просто персик!
Задача ранится напрямую из консоли (правда неясно на скольки ядрах), но падает со все той же ошибкой из пбс скрипта.

Интел сейчас запускаться по идее не может, я вручную сказал в .bashrc что грузить в PATH там впринципе нет Интела а OpenMPI идет впереди MPICH.

Задача просчиталась за 2 часа
Вот "проклятое место на котором орка не легла а резво побежала дальше:

Atom 119C basis set group => 1

Checking for AutoStart:
The File: Vseh.gbw exists
Trying to determine its content:
... Fine, the file contains calculation information
... Fine, the calculation information was read
... Fine, the file contains a basis set
... Fine, the basis set was read
... Fine, the file contains a geometry
... Fine, the geometry was read
... Fine, the file contains a set of orbitals
... Fine, the orbitals can be read
=> possible old guess file was deleted
=> GBW file was renamed to GES file
=> GES file is set as startup file
=> Guess is set to MORead
... now leaving AutoStart



************************************************************
* Program running with 16 parallel MPI-processes *
* working on a common directory *
************************************************************
------------------------------------------------------------------------------
ORCA GTO INTEGRAL CALCULATION
-- RI-GTO INTEGRALS CHOSEN --
------------------------------------------------------------------------------

BASIS SET STATISTICS AND STARTUP INFO

Gaussian basis set:
# of primitive gaussian shells ... 2040

[Гесс]

Кажется у меня едет крыша.
Из консоли

/home/Имя/Prog/orca_2_9_1_linux_x86-64/orca Try.inp >> Try.out

Работает
А если я делаю qsub pbs.pbs, который представляет собой

#! /bin/bash -l
#PBS -q workq
#PBS -N Trying
#PBS -l nodes=1:ppn=16
#PBS -l walltime=1:00:00
#PBS -j oe
cd /home/Имя/ORCA/
/home/Имя/Prog/orca_2_9_1_linux_x86-64/orca Try.inp >> Try.out

Неработает