Построенный в 1916 году замок Эльмау, по мнению хозяина, должен был стать местом для его единомышленников, новых немецких идеалистов, презирающих национализм. Одним из таких идеалистов, вместе с Иоганном Мюллером, считали Вальтера Ратенау.
Мюллер часто читал лекции и публично выступал на курортах Германии, в Скандинавии и Голландии. Его имя было известно в обширных кругах немецкой интеллигенции. Замок Эльмау, после первой Мировой Войны считался моральным оплотом Веймарской Республики.
Мировоззрение Иоганна Мюллера было своеобразно противоречиво. С одной стороны, он ненавидел и выступал против идеологии нацистов – антисемитизм и биологический подход в рассмотрении истории. С другой стороны, он считал Гитлера национальным лидером, данным от Бога и способном претворить в жизнь национальную идею преобладания общественных интересов над личными, чем мог принести мир и процветание в Европу.
Иоганн Мюллер разделял ранние взгляды Мартина Лютера и считал еврейский народ Богом избранным народом и сравнивал значение немецких евреев с щепоткой соли в кастрюле с супом. До 1942 года, в замке было запрещено приветствие «Хайль Гитлер».
В 1942 году ситуация изменилась. Мюллер был вынужден терпеть присутствие многочисленным нацистских военных, которые проходили реабилитацию после госпиталя в стенах замка. Вызвано это тем, что Гимлер хотел конфисковать замок для нужд СС. По договоренности с генералом Фроммом, Мюллер допустил военных в свои владения. Через два года замок полностью стал военным госпиталем, а за Мюллером остались лишь пара комнат.
В 1945 году американские оккупационные власти превратили замок в концлагерь для военнопленных, а впоследствии в военную школу.
Знаменитый теолог и философ Иоганн Мюллер умер в своем замке в январе 1949 года. После смерти Мюллера и долгого процесса о реституции, в замке еле теплилась жизнь. Но в 1957 году в замок стали приезжать многочисленные поклонники камерной музыки на постоянные концерты, проходившие там.
Ветхое состояние электропроводки привело к короткому замыканию в верхних этажах замка. В результате произошел пожар и верхние этажи сгорели. Произошло это в начале августа 2005 года, но уже через два года замок был полностью восстановлен и переоборудован под отель класса «люкс», каковым является и сегодня.