После перехода замка Вартбург в руки маркграфов Мейсенским, последовал период неудач для замка. От удара молнии, в 1318 году, замок значительно пострадал. Пожар повредил большую часть построек как фортификационных, так и дворцовых. После восстановления, приведшего к значительной перестройке, появилась новая башня с южной стороны замка и большое, по тем временам, здание дворца с отапливаемыми палатами.
Весь XV век в стенах замка не происходило ничего значительного для истории немецкого государства. Значение замка ослабло и не имело особого значения вплоть до XIX – XX веков.
В начале XIX века Замок пережил значительные изменения в архитектуре. Фахверки, построенные в XV веке, снесли и им на смену пришли капитальные каменные строения. Художественное оформление дворца потребовало значительных расходов, которые принесли ощутимые плоды. До наших дней сохранилась знаменитая фреска Морица фон Швинда, датированная 1854 годом. На фреске изображено состязание певцов, как часть легенды о Тангейзере.
С этого времени Вартбургский замок стает в ряд самых значимых памятников немецкой культуры. С 1950-х годов в замке проводились серьезные реставрационные работы, которые увенчались в 1999 году внесением Вартбургского замка в список мирового наследия ЮНЕСКО.
Есть еще несколько фактов, о которых нельзя не упомянуть в связи с замком:
В конце XII века Вартбургская резиденция правителей Тюрингии стала местом прибежища поэтов, им покровительствовал маркграф Герман Людовинг. События, происходившие тогда в замке, стали легендарными и воспеты в легенде о Тангейзере.
С 1221 по 1227 годы в Вартбургском замке жила святая Елизавета из Тюрингии.
В 1521 году в стенах замка укрылся немецкий реформатор Мартин Лютер после того, как публично сжег папскую буллу об отлучении от церкви. Здесь Лютер скрывался под именем юнкера Йорга по негласному приказу Фридриха Мудрого, желавшего сохранить Лютеру жизнь.
В стенах замка, из под пера великого реформатора вышел перевод Нового Завета на немецкий язык. Этот перевод положил начало полному переводу Священного Писания, который впоследствии получил название «Библия Лютера». Этот перевод имел основополагающее влияние на последующее развитие немецкого литературного языка.
Начиная с 1777 года, Вартбургский замок неоднократно посещал великий Гёте.