Door zijn verblijf op Hohenschwangau heeft hij de natuur leren waarderen maar ook de muziek. Wagner was zijn favoriete componist en was ook veelvuldig aanwezig bij Ludwig II, soms tot ongenoegen van zijn entourage. Toch bleef hij de financiële sponsor van Wagner en speelde diens muziek bij de vorst steeds een belangrijke rol. Ludwig II was een antimilitarist en interesseerde zich zeer weinig voor zijn vorstendom. Eenmaal heeft hij zijn troepen gemobiliseerd tegen de Pruisen, maar in 1871 konden deze Beieren zonder verzet annexeren.
Vanaf toen mocht Ludwig II zich volop in zijn sprookjeswereld terugtrekken en de machthebbers lieten hem begaan. Hij bouwde drie kastelen: Neuschwanstein, Linderhof en Herrenchiemsee. Lodewijk XIV van Frankrijk, de zonnekoning, was zijn inspirator. Linderhof is gebouwd naar het voorbeeld van het Petit Trianon in Versailles en Herrenchiemsee is een kleine kopij van het grote kasteel van Versailles, inclusief spiegelzaal. Neuschwanstein is verschillend van Petit Trianon omdat het gebouwd is op de top van een berg.
Lodewijk II had in 1886 zulk een gigantische schuldenberg opgebouwd door zijn megalomane projecten dat de Pruisische gezagvoerders het beu waren en hem afzetten. Korte tijd later stierf hij op mysterieuze wijze aan het Staubergmeer, samen met zijn lijfarts. Niettegenstaande hij een goed zwemmer was zou hij verdronken zijn. Er bestaan veel versies over zijn dood maar nooit kwam er opheldering.