Han besøgte første gang Mallorca i 1867 for at studere naturen (vistnok biller). En anden historie fortæller, at han kom for at slippe af med en ulykkelig forelskelse. Da man som bekendt skal rejse sig ved det træ, hvorved man er faldet, forelskede Ludwig sig snart i en lokal tømrerdatter, Catalina, hvorefter han besluttede at droppe alle konventioner og forlade kejserhoffet for at leve et liv efter sit eget hoved som forsker og opdagelsesrejsende. I 1871 vendte han tilbage og købte slottet Miramar, som blev hans kæreste ejendom på øen. Her havde Ramon Llul i 1276 grundlagt sit berømte universitet.

Ærkehertugen var et jævnt menneske, som elskede at tale med bønder og fiskere fremfor intellektuelle. Han anskaffede sig et skib - Nixe på mere end 50 meters længde -, hvorfra han som en tidlig Jacques Costeau foretog studier på Mallorca og de omliggende øer. Han studerede bl.a. katalansk folklore på øen. Mere end 60 videnskabelige etnografiske og antropologiske værker har han udgivet. Han var også en habil maler og illustrator. Én gang om året måtte han dog bevidne sin respekt for kejseren i Wien. Han dukkede altid op i sin gamle uniform, som efterhånden blev temmelig medtaget af tidens tand. Det blev ikke bedre af, at levemanden Ludwig havde store problemer med at holde den slanke linie (men hvem har ikke det?).

Nogle mener, at han havde en romantisk affære med sin fætters hustru Sissi, den østrig-ungarske kejserinde (du kan læse mere om Sissi fra vores ture til Wien og Korfu, hvis du har lyst). Sissi var som Ludwig meget optaget af naturen. Det fortælles, at når livet ved hoffet blev for snærende, sejlede hun på besøg hos sin ven på Mallorca. Sissi blev snigmyrdet i Geneve i 1898, ét år før hendes søn Rudolf begik selvmord sammen med sin elskerinde (Meyerling dramaet).

Udover Miramar, som ligger lidt nord for Valldemosa ved kysten, købte ærkehertugen flere ejendomme på øen - de fleste i nærheden af Valldemosa. Ejendommen S'Estaca, som er bygget i maurisk stil, ejes nu af skuespilleren og instruktøren Michael Douglas. Her boede han ofte med sin mallorkinskfødte hustru, Diandra (de er vistnok ikke længere gift). Ejendommen Son Marroig, mellem Valldemossa og Deià, er blevet indrettet som museum og koncertsal. Her er udstilles originale manuskripter, ligesom ærkehertugens møbler og samlinger kan beses. Fra Son Marroig er der en enestående udsigt over kysten - måske den smukkeste på hele øen.

I Son Moragues ejendommen er indrettet en (dyr) restaurant med mallorkinsk køkken. Imidlertid har de mallorkinske myndigheder erklæret alle ærkehertugens tidligere besiddelser for "ejendom af kulturel interesse". Det betyder, at der dels ikke må foretages ændringer og dels, at der i et vist omfang skal åbnes for offentligheden. Det forlyder, at Michael Douglas ikke er begejstret.

Ved udbruddet af 1. verdenskrig blev ærkehertugen tvunget til igen at tage ophold i Østrig-Ungarn. Han døde på slottet Brandeis i Böhmen og ligger sammen med sine kejserlige slægtningen begravet i cappucinerkrypten i Wien.