Borgen byggdes i slutet av 1700-talet av dåvarande ägaren till Klippans Finpappersbruk, Abraham Tornérhjelm. Då som huvudbyggnad – "Corps de logi" – till en liten lantegendom. Borgen har byggts om och byggts till många gånger genom åren och fick sitt nuvarande utvändiga utseende på 1850-talet.
Borgen användes som bostad till disponenten på Klippans Finpappersbruk, eller som det hette på den tiden, brukspatron. Det finns många berättelser om hur brukspatronerna styrde och ställde; som att tågtidtabellen anpassades till när festerna på Borgen tog slut. Stig von Porat och Kay Frödin var de sista "brukspatronerna".
1980 övertogs Borgen av läkaren, ryttaren och flygaren Nils Erik Sundblad som med sitt "Silver Hill" skapade en unik plats för uppvisning av Lipizzanerhingstar av typen Spanska skolan i Wien, flyguppvisning, ett 40-tal gamla bilar, mest av märket Rolls Royce, samt olika djur, bland annat en kamel. En annons med Borgens vackra fasad 1984 lockade MiLgårdarnas VD Lennart Rohlin att göra ett besök och ett köp.
Efter omfattande renoveringar invigdes Borgen som MiLgård 1985 av rector magnificus vid Lunds universitet Håkan Westling, MiL Institutes ordförande Per Lindblad, kommunalrådet Arne Pålsson samt landshövdingarna för Kristianstads län, Einar Larsson, respektive Malmöhus län, Bertil Göransson. Det var de båda landshövdingarnas första gemensamma invigning. Därefter blev det flera gemensamma invigningar och senare slogs länen ihop till Region Skåne.

