Het terrein waarop het huis werd gebouwd, maakte deel uit van de tuin van het Binnenhof en werd in 1631 te koop aangeboden. Behalve Johan Maurits kocht ook Constantijn Huygens, secretaris van de Hollandse stadhouders, een deel van de beschikbaar gekomen grond. Johan Maurits verwierf echter het mooiste stuk, dat gelegen was aan de Hofvijver.

Het perceel was groter dan tegenwoordig. Het liep door aan de overkant van de straat, achter het terrein van Huygens langs. Hier liet Johan Maurits een tuin aanleggen. Om die te bereiken, kon hij gebruikmaken van een gang die onder de straat door voerde. Deze liep van het ommuurde voorplein van het huis rechtstreeks naar de tuin.