De ligging van Castelré is geografisch uniek. Het ligt namelijk 12 km ten zuidwesten van Baarle als een schiereiland, diep in België. Zo diep dat de inwoners van Castelré kunnen spreken van hun Belgische noorderburen. Landschappelijk is de ligging ook uniek. Zowel ten zuiden, ten westen als ten noorden wordt de grens met België grotendeels gevormd door beken en riviertjes; de Hollandse loop, de Mark en het Merkske. De randen van Castelré bestaan dus uit beekdalen. In het midden daarvan bevindt zich een prachtig bol akkerland. Nog steeds is te zien hoe de boerderijen in een grote kring aan de rand van het akkercomplex staan. Zo’n ringvormige beekdalnederzetting is zeldzaam.

Castelré heeft twee kleine woonkernen. De Schootsenhoek en het Groeske. De Schootsenhoek aan de zuidkant lijkt de jongste en heeft geen sterk geconcentreerde bebouwing. Het Groeske is heel oud met een originele Frankische driehoek. Hier omheen staan een aantal oude huizen, waarvan sommigen zelfs eeuwenoud zijn.