Ibn Batthutha se refirió a Vélez como una «bella ciudad, con una portentosa mezquita. En el lugar se dan las uvas, frutas e higos igual que en Málaga». El Idrisí afirma que era un pueblo o castillo fortificado sobre el mar, y albufera que era una ciudad rica y la mejor de la amelía de Málaga.
Vélez-Málaga se organizó en torno al castillo. El aspecto que presentaba, según una reciente guía editada por el Ayuntamiento de la capital de la comarca en un intento de fomentar el conocimiento de sus edificios de interés histórico-artísticos, sería la de una ciudad no muy grande, bien fortificada y defendida por un importante recinto amurallado. Junto al castillo se adosaba la medina, la ciudad propiamente dicha, que hoy podría corresponder a La Villa, un barrio de calles estrechas cuya estructura y distribución está condicionada por lo accidentado del terreno.
En el siglo XIV Vélez-Málaga tuvo bajo su jurisdicción a Torre del Mar, Alcaucín, Bentomiz, Iznate, Almayate, Macharaviaya, Canillas de Albaida, Canillas de Aceituno y Corumbela, Frigiliana, Torrox, entre otros poblados desaparecidos en la actualidad.
Para Francisco Javier Quintana, autor de un estudio sobre la «Evolución histórica y urbana de Vélez-Málaga», la mezquita, que ocupaba el solar sobre el que se levanta la iglesia parroquial de Santa María la Mayor, la denominada plaza Roja, que podía tener funciones comerciales, y la calle Real de la Villa, como único eje viario medular, «parecen ser los elementos urbanísticos que vertebraron de algún modo aquel conjunto aparentemente caótico y que, por lo demás, constituye el rasgo definitorio de las medinas musulmanas».
