En los alrededores del Camino Real o altozano que no se inundaba, hoy carrera 4ª, comenzó a formarse el barrio después del año 1580 llamado El Empedrado (hoy barrio de La Merced). El nombre de El Empedrado se debió a que fue ese el primer sector de la ciudad cuyas calles se construyeron en piedra del río, a fin de proteger a moradores y transeúntes de la incomodidad del piso en tierra, que en época de lluvia se convertía en un verdadero lodazal. Al igual que el barrio San Pedro, que rodeaba la plaza principal, durante mucho tiempo, El Empedrado fue el vecindario de los grupos pudientes de la ciudad.

El Altozano o El Empedrado estaba compuesto por casas solariegas. Sus principales calles eran: La calle central, antigua Calle Real o calle Buenaventura, actualmente carrera cuarta; la Calle del Comercio, actual carrera quinta; y la carrera sexta que se llamaba Calle de San Francisco. Todas comunicaban con la plaza principal, hoy Plaza de Cayzedo. Lo más importante de este barrio es la iglesia de La Merced junto al convento, luego en orden de importancia aparece la hoy Casa Arzobispal, la única casa de dos plantas que queda del siglo XVII. Le sigue en orden de tradición la Casa Museo de la Ciudad, conservada original en un 90 por ciento, data de 1856. Después sigue la actual casa de la Sociedad de Mejores Publicas de Cali (Siglo XVIII), siendo estas últimas las dos únicas casas solariegas que quedan en el Altozano.

Actualmente el barrio La Merced se ha convertido en uno de los principales epicentros culturales de la ciudad, donde destacan: el Teatro Municipal, Museo del Oro Calima y Banco de la República, Complejo Religioso La Merced, Casa Arzobispal, Sociedad de Mejoras Públicas, Centro Cultural de Cali, Casa Museo de la Ciudad, Casa Proartes, Centro Cultural Comfandi. A pesar de su rica y primordial historia, a su bella arquitectura, este sector hoy se encuentra en peligro ante el abandono de las Casas Solariegas, la demolición de muchas de ellas que se han ido transformando en parqueaderos y lotes.