El 8 de agosto de 1974 fue elegido Obispo para la Iglesia titular de Obba y Auxiliar de Popayán y el 15 de septiembre fue consagrado. De allí fue trasladado el 26 de abril de 1977 a la Diócesis de Chiquinquirá, de la que fue su primer Prelado.

Después de 6 años, recibió un nuevo nombramiento; fue designado como Obispo para la Diócesis de Cúcuta el 27 de julio de 1983, llegando a ser el cuarto obispo de esta Iglesia Particular, posesionándose el 17 de septiembre del mismo año.

Monseñor, en su amplia labor pastoral en la zona de frontera, se empeñó junto al consejo presbiteral en adecuar las instalaciones del Seminario Menor para que diera paso a la formación de los sacerdotes en la misma diócesis. Es así como el 6 de febrero de 1985 funda el Seminario Mayor Diocesano San José. También, fue quien llevó a que las ediciones del Periódico La Verdad circularan quincenalmente.

En siete años Monseñor Alberto Giraldo ordenó 22 sacerdotes y creó 12 parroquias; el 11 de febrero de 1990 erigió el Monasterio de las Hermanas Clarisas de Gramalote, culminando así su labor episcopal el 18 de diciembre de 1990 en esta Iglesia Particular. Fue enviado a finales de ese mismo año, a la Sede Arzobispal de Popayán y el 19 de marzo de 1997 tomó posesión como Arzobispo de Medellín.

El Episcopado Colombiano lo designó como su delegado en los Sínodos de los Obispos de 1977 sobre la Catequesis, de 1983 sobre la Reconciliación, de 1987 sobre los Laicos y de 1990 sobre la Formación Sacerdotal. Igualmente participó, en nombre de los Obispos de Colombia, en las Conferencias del Episcopado Latinoamericano celebradas en P

uebla (1979) y en Santo Domingo (1992) y uno de sus últimos cargos fue como vicepresidente de la Conferencia Episcopal desde julio de 1990 hasta julio de 1996 y presidente desde julio de 1996 hasta julio de 2002.

En 2010 presentó su renuncia como Arzobispo de Medellín al Papa Benedicto XVI. Falleció a sus 87 años, 11 años después de su retiro.