En 1968, cuando Jackson tenía 30 años, decidió postularse para el Senado de los Estados Unidos contra el titular Herman Talmadge. Su campaña no tenía fondos suficientes, y perdió, pero Jackson ganó en Atlanta, ganando prominencia en la ciudad, que tenía una minoría negra sustancial. Al año siguiente, se fortaleció, ganando la elección como vicealcalde, que presidía la junta de concejales. En ese momento, Atlanta modificó su estatuto municipal, fortaleciendo la posición de alcalde y renombrando al vicealcalde como presidente del concejo municipal (los concejales ahora eran miembros del concejo municipal).
En 1970, Jackson se convirtió en el primer Vicealcalde negro de Atlanta, su primer cargo electo que ocupó durante cuatro años. Más tarde ese año, Jackson apoyó a los trabajadores de saneamiento de la ciudad que se habían declarado en huelga, con su apoyo contribuyendo a que recibieran un salario más alto.
En 1973, Jackson fue elegido con el 60 por ciento de los votos, como el primer alcalde afroamericano de Atlanta y de cualquier ciudad del sur; fue apoyado por una coalición de liberales blancos/moderados y afroamericanos. A la edad de 35 años, destituyó al titular Sam Massell.
Durante su primer mandato, Jackson trabajó para mejorar las relaciones raciales en Atlanta y sus alrededores después de la polarización causada por la campaña electoral. Como alcalde, lideró los inicios y gran parte del progreso en varios grandes proyectos de obras públicas para la ciudad y la región. Los programas de acción afirmativa ayudaron a las empresas pertenecientes a minorías y a mujeres a participar. Ayudó a organizar la actualización de la entonces terminal del Aeropuerto Internacional William B. Hartsfield de Atlanta (ahora Terminal Doméstica) a estándares modernos. Jackson se opuso firmemente a la construcción de autopistas a través de los vecindarios de la ciudad, sabiendo que tales acciones destruyeron comunidades prósperas. En 1977, Jackson despidió a más de 900 trabajadores de saneamiento durante la huelga de saneamiento de Atlanta de 1977. Tras este acto de rompehuelgas, muchos de los trabajadores regresaron al trabajo a finales de año.
Jackson fue alcalde durante el período en que la Autoridad Metropolitana de Tránsito Rápido de Atlanta (MARTA) obtuvo una gran cantidad de fondos federales para un sistema de líneas ferroviarias de tránsito rápido, cuando comenzó la construcción y cuando MARTA comenzó su primer servicio de transporte ferroviario en Atlanta y en el condado de DeKalb en 1979 y durante su expansión continua a partir de entonces. Como alcalde, celebró en septiembre de 1990 cuando Atlanta fue seleccionada como la ciudad anfitriona de los Juegos Olímpicos de Verano de 1996. Como alcalde, aceptó la bandera olímpica en las ceremonias de clausura de 1992 en Barcelona, España. Supervisó la finalización de muchos proyectos de obras públicas planificadas, como mejoras en autopistas y parques, y la finalización de Freedom Parkway, que se aceleraron de 1990 a 1996 en preparación para los Juegos Olímpicos que comenzaron en agosto de 1996.
Durante el segundo mandato de Jackson como alcalde, los Asesinatos de Niños de Atlanta continuaron entre 1979 y 1981. Apoyó a la policía de Atlanta y a otras fuerzas policiales de la zona, pero también trabajó para calmar las tensiones públicas suscitadas por los asesinatos en serie de niños negros. El asesino acusado, Wayne Williams, fue capturado en 1981. Williams fue condenado a dos cadenas perpetuas consecutivas por el asesinato de dos hombres adultos, pero nunca fue acusado ni juzgado por el asesinato de ninguno de los niños víctimas. Actualmente se encuentra recluido en la Prisión Estatal de Telfair.
En 1974, Jackson recibió el Premio Samuel S. Beard al Mejor Servicio Público por una Persona de 35 Años o Menos, un premio otorgado anualmente por los Premios Jefferson.