Nel 1968, quando Jackson aveva 30 anni, decise di candidarsi al Senato degli Stati Uniti contro l’incumbent Herman Talmadge. La sua campagna è stata sottofinanziata, e ha perso, ma Jackson ha vinto ad Atlanta, guadagnando importanza nella città, che aveva una sostanziale minoranza nera. L’anno successivo, ha costruito sulla sua forza, ottenendo l’elezione a vice sindaco, che è stato presidente del consiglio di assessori. A quel tempo, Atlanta ha modificato la sua carta della città, rafforzando la posizione di sindaco e rinominando il vice sindaco come presidente del consiglio comunale (gli assessori erano ora membri del consiglio comunale).
Nel 1970, Jackson divenne il primo vice-sindaco nero di Atlanta, la sua prima posizione eletta che mantenne per quattro anni. Più tardi quell’anno, Jackson ha sostenuto i lavoratori sanitari della città che erano andati in sciopero, con il suo sostegno contribuendo alla loro ricezione di un salario più alto.
Nel 1973, Jackson fu eletto con il 60% dei voti, come primo sindaco afro-americano di Atlanta e di qualsiasi grande città del sud; fu sostenuto da una coalizione di liberali/moderati bianchi e afroamericani. All’età di 35 anni, ha spodestato l’incumbent Sam Massell.
Durante il suo primo mandato, Jackson ha lavorato per migliorare le relazioni razziali ad Atlanta e dintorni dopo la polarizzazione causata dalla campagna elettorale. Come sindaco, ha guidato gli inizi e gran parte dei progressi su diversi enormi progetti di opere pubbliche per la città e la regione. I programmi di azione affermativa hanno aiutato le imprese di minoranza e di proprietà delle donne a partecipare. Ha contribuito a organizzare per l’aggiornamento dell’allora William B. Hartsfield Atlanta International Airport enorme terminal (ora Terminal nazionale) per gli standard moderni. Jackson si oppose fortemente alla costruzione di autostrade attraverso i quartieri della città, sapendo che tali azioni distruggevano comunità fiorenti. Nel 1977, Jackson licenziò oltre 900 lavoratori sanitari durante lo sciopero sanitario di Atlanta del 1977. A seguito di questo atto di sciopero, molti dei lavoratori sono tornati al lavoro entro la fine dell’anno.
Jackson fu sindaco durante il periodo in cui la Metropolitan Atlanta Rapid Transit Authority (MARTA) ottenne una grande quantità di finanziamenti federali per un sistema di linee ferroviarie a transito rapido, quando iniziò la costruzione e quando MARTA iniziò il suo primo servizio di transito ferroviario ad Atlanta e nella contea di DeKalb nel 1979 e durante la sua continua espansione Come sindaco, ha celebrato nel settembre 1990 quando Atlanta è stata selezionata come città ospitante per i Giochi Olimpici estivi del 1996. Come sindaco, ha accettato la bandiera olimpica alle cerimonie di chiusura del 1992 a Barcellona, in Spagna. Ha supervisionato il completamento di molti progetti di opere pubbliche pianificate, come miglioramenti alle autostrade e ai parchi, e il completamento di Freedom Parkway, che sono stati accelerati dal 1990 al 1996 in preparazione dei Giochi Olimpici che hanno avuto inizio nell’agosto 1996.
Durante il secondo mandato di Jackson come sindaco, gli omicidi di bambini di Atlanta erano in corso tra il 1979 e il 1981. Ha sostenuto la polizia di Atlanta e altre forze di polizia nella zona, ma ha anche lavorato per calmare le tensioni pubbliche suscitate dalle uccisioni seriali di bambini neri. L’assassino accusato, Wayne Williams, fu catturato nel 1981. Williams è stato condannato a scontare due ergastoli consecutivi per l’omicidio di due maschi adulti, ma mai accusato o processato per l’omicidio di una delle vittime minori. Attualmente è detenuto nella prigione di stato di Telfair.
Nel 1974, Jackson ricevette il Samuel S. Beard Award for Greatest Public Service da un individuo di 35 anni o meno, un premio assegnato annualmente dai Jefferson Awards.