En 1968, alors que Jackson avait 30 ans, il décide de se présenter au Sénat américain contre le sortant Herman Talmadge. Sa campagne était sous-financée, et il a perdu, mais Jackson a gagné à Atlanta, gagnant en importance dans la ville, qui comptait une importante minorité noire. L’année suivante, il s’appuie sur ses forces et se fait élire vice-maire, qui préside le conseil des échevins. À cette époque, Atlanta a modifié sa charte de la ville, renforçant la position de maire et renommant le vice-maire en tant que président du conseil municipal (les échevins étaient maintenant membres du conseil municipal).
En 1970, Jackson est devenu le premier vice-maire noir d’Atlanta, son premier poste élu qu’il a occupé pendant quatre ans. Plus tard dans l’année, Jackson a soutenu les travailleurs de l’assainissement de la ville qui s’étaient mis en grève, son soutien contribuant à leur salaire plus élevé.
En 1973, Jackson est élu avec 60% des voix, premier maire afro-américain d’Atlanta et d’une grande ville du sud ; il est soutenu par une coalition de libéraux/modérés blancs et d’Afro-Américains. À l’âge de 35 ans, il a délogé le titulaire Sam Massell.
Au cours de son premier mandat, Jackson a travaillé à l’amélioration des relations raciales à Atlanta et dans les environs après la polarisation provoquée par la campagne électorale. En tant que maire, il a dirigé les débuts et une grande partie des progrès de plusieurs grands projets de travaux publics pour la ville et la région. Les programmes d’action positive ont aidé les entreprises appartenant à des minorités et à des femmes à participer. Il a aidé à organiser la mise aux normes modernes de l’immense terminal de l’aéroport international William B. Hartsfield d’Atlanta (aujourd’hui Terminal domestique). Jackson s’est fermement opposé à la construction d’autoroutes à travers les quartiers de la ville, sachant que de telles actions détruisaient des communautés prospères. En 1977, Jackson a licencié plus de 900 travailleurs de l’assainissement lors de la grève de l’assainissement d’Atlanta en 1977. À la suite de cet acte de grève, de nombreux travailleurs ont repris le travail à la fin de l’année.
Jackson a été maire pendant la période où la Metropolitan Atlanta Rapid Transit Authority (MARTA) a obtenu un financement fédéral important pour un système de ligne de transport en commun rapide, lorsque la construction a commencé et lorsque MARTA a commencé son premier service de transport en commun à Atlanta et dans le comté de DeKalb en 1979 et pendant son expansion continue par la suite. En tant que maire, il a célébré en septembre 1990 lorsqu’Atlanta a été choisie comme ville hôte des Jeux Olympiques d’été de 1996. En tant que maire, il a accepté le drapeau olympique lors des cérémonies de clôture de 1992 à Barcelone, en Espagne. Il a supervisé l’achèvement de nombreux projets de travaux publics prévus, tels que l’amélioration des autoroutes et des parcs, et l’achèvement de Freedom Parkway, qui ont été accélérés de 1990 à 1996 en prévision des Jeux olympiques qui ont commencé en août 1996.
Pendant le deuxième mandat de Jackson en tant que maire, les meurtres d’enfants d’Atlanta se sont poursuivis entre 1979 et 1981. Il a soutenu la police d’Atlanta et d’autres forces de police de la région, mais a également œuvré pour calmer les tensions publiques suscitées par les meurtres en série d’enfants noirs. Le tueur accusé, Wayne Williams, a été arrêté en 1981. Williams a été reconnu coupable de purger deux peines de prison à vie consécutives pour le meurtre de deux hommes adultes, mais jamais accusé ou jugé pour le meurtre de l’une des enfants victimes. Il est actuellement détenu à la prison d’État de Telfair.
En 1974, Jackson a reçu le Prix Samuel S. Beard pour la plus grande fonction publique décernée par une personne âgée de 35 ans ou moins, une récompense décernée chaque année par les Jefferson Awards.