1968, als Jackson 30 Jahre alt war, beschloss er, gegen Amtsinhaber Herman Talmadge für den US-Senat zu kandidieren. Seine Kampagne war unterfinanziert, und er verlor, aber Jackson gewann in Atlanta und gewann an Bedeutung in der Stadt, die eine erhebliche schwarze Minderheit hatte. Im folgenden Jahr baute er auf seiner Stärke auf und gewann die Wahl zum Vizebürgermeister, der Vorsitzender des Board of Aldermen war. Zu dieser Zeit änderte Atlanta seine Stadtrecht, Stärkung der Position des Bürgermeisters und Umbenennung des Vizebürgermeisters als Präsident des Stadtrats (Stadträte waren jetzt Stadtratsmitglieder).
1970 wurde Jackson Atlantas erster schwarzer Vizebürgermeister, seine erste gewählte Position, die er vier Jahre lang innehatte. Später in diesem Jahr unterstützte Jackson Sanitärarbeiter in der Stadt, die in den Streik getreten waren, und trug mit seiner Unterstützung dazu bei, dass sie einen höheren Lohn erhielten.
1973 wurde Jackson mit 60 Prozent der Stimmen zum ersten afroamerikanischen Bürgermeister von Atlanta und jeder größeren Stadt im Süden gewählt; Er wurde von einer Koalition weißer Liberaler / Moderater und Afroamerikaner unterstützt. Im Alter von 35 Jahren löste er Amtsinhaber Sam Massell ab.
Während seiner ersten Amtszeit arbeitete Jackson daran, die Rassenbeziehungen in und um Atlanta nach der durch den Wahlkampf verursachten Polarisierung zu verbessern. Als Bürgermeister leitete er die Anfänge und einen Großteil des Fortschritts bei mehreren großen öffentlichen Bauprojekten für die Stadt und die Region. Affirmative Action-Programme halfen Minderheitenunternehmen und Unternehmen in Frauenbesitz bei der Teilnahme. Er half bei der Aufrüstung des riesigen Terminals des damaligen William B. Hartsfield Atlanta International Airport (heute Inlandsterminal) auf moderne Standards. Jackson lehnte den Bau von Autobahnen durch Stadtteile entschieden ab, wohl wissend, dass solche Aktionen blühende Gemeinden zerstörten. Im Jahr 1977 entließ Jackson während des Atlanta Sanitation Strike 1977 über 900 Sanitärarbeiter. Nach diesem Akt des Streikbruchs kehrten viele der Arbeiter Ende des Jahres zur Arbeit zurück.
Jackson war Bürgermeister während der Zeit, als die separate Metropolitan Atlanta Rapid Transit Authority (MARTA) eine große Menge an Bundesmitteln für ein Rapid-Transit-Schienensystem erhielt, als der Bau begann und als MARTA 1979 seinen ersten Schienentransitdienst in Atlanta und in DeKalb County und während seiner kontinuierlichen Expansion danach begann. Als Bürgermeister feierte er im September 1990, als Atlanta als Gastgeberstadt für die Olympischen Sommerspiele 1996 ausgewählt wurde. Als Bürgermeister nahm er die olympische Flagge bei der Abschlussfeier 1992 in Barcelona, Spanien, an. Er beaufsichtigte die Fertigstellung vieler geplanter öffentlicher Bauprojekte, wie Verbesserungen an Autobahnen und Parks, und die Fertigstellung des Freedom Parkway, die von 1990 bis 1996 in Vorbereitung auf die Olympischen Spiele, die im August 1996 begannen, beschleunigt wurden.
Während Jacksons zweiter Amtszeit als Bürgermeister fanden die Kindermorde in Atlanta zwischen 1979 und 1981 statt. Er unterstützte die Polizei von Atlanta und andere Polizeikräfte in der Region, arbeitete aber auch daran, die durch die Serienmorde an schwarzen Kindern hervorgerufenen öffentlichen Spannungen zu beruhigen. Der angeklagte Mörder Wayne Williams wurde 1981 gefasst. Williams wurde verurteilt, zwei aufeinanderfolgende lebenslange Haftstrafen für den Mord an zwei erwachsenen Männern zu verbüßen, aber nie wegen Mordes an einem der Kinderopfer angeklagt oder vor Gericht gestellt. Er befindet sich derzeit im Staatsgefängnis Telfair.
1974 erhielt Jackson den Samuel S. Beard Award für den größten öffentlichen Dienst einer Person unter 35 Jahren, eine Auszeichnung, die jährlich von Jefferson Awards vergeben wird.