în 1968, când Jackson avea 30 de ani, a decis să candideze pentru Senatul SUA împotriva titularului Herman Talmadge. Campania sa a fost subfinanțată și a pierdut, dar Jackson a câștigat în Atlanta, câștigând importanță în oraș, care avea o minoritate neagră substanțială. În anul următor, s-a construit pe puterea sa, câștigând alegeri ca viceprimar, care era președinte al Consiliului Consilierilor. La acea vreme, Atlanta și-a modificat Carta orașului, consolidând poziția de primar și redenumind viceprimarul ca președinte al Consiliului Municipal (consilierii erau acum membri ai Consiliului Municipal).
în 1970, Jackson a devenit primul viceprimar Negru Din Atlanta, prima sa funcție aleasă pe care a deținut-o timp de patru ani. Mai târziu în acel an, Jackson a sprijinit lucrătorii de salubritate din oraș care intraseră în grevă, sprijinul său contribuind la primirea unui salariu mai mare.
în 1973, Jackson a fost ales cu 60% din voturi, ca primul primar afro-American din Atlanta și din orice oraș major din sud; a fost susținut de o coaliție de liberali/moderați albi și afro-americani. La vârsta de 35 de ani, l-a destituit pe actualul Sam Massell.
în timpul primului său mandat, Jackson a lucrat pentru a îmbunătăți relațiile rasiale în și în jurul Atlanta după polarizarea cauzată de campania electorală. În calitate de primar, el a condus începuturile și o mare parte a progresului în mai multe proiecte uriașe de lucrări publice pentru oraș și regiune. Programele de acțiune afirmativă au ajutat întreprinderile minoritare și cele deținute de femei să participe. El a ajutat la aranjarea modernizării terminalului imens al Aeroportului Internațional William B. Hartsfield Atlanta (acum Terminal intern) la standarde moderne. Jackson s-a opus puternic construcției de autostrăzi prin cartierele din oraș, știind că astfel de acțiuni au distrus comunitățile înfloritoare. În 1977, Jackson a concediat peste 900 de lucrători de salubritate în timpul grevei de salubrizare din Atlanta din 1977. În urma acestui act de spargere, mulți dintre muncitori s-au întors la muncă până la sfârșitul anului.
Jackson a fost primar în perioada în care Metropolitan Atlanta Rapid Transit Authority (MARTA) a obținut o sumă mare de finanțare federală pentru un sistem de linii feroviare de tranzit rapid, când a început construcția și când MARTA a început primul său serviciu de tranzit feroviar în Atlanta și în județul DeKalb în 1979 și în timpul expansiunii sale continue ulterior. În calitate de primar, a sărbătorit în septembrie 1990 când Atlanta a fost selectat ca oraș gazdă pentru Jocurile Olimpice de vară din 1996. În calitate de primar, a acceptat steagul olimpic la ceremoniile de închidere din 1992 din Barcelona, Spania. El a supravegheat finalizarea multor proiecte de lucrări publice planificate, cum ar fi îmbunătățirea autostrăzilor și parcurilor și finalizarea Freedom Parkway, care au fost accelerate din 1990 până în 1996 în pregătirea Jocurilor Olimpice care au început în August 1996.
în timpul celui de-al doilea mandat al lui Jackson ca primar, crimele de copii din Atlanta au fost în desfășurare între 1979 și 1981. El a sprijinit Poliția din Atlanta și alte forțe de poliție din zonă, dar a lucrat și la calmarea tensiunilor publice provocate de uciderea în serie a copiilor negri. Criminalul acuzat, Wayne Williams, a fost prins în 1981. Williams a fost condamnat pentru două condamnări consecutive pe viață pentru uciderea a doi bărbați adulți, dar niciodată acuzat sau judecat pentru uciderea vreuneia dintre victimele copiilor. În prezent se află în închisoarea de Stat Telfair.
în 1974, Jackson a primit Premiul Samuel S. Beard pentru cel mai mare serviciu Public de către o persoană de 35 de ani sau mai puțin, un premiu acordat anual de Premiile Jefferson.