1968-ban, amikor Jackson 30 éves volt, úgy döntött, hogy indul az amerikai szenátusban a hivatalban lévő ellen Herman Talmadge. Kampánya alulfinanszírozott volt, veszített, de Jackson nyert Atlantában, előtérbe kerülve a városban, amelynek jelentős fekete kisebbsége volt. A következő évben az erejére építve alpolgármesterré választotta, aki az aldermen igazgatóságának elnöke volt. Abban az időben Atlanta módosította városi chartáját, megerősítve a polgármesteri pozíciót és átnevezve az alpolgármestert a városi tanács elnökévé (a városatyák most a városi tanács tagjai voltak).
1970-ben Jackson lett Atlanta Első fekete alpolgármestere, első megválasztott tisztsége, amelyet négy évig töltött be. Később abban az évben Jackson támogatta a sztrájkba lépő város egészségügyi dolgozóit, támogatásával hozzájárulva ahhoz, hogy magasabb bért kapjanak.
1973-ban Jacksont a szavazatok 60 százalékával választották meg Atlanta és bármely nagyobb déli város első afroamerikai polgármesterévé; fehér liberálisok/mérsékeltek és afroamerikaiak koalíciója támogatta. 35 éves korában leváltotta az inkumbens Sam Massellt.
első ciklusa alatt Jackson azon dolgozott, hogy javítsa a faji kapcsolatokat Atlantában és környékén a választási kampány okozta polarizáció után. Polgármesterként ő vezette a kezdeteket és a haladás nagy részét számos hatalmas közmunkaprojektben a város és a régió számára. A megerősítő cselekvési programok segítették a kisebbségi és női tulajdonú vállalkozásokat a részvételben. Segített megszervezni az akkori William B. Hartsfield Atlanta nemzetközi repülőtér hatalmas termináljának (ma belföldi terminál) modern szabványokra történő frissítését. Jackson határozottan ellenezte az autópályák építését a városrészeken keresztül, tudva, hogy az ilyen akciók virágzó közösségeket pusztítottak el. 1977-ben Jackson több mint 900 higiéniai dolgozót rúgott ki az 1977-es atlantai higiéniai sztrájk során. Ezt a sztrájktörést követően a munkavállalók közül sokan az év végére visszatértek a munkába.
Jackson polgármester volt abban az időszakban, amikor a külön Metropolitan Atlanta Rapid Transit Authority (MARTA) nagy mennyiségű szövetségi finanszírozást kapott a gyors tranzit vasúti rendszer számára, amikor az építkezés megkezdődött, és amikor MARTA 1979-ben megkezdte első vasúti tranzitszolgáltatását Atlantában és DeKalb megyében, majd az azt követő folyamatos terjeszkedés során. Polgármesterként 1990 szeptemberében ünnepelt, amikor Atlantát választották a 1996-os nyári olimpiai játékok. Polgármesterként elfogadta az olimpiai zászlót az 1992-es záróünnepségen Barcelona, Spanyolország. Felügyelte számos tervezett közmunkaprojekt befejezését, például az autópályák és parkok fejlesztését, valamint a Freedom Parkway befejezését, amelyeket 1990-től 1996-ig felgyorsítottak az 1996 augusztusában kezdődött Olimpiai Játékok előkészítése során.
Jackson második polgármesteri ciklusa alatt az atlantai Gyermekgyilkosságok 1979 és 1981 között folytatódtak. Támogatta az atlantai rendőrséget és más rendőri erőket a környéken, de azon is dolgozott, hogy csillapítsa a fekete gyermekek sorozatos gyilkosságai által keltett nyilvános feszültségeket. A gyilkost, Wayne Williamset 1981-ben fogták el. Williamset két egymást követő életfogytiglani börtönbüntetésre ítélték két felnőtt férfi meggyilkolása miatt, de soha nem vádolták meg vagy próbálták meg a gyermek áldozatok meggyilkolásával. Jelenleg a Telfair állami börtönben tartják fogva.
1974-ben Jackson megkapta a Samuel S. Beard-díj a legnagyobb közszolgálatért 35 éves vagy annál fiatalabb egyén által évente odaítélt díj Jefferson-díjak.