1968, när Jackson var 30 år gammal, bestämde han sig för att köra för den amerikanska senaten mot sittande Herman Talmadge. Hans kampanj var underfinansierad, och han förlorade, men Jackson vann i Atlanta och fick framträdande plats i staden, som hade en betydande svart minoritet. Året därpå byggde han på sin styrka och fick val till vice borgmästare, som var ordförande i styrelsen för rådmän. Vid den tiden ändrade Atlanta sin stadsstadga, stärkte borgmästarens ställning och döpte om vice borgmästaren till kommunfullmäktiges president (rådmän var nu kommunfullmäktiges medlemmar).
1970 blev Jackson Atlantas första svarta Vice borgmästare, hans första valda position som han innehade i fyra år. Senare samma år stödde Jackson sanitetsarbetare i staden som hade strejkat, med hans stöd som bidrog till att de fick en högre lön.
1973 valdes Jackson med 60 procent av rösterna, som den första afroamerikanska borgmästaren i Atlanta och någon större sydlig stad; han stöddes av en koalition av vita liberaler/moderata och afroamerikaner. Vid en ålder av 35, han unseated sittande Sam Massell.
under sin första mandatperiod arbetade Jackson för att förbättra rasförhållandena i och runt Atlanta efter polariseringen orsakad av valkampanjen. Som borgmästare ledde han början och mycket av framstegen på flera stora offentliga projekt för staden och regionen. Program för positiva åtgärder hjälpte minoritets-och kvinnoägda företag att delta. Han hjälpte till att ordna uppgraderingen av dåvarande William B. Hartsfield Atlanta International Airport enorma terminal (nu inrikes Terminal) till modern standard. Jackson motsatte sig starkt byggandet av motorvägar genom stadsdelar i staden och visste att sådana åtgärder förstörde blomstrande samhällen. 1977 avskedade Jackson över 900 sanitetsarbetare under 1977 Atlanta sanitation strike. Efter denna strejkbrott återvände många av arbetarna till jobbet i slutet av året.
Jackson var borgmästare under perioden då den separata Metropolitan Atlanta Rapid Transit Authority (MARTA) fick en stor del av federal finansiering för ett snabbtransportsystem, när byggandet började, och när MARTA började sin första järnvägstransittjänst i Atlanta och i DeKalb County 1979 och under dess ständiga expansion därefter. Som borgmästare firade han i September 1990 när Atlanta valdes som värdstad för Olympiska sommarspelen 1996. Som borgmästare accepterade han den olympiska flaggan vid avslutningsceremonierna 1992 i Barcelona, Spanien. Han övervakade slutförandet av många planerade offentliga byggprojekt, såsom förbättringar av motorvägar och parker, och slutförandet av Freedom Parkway, som påskyndades från 1990 till 1996 som förberedelse för de olympiska spelen som började i augusti 1996.
under Jacksons andra mandatperiod som borgmästare pågick barnmorden i Atlanta mellan 1979 och 1981. Han stödde Atlanta-polisen och andra polisstyrkor i området men arbetade också för att lugna offentliga spänningar som väcktes av seriemord av svarta barn. Den anklagade mördaren, Wayne Williams, fångades 1981. Williams dömdes för att avtjäna två på varandra följande livstidsstraff för mordet på två vuxna män, men aldrig åtalats för eller försökt för mordet på någon av barnoffer. Han hålls för närvarande i Telfair State Prison.
1974 fick Jackson Samuel S. Beard Award för största offentliga tjänst av en individ 35 år eller Under, ett pris som delas ut årligen av Jefferson Awards.