i 1968, da Jackson var 30 år gammel, besluttede han at stille op til det amerikanske Senat mod den siddende Herman Talmadge. Hans kampagne var underfinansieret, og han tabte, men Jackson vandt i Atlanta og fik fremtrædende plads i byen, som havde et betydeligt sort mindretal. Det følgende år byggede han på sin styrke og fik valg som viceborgmester, der var præsident for bestyrelsen for rådmænd. På det tidspunkt ændrede Atlanta sit bycharter, styrkede borgmesterens position og omdøbte viceborgmesteren til præsident for byrådet (rådmænd var nu byrådsmedlemmer).
i 1970 blev Jackson Atlantas første sorte viceborgmester, hans første valgte stilling, som han havde i fire år. Senere samme år støttede Jackson sanitetsarbejdere i byen, der var gået i strejke, hvor hans støtte bidrog til, at de modtog en højere løn.
i 1973 blev Jackson valgt med 60 procent af stemmerne som den første afroamerikanske borgmester i Atlanta og enhver større sydlig by; han blev støttet af en koalition af hvide liberale/moderate og afroamerikanere. I en alder af 35, Han usædede den siddende Sam Massell.
i løbet af sin første periode arbejdede Jackson for at forbedre raceforhold i og omkring Atlanta efter polariseringen forårsaget af valgkampen. Som borgmester ledede han begyndelsen og meget af fremskridtene på flere store offentlige arbejder projekter for byen og regionen. Bekræftende handlingsprogrammer hjalp minoritets-og kvindeejede virksomheder med at deltage. Han hjalp med at arrangere opgraderingen af den daværende Hartsfield Atlanta International Airport ‘ s enorme terminal (nu Indenrigsterminal) til moderne standarder. Jackson modsatte sig kraftigt opførelsen af motorveje gennem kvarterer i byen, vel vidende at sådanne handlinger ødelagde blomstrende samfund. I 1977 fyrede Jackson over 900 sanitetsarbejdere under Atlanta sanitation strike i 1977. Efter denne strejkende handling vendte mange af arbejderne tilbage til arbejde inden årets udgang.
Jackson var borgmester gennem den periode, hvor den separate Metropolitan Atlanta Rapid Transit Authority (MARTA) opnåede en stor mængde føderal finansiering til et jernbanelinjesystem med hurtig transit, da byggeriet begyndte, og Da MARTA begyndte sin første jernbanetransittjeneste i Atlanta og i DeKalb County i 1979 og under dens løbende udvidelse derefter. Som borgmester fejrede han i September 1990, da Atlanta blev valgt som værtsby for 1996 olympiske sommerlege. Som borgmester accepterede han det olympiske flag ved afslutningsceremonierne i 1992 i Barcelona, Spanien. Han overvågede færdiggørelsen af mange planlagte offentlige bygge-og anlægsprojekter, såsom forbedringer af motorveje og parker, og færdiggørelsen af Frihedsparkvejen, som blev fremskyndet fra 1990 til 1996 som forberedelse til De Olympiske Lege, der begyndte i August 1996.
under Jacksons anden periode som borgmester var Atlanta-Børnemordene i gang mellem 1979 og 1981. Han støttede Atlanta-politiet og andre politistyrker i området, men arbejdede også for at berolige offentlige spændinger, der blev vækket af seriemordene på sorte børn. Den anklagede morder blev fanget i 1981. Han blev dømt til at afsone to på hinanden følgende livstidsdomme for mordet på to voksne mænd, men aldrig sigtet for eller prøvet for mordet på nogen af børneofrene. Han er i øjeblikket tilbageholdt i Telfair State Prison.
i 1974 modtog Jackson Samuel S. Beard-prisen for den største offentlige tjeneste af en person på 35 år eller derunder, en pris, der uddeles årligt af Jefferson-priser.