Em 1968, quando Jackson tinha 30 anos de idade, ele decidiu concorrer ao Senado dos Estados Unidos contra Herman Talmadge. Sua campanha foi subfinanciada, e ele perdeu, mas Jackson ganhou em Atlanta, ganhando destaque na cidade, que tinha uma minoria Negra substancial. No ano seguinte, ele construiu sua força, ganhando a eleição como vice-prefeito, que estava presidindo o oficial do Conselho de Vereadores. Na época, Atlanta modificou sua carta da cidade, fortalecendo a posição de prefeito e renomeando o vice-prefeito como presidente do Conselho da cidade (os vereadores eram agora membros do Conselho da cidade).Em 1970, Jackson tornou-se o primeiro Vice-prefeito negro de Atlanta, seu primeiro cargo eleito que ocupou por quatro anos. Mais tarde naquele ano, Jackson apoiou os trabalhadores do saneamento na cidade que haviam entrado em greve, com seu apoio contribuindo para que recebessem um salário mais elevado.Em 1973, Jackson foi eleito com 60 por cento dos votos, como o primeiro prefeito afro-americano de Atlanta e qualquer grande cidade do Sul; ele foi apoiado por uma coalizão de liberais brancos/moderados e afro-americanos. Aos 35 anos de idade, ele destituiu o incumbente Sam Massell.Durante seu primeiro mandato, Jackson trabalhou para melhorar as relações raciais em Atlanta após a polarização causada pela campanha eleitoral. Como prefeito, ele liderou o início e grande parte do progresso em vários projetos de Obras Públicas enormes para a cidade e Região. Programas de ação afirmativa ajudaram as empresas pertencentes a minorias e mulheres a participar. He helped provided for the upgrade of the then-William B. Hartsfield Atlanta International Airport’s huge terminal (now Domestic Terminal) to modern standards. Jackson se opôs fortemente à construção de auto-estradas através de bairros da cidade, sabendo que tais ações destruíram comunidades prósperas. Em 1977, Jackson demitiu mais de 900 trabalhadores do saneamento durante a greve de saneamento de Atlanta em 1977. Após este ato de strikebreaking, muitos dos trabalhadores retornaram ao trabalho até o final do ano.Jackson foi prefeito durante o período em que a Autoridade Metropolitana de Atlanta (MARTA) obteve uma grande quantidade de fundos federais para um sistema de linhas ferroviárias de rápido trânsito, quando a construção começou, e quando MARTA começou seu primeiro serviço de transporte ferroviário em Atlanta e no Condado de DeKalb em 1979 e durante a sua expansão contínua a partir daí. Como prefeito, ele comemorou em setembro de 1990, quando Atlanta foi selecionada como a cidade anfitriã para os Jogos Olímpicos de verão de 1996. Como prefeito, ele aceitou a bandeira olímpica nas cerimônias de encerramento de 1992 em Barcelona, Espanha. Ele supervisionou a conclusão de muitos projetos de Obras Públicas planejadas, como melhorias em rodovias e parques, e a conclusão da Freedom Parkway, que foram acelerados de 1990 a 1996 em preparação para os Jogos Olímpicos que começaram em agosto de 1996.
durante o segundo mandato de Jackson como prefeito, os assassinatos de crianças de Atlanta estavam em curso entre 1979 e 1981. Ele apoiou a polícia de Atlanta e outras forças policiais na área, mas também trabalhou para acalmar as tensões públicas despertadas pelos assassinatos em série de crianças negras. O assassino acusado, Wayne Williams, foi apanhado em 1981. Williams foi condenado a cumprir duas penas de prisão perpétua consecutivas pelo assassinato de dois adultos do sexo masculino, mas nunca foi acusado ou julgado pelo assassinato de qualquer uma das vítimas da criança. Ele está actualmente detido na prisão estatal de Telfair.
Em 1974, Jackson recebeu o Samuel S. Beard Award de maior serviço público por um indivíduo 35 anos ou menos, um prêmio dado anualmente pelo Jefferson Awards.