Rockefeller serviu de 1981 a 1995 na Comissão de Polícia do Estado do Arkansas. Em 1991, ele foi nomeado pelo Presidente George H. W. Bush para servir no Conselho do Presidente sobre a América Rural e tornou-se presidente do Conselho. Ele foi presidente do Conselho de Quapaw Area dos Escoteiros da América e serviu no conselho de administração da Organização Nacional de escoteiros.
a primeira incursão de Rockefeller em política eletiva veio quando ele ganhou uma vitória estreita sobre o senador do Estado do Arkansas Charlie Cole Chaffin, a primeira mulher eleita para servir no Senado do Estado do Arkansas e a nomeada para Vice-Governador em 1994. A eleição especial de novembro de 1996 foi necessária pela renúncia do Governador Jim Guy Tucker e a elevação do Vice-Governador Mike Huckabee para o governo. Rockefeller foi posteriormente reeleito em 1998 para um mandato completo de quatro anos com 67 por cento dos votos, sobre o médico Dr. Kurt Dilday. Esta margem é muito maior do que o voto recebido por seu pai nas eleições para governador de 1966 e 1968. Rockefeller foi eleito mais uma vez em 2002 com 60 por cento dos votos, sobre o juiz do Supremo Tribunal do Estado do Arkansas, Ron Sheffield, o primeiro afro-americano nomeado para o cargo de democrata em todo o estado.Como Vice-Governador, Rockefeller era um ávido defensor dos interesses econômicos do estado, e muitas vezes viajava às suas próprias custas para procurar potenciais investidores estrangeiros, enquanto ao mesmo tempo doava seu próprio salário governamental para caridade. Como governador interino em 11 de setembro de 2001, no dia em que os terroristas atacaram o World Trade Center e o Pentágono, ele resistiu às chamadas para declarar o estado de emergência e, em vez disso, instou os Arkans a permanecerem calmos e a doar sangue. Ele patrocinou o projeto ChildSafe, um Programa Nacional de segurança de armas de fogo que distribuiu centenas de milhares de fechaduras de gatilho livre no Arkansas. Foi presidente honorário do festival literário de Arkansas. Em 1997, Rockefeller criou livros no sótão, um programa que utiliza recursos existentes, escoteiros e voluntários para garantir o acesso a oportunidades de leitura para todas as crianças. Em 2004, ele serviu como presidente do Partido Republicano do Arkansas.