Rockefeller diende van 1981 tot 1995 in de Arkansas State Police Commission. In 1991 werd hij benoemd door president George H. W. Bush om te dienen in de President ‘ s Council on Rural America en werd voorzitter van de council. Hij was voorzitter van de Quapaw Area Council of the Boy Scouts of America en diende in de Raad van bestuur van de National Scouting organization.Rockefellers eerste uitstapje naar de politiek kwam toen hij een kleine overwinning behaalde op Charlie Cole Chaffin, de eerste vrouw die in de Senaat van de staat Arkansas werd gekozen en in 1994 werd genomineerd voor Luitenant-gouverneur. De speciale verkiezing van november 1996 was noodzakelijk door het ontslag van gouverneur Jim Guy Tucker en de verheffing van luitenant-gouverneur Mike Huckabee tot gouverneurschap. Rockefeller werd vervolgens in 1998 herkozen voor een volledige termijn van vier jaar met 67 procent van de stemmen, over arts Dr.Kurt Dilday. Deze marge is veel groter dan de stem van zijn vader bij de gouverneursverkiezingen van 1966 en 1968. Rockefeller werd opnieuw verkozen in 2002 met 60 procent van de stemmen, over Arkansas State Supreme Court Justice Ron Sheffield, de eerste Afro-Amerikaanse genomineerd voor staatsbureau als Democraat.Als luitenant-gouverneur was Rockefeller een fervent voorstander van de economische belangen van de staat, en hij reisde vaak op eigen kosten om potentiële buitenlandse investeerders te zoeken, terwijl hij tegelijkertijd zijn eigen overheidssalaris doneerde aan goede doelen. Als waarnemend gouverneur op 11 September 2001, de dag dat terroristen het World Trade Center en het Pentagon aanvielen, verzette hij zich tegen oproepen om de noodtoestand uit te roepen en drong hij er in plaats daarvan op aan om kalm te blijven en bloed te doneren. Hij sponsorde Project ChildSafe, een nationaal vuurwapenveiligheidsprogramma dat honderdduizenden vrije triggersloten in Arkansas heeft verspreid. Hij was erevoorzitter van het Arkansas Literary Festival. In 1997 creëerde Rockefeller Books in The Attic, een programma met behulp van bestaande middelen, padvinders en vrijwilligers om de toegang tot leesmogelijkheden voor alle kinderen te garanderen. In 2004 was hij voorzitter van de Republikeinse Partij van Arkansas.