Rockefeller tjente fra 1981 til 1995 i Arkansas State Police Commission. I 1991 blev han udnævnt af præsident George Bush til at tjene i præsidentens råd om landdistrikterne Amerika og blev formand for Rådet. Han var præsident for Boy Scouts of America og var medlem af bestyrelsen for den nationale Spejderorganisation.
Rockefellers første strejftog i valgfag politik kom, da han vandt en snæver sejr over Arkansas State Senator Charlie Cole Chaffin, den første kvinde valgt til at tjene i Arkansas State Senate og 1994 nomineret til løjtnant guvernør. Det særlige valg i November 1996 blev nødvendiggjort af guvernørens fratræden Jim Guy Tucker og forhøjelsen af Løjtnantguvernør Mike Huckabee til Guvernørskabet. Rockefeller blev efterfølgende genvalgt i 1998 til en fuld fireårsperiode med 67 procent af stemmerne over læge Dr. Kurt Dilday. Denne margen langt større end den stemme, som hans far modtog i guvernørvalget i 1966 og 1968. Rockefeller blev valgt igen i 2002 med 60 procent af stemmerne over Arkansas State Supreme Court Justice Ron Sheffield, den første afroamerikaner nomineret til statskontor som Demokrat.
som Løjtnantguvernør var Rockefeller en ivrig fortaler for statens økonomiske interesser, og han rejste ofte for egen regning for at opsøge potentielle udenlandske investorer, samtidig med at han donerede sin egen regeringsløn til velgørenhed. Som fungerende guvernør den 11.September 2001, den dag terrorister angreb Verdenshandelscentret og Pentagon, modstod han opfordringer til at erklære en nødsituation og opfordrede i stedet Arkansans til at forblive rolige og donere blod. Han sponsorerede Project ChildSafe, et nationalt skydevåbensikkerhedsprogram, der har distribueret hundreder af tusinder af gratis triggerlåse i Arkansas. Han var æresformand for Arkansas Literary Festival. I 1997 oprettede Rockefeller bøger på loftet, et program ved hjælp af eksisterende ressourcer, spejdere og frivillige for at sikre adgang til læsemuligheder for alle børn. I 2004 fungerede han som formand for Arkansas Republikanske Parti.