Rockefeller sirvió de 1981 a 1995 en la Comisión de Policía del Estado de Arkansas. En 1991, fue nombrado por el presidente George H. W. Bush para servir en el Consejo Presidencial de América Rural y se convirtió en presidente del consejo. Fue presidente del Consejo de Área de Quapaw de los Boy Scouts de América y sirvió en la junta directiva de la organización nacional de Scouts.
La primera incursión de Rockefeller en la política electiva se produjo cuando ganó una estrecha victoria sobre el Senador estatal de Arkansas Charlie Cole Chaffin, la primera mujer elegida para servir en el Senado del Estado de Arkansas y la candidata a Vicegobernadora en 1994. La elección especial de noviembre de 1996 fue necesaria por la renuncia del gobernador Jim Guy Tucker y la elevación del Vicegobernador Mike Huckabee a la Gobernación. Rockefeller fue posteriormente reelegido en 1998 para un mandato completo de cuatro años con el 67 por ciento de los votos, sobre el médico Dr. Kurt Dilday. Este margen es mucho mayor que el voto recibido por su padre en las elecciones de gobernador de 1966 y 1968. Rockefeller fue elegido una vez más en 2002 con el 60 por ciento de los votos, sobre el Juez de la Corte Suprema del Estado de Arkansas Ron Sheffield, el primer afroamericano nominado para un cargo estatal como demócrata.
Como Vicegobernador, Rockefeller era un ávido defensor de los intereses económicos del estado, y a menudo viajaba a su propio costo para buscar posibles inversores extranjeros, mientras que al mismo tiempo donaba su propio salario gubernamental a la caridad. Como Gobernador interino el 11 de septiembre de 2001, el día en que los terroristas atacaron el World Trade Center y el Pentágono, se resistió a los llamados a declarar un estado de emergencia y en su lugar instó a los arkansas a mantener la calma y donar sangre. Patrocinó el Proyecto ChildSafe, un programa nacional de seguridad de armas de fuego que ha distribuido cientos de miles de cerraduras de gatillo gratuitas en Arkansas. Fue presidente honorario del Festival Literario de Arkansas. En 1997, Rockefeller creó Libros en el Ático, un programa que utiliza recursos existentes, Boy Scouts y voluntarios para garantizar el acceso a oportunidades de lectura para todos los niños. En 2004, se desempeñó como presidente del Partido Republicano de Arkansas.