Rockefeller a siégé de 1981 à 1995 à la Commission de police de l’État de l’Arkansas. En 1991, il a été nommé par le président George H. W. Bush pour siéger au Conseil du Président sur l’Amérique rurale et est devenu président du conseil. Il a été président du Conseil de la région de Quapaw des Boy Scouts of America et a siégé au conseil d’administration de l’organisation nationale du scoutisme.
La première incursion de Rockefeller dans la politique élective a eu lieu lorsqu’il a remporté une victoire étriquée sur le sénateur de l’État de l’Arkansas Charlie Cole Chaffin, la première femme élue au Sénat de l’État de l’Arkansas et candidate au poste de lieutenant-gouverneur en 1994. L’élection spéciale de novembre 1996 a été rendue nécessaire par la démission du gouverneur Jim Guy Tucker et l’élévation du lieutenant-gouverneur Mike Huckabee au poste de gouverneur. Rockefeller a ensuite été réélu en 1998 pour un mandat complet de quatre ans avec 67% des voix, sur le médecin Dr Kurt Dilday. Cette marge est bien supérieure au vote reçu par son père lors des élections au poste de gouverneur de 1966 et de 1968. Rockefeller a été élu une fois de plus en 2002 avec 60% des voix, sur le juge de la Cour suprême de l’État de l’Arkansas Ron Sheffield, le premier Afro-américain nommé pour un poste à l’échelle de l’État en tant que démocrate.
En tant que lieutenant-gouverneur, Rockefeller était un ardent défenseur des intérêts économiques de l’État, et il voyageait souvent à ses frais pour rechercher des investisseurs étrangers potentiels, tout en faisant don de son propre salaire gouvernemental à des œuvres de charité. En tant que gouverneur par intérim le 11 septembre 2001, le jour où des terroristes ont attaqué le World Trade Center et le Pentagone, il a résisté aux appels à déclarer l’état d’urgence et a plutôt exhorté les Arkaniens à rester calmes et à donner du sang. Il a parrainé le projet ChildSafe, un programme national de sécurité des armes à feu qui a distribué des centaines de milliers de serrures à gâchette gratuites en Arkansas. Il a été président d’honneur du Festival littéraire de l’Arkansas. En 1997, Rockefeller a créé Books in the Attic, un programme utilisant les ressources existantes, les scouts et les bénévoles pour assurer l’accès à des possibilités de lecture pour tous les enfants. En 2004, il a été président du Parti républicain de l’Arkansas.