Primeras intrusiones europeas y sultanatos emergentes
La fama de Malaca como encrucijada del comercio asiático había llegado a Europa a principios del siglo XVI. Los portugueses, que durante un siglo habían estado buscando una ruta marítima hacia el este de Asia, finalmente llegaron a Malaca en 1509, inaugurando una nueva era de actividad europea en el sudeste asiático. Aunque gran parte del sudeste asiático, incluido el norte de Borneo, experimentó poco impacto occidental antes del siglo XIX, Malaya fue una de las primeras regiones en ser perturbada. En 1511, una flota portuguesa dirigida por Alfonso de Albuquerque capturó Malaca.
Debido a que pocos comerciantes de Malaca optaron por soportar los altos impuestos de los conquistadores y la intolerancia al Islam, la ciudad finalmente languideció bajo el control portugués. El sultanato de Aceh (Acheh) en el norte de Sumatra posteriormente saltó al vacío político creado por el declive de Malaca, y durante el siglo XVI y principios del XVII los acehneses estuvieron profundamente involucrados en los asuntos peninsulares, luchando contra varios sultanatos y a veces controlando algunos o la mayoría de ellos. De hecho, la insuficiente autoridad portuguesa en Malaca apenas pudo repeler los repetidos ataques del sultanato de Aceh. Mientras tanto, los holandeses, habiendo establecido la Compañía Holandesa de las Indias Orientales en 1602, surgieron como la potencia europea dominante en el sudeste asiático. En 1641 los holandeses se apoderaron de Malaca, y aunque trataron de revivir su comercio, la ciudad nunca recuperó su gloria anterior.
A lo largo del ascenso y caída de Malaca, nuevos sultanatos estaban emergiendo en otras partes del mundo malayo. Por lo general, estaban situados en la desembocadura de un río importante y trataban de controlar el comercio hacia y desde el interior, que a menudo estaba poblado por pueblos seminómades, como los aborígenes Orang Asli («Pueblo Original») de Malasia y los diversos pueblos indígenas de Borneo. Sultanatos más jóvenes, como Riau-Johor y Kedah, ambos en la península, y Brunéi, en la costa norte de Borneo, se hicieron cargo de algunas de las funciones comerciales de Malaca y florecieron durante varios siglos. El islam llegó a otras áreas del norte de Borneo en los siglos XV y XVI; muchos pueblos costeros se convirtieron, pero la mayoría de los habitantes del interior continuaron practicando religiones locales hasta bien entrado el siglo XX. El control político malayo se extendió, con los sultanes de Brunei reclamando gran parte de lo que hoy son Sarawak y Sabah, aunque su poder real rara vez llegaba mucho más allá de la zona costera. Los intentos de Brunéi de controlar el interior a menudo fracasaron, especialmente después de que el agresivo pueblo Iban (Sea Dayak) comenzara sus migraciones a la actual Sarawak desde el oeste de Borneo (siglos XVI al XVIII). Los siameses llegaron a controlar algunos de los sultanatos malayos del norte, y la parte más meridional de la actual Tailandia todavía tiene una población predominantemente musulmana malaya. Los sultanatos malayos incluían muchos cacicazgos, a menudo en pugna. En consecuencia, las guerras dentro y entre los sultanatos estallaban de vez en cuando. Desde la perspectiva de los europeos, el sistema del sultanato, con sus esferas de influencia jerárquicas pero fluctuantes sobre las poblaciones móviles, era políticamente inestable.
Durante el siglo XVII, muchos minangkabau emigraron del oeste de Sumatra al suroeste de Malasia, trayendo consigo un sistema sociocultural matrilineal por el que la propiedad y la autoridad descendían a través del lado femenino. Eligieron a sus jefes de entre los candidatos aristocráticos elegibles, un modelo que se ha incorporado en la selección contemporánea de un rey de Malasia. Más tarde, los Minangkabau formaron una confederación de nueve pequeños estados (Negeri Sembilan). El pluralismo político de Malasia en el siglo XVIII también facilitó la penetración a gran escala de la península por parte de los bugineses del suroeste de Célebes (Sulawesi), una gran isla al sureste de Borneo que ahora es parte de Indonesia. Con una reputación bien ganada como comerciantes marítimos, los inmigrantes bugineses establecieron el sultanato de Selangor en la costa oeste de Malasia a mediados de la década de 1700. Al sureste, ganaron prominencia en el sultanato de Johor, que, en la punta de la península, era un próspero negocio comercial que atraía a comerciantes asiáticos y europeos. A pesar del movimiento continuo de los pueblos del archipiélago hacia la zona, Malaya y el norte de Borneo permanecieron escasamente poblados hasta principios del siglo XIX. Muchos de los malayos actuales son descendientes de inmigrantes de otros lugares del sudeste Asiático archipelágico que llegaron después de 1800. De hecho, los inmigrantes de Java, Célebes y Sumatra demostraron una tendencia a asimilarse a la comunidad malaya existente con el tiempo, un proceso que se aceleró constantemente con el auge del nacionalismo malayo y la educación vernácula en la década de 1930. Algunas de las tradiciones traídas por los inmigrantes minangkabau, javaneses y otros todavía se practican en los distritos donde se establecieron, lo que contribuye a las muchas variaciones regionales de la cultura y el idioma malayo.