Noong 1885, nagsimula siyang mag-aral sa Ateneo de Manila at nagtapos ng Bachelor of Arts degree. Noong 1892, nagsimula siyang mag-aral ng abogasya sa Unibersidad ng Santo Tomas. Habang naka-enrol sa unibersidad, nagtrabaho siya sa Opisina ng Bureau of Lands.
Naging reporter din siya sa La Independencia, ang unang Filipino daily newspaper, na itinatag at pinamunuan ni Antonio Luna. Nang mamatay si Luna noong 1899, kinuha ni Palma ang pagiging editor ng papel. Bukod sa La Independencia, nagsulat din siya sa iba pang mga dyaryo, nagsulat para sa La Patria, bukod sa iba pa; at co-founding, kasama sina Sergio Osmeña at Jaime de Veyra ng El Nuevo Día, ang unang araw-araw na pahayagan sa Cebu.
Noong 1901, pumasa siya sa pagsusulit sa bar. Noong taon ding iyon, itinatag niya ang pahayagang El Renacimiento, na unang inilathala noong Setyembre 3. Napangasawa niya si Carolina Ocampo noong Pebrero 1902. Iniwan niya ang gawaing pahayagan noong 1903 at nagpraktis ng abogasya habang nagtuturo din sa Escuela de Derecho.
Nagsimula siya sa pulitika nang maging miyembro at kalihim ng Association of Peace. Noong 1907 Philippine Assembly elections, tumakbo siya at nanalo bilang isang assemblyman na kumakatawan sa lalawigan ng Cavite. Noong Hulyo 6, 1908, hinirang siya ni Gobernador-Heneral James Smith bilang miyembro ng ikalawang Komisyon ng Pilipinas, na naging pinakabatang miyembro na nagsilbi hanggang 1916.
Noong 1916, siya ay nahalal bilang senador , na kumakatawan sa 4th district.
Noong Setyembre 1916, siya ay hinirang ni Gobernador-Heneral Francis Harrison, sa pamamagitan ng Executive Order No. 64, bilang Kalihim ng Panloob at nagsilbi hanggang sa kanyang pagbibitiw noong Hulyo 1920.
Noong Hulyo 1925, pinasinayaan siya bilang ikaapat na pangulo ng Unibersidad ng Pilipinas. Naglingkod siya bilang pangulo ng UP hanggang 1933 nang magbitiw siya dahil sa kontrobersiya sa Hare-Hawes-Cutting bill kung saan nagbanta ang noo’y presidente ng Senado na si Manuel Quezon na puputulin ang mga paglalaan ng unibersidad dahil sa pagtatagumpay ni Palma sa batas. Muli siyang tumakbong senador ngunit natalo kay Juan Sumulong. Noong 1934, nahalal si Palma sa 1934 Constitutional Convention.
Sa mga huling taon ng kanyang buhay, si Palma ay hinirang ni Pangulong Quezon bilang tagapangulo ng Pambansang Lupon ng Edukasyon. Hinawakan niya ang posisyong iyon hanggang sa kanyang kamatayan sa Maynila noong Mayo 24, 1939, sa edad na 64.