Provinsi Jambi dibentuk tanggal 2 Juli 1958 bersamaan waktunya dengan pembentukan Provinsi Sumatera Barat dan Provinsi Riau. Sebelumnya Jambi merupakan salah satu daerah keresidenan di wilayah Provinsi Sumatera Tengah. Sementara di awal kemerdekaan, hanya ada satu provinsi di Sumatera, yaitu, provinsi Sumatera dan jambi adalah salah satu keresidenan di provinsi yang sangat luas itu.
Pada akhir abad ke 19 di wilayah Jambi terdapat kerajaan atau kesultanan Jambi. Tahun 1855, Kesultanan Jambi diperintah oleh Sultan Thaha Saifuddin. Pada saat Belanda mulai menduduki Kesultanan Jambi, tepatnya tahun 1858, Sultan Thaha menyingkir dari keraton dan melakukan perang gerilya. Dia gugur dalam perang melawan penjajah tahun 1904.
Setelah gugurnya Sultan Thaha, Belanda menguasai wilayah Jambi sepenuhnya. Tahun 1906, Belanda mulai membentuk administrasi pemerintahan di Jambi. Hal ini berarti bahwa Jambi yang sebelumnya ditangani oleh Keresidenan Palembang, menjadi keresidenan sendiri. Sebagai residen Jambi yang pertama adalah O.L. Helfrich, sebelumnya dia menjabat sebagai Asisten Residen Palembang.
Susunan pemerintahan pada zaman Belanda masih memperhatikan susunan adat seperti di zaman kesultanan, namun disertai dengan beberapa penyesuaian, disesuaikan dengan politik jajahannya. Singkatnya, pemerintahan Jambi di era penjajahan Belanda berturut-turut dari level teratas sampai terbawah adalah Residen-Kontrolir-Demang-Asisten Demang-Kepala Adat/Pasirah-Penghulu/kepala dusun-Rakyat.
Rakyat Jambi tidak sepenuhnya mengakui pemerintahan kolonial Belanda. Hal ini terbukti dengan adanya perlawanan, yaitu, perang Sarikat Abang yang terjadi pada tahun 1916. Perlawanan ini dapat dihentikan Belanda dan tokoh-tokoh perlawanannya disidangkan dalam suatu pengadilan yang dinamakan Pengadilan Rapat Besar Istimewa. Tokoh-tokoh perlawanan tersebut kemudian dibuang ke Digul, Ternate, dan Nusa Kambangan.
Setelah peristiwa pembangkangan tersebut, Belanda semakin memperketat ruang gerak rakyat dengan mengadakan pembatasan-pembatasan berbagai kegiatan perkumpulan dan organisasi politik. Akibatnya, semua perkumpulan dan organiasi politik vakum dan akhirnya mati. Jambi, akhirnya menjadi daerah yang kosong dari organisasi politik.
Larangan Belanda tersebut ternyata tidak hanya pada organisasi politik, melainkan melebar pada dunia pendidikan. Belanda melarang rakyat Jambi untuk bersekolah atau mendirikan sekolah. Setelah beberapa tokoh memperjuangkan pendirian sekolah, seperti yang dilakukan oleh H. Nawawi, H.M. Chatib A.T. Hanafiah, akhirnya ada juga beberapa sekolah yang berdiri, namun dengan pengawasan yang sangat ketat.
Karena ada pengaruh dari Jawa, tahun 1939 lahir beberapa partai politik di Jambi. Adanya partai politik ini membuka mata masyarakat Jambi bahwa mereka harus berjuang mencapai kemerdekaan. Kesadaran ini juga muncul karena, melalui partai-partai ini, mereka mengetahui bahwa di Eropa sedang terjadi peperangan sehingga terdapat ruang bagi rakyat di negeri jajahan untuk bangkit.
Harapan untuk merdeka dan hidup sejahtera semakin besar ketika Jepang mendarat di Jambi. Rakyat tertipu dengan propaganda "Sang Saudara Tua" yang mengatakan bahwa mereka akan memberi kemakmuran. Namun janji Jepang tersebut ternyata tidak dilakukan. Alih-alih mensejahterakan rakyat Jambi, Jepang menerapkan pemerintahan yang kejam. Bahan pangan yang dimiliki rakyat dirampas, dan sebagian rakyat dijadikan romusha. Kegiatan politik rakyat dilarang, bahkan dalam kegiatan sehari-hari pun selalu dimata-matai oleh tentara Jepang. Keadaan ini berlangsung sampai Indonesia merdeka, tanggal 17 Agustus 1945.
Di awal kemerdekaan, Jambi yang waktu itu berbentuk keresidenan, tidak pernah tenang. Kondisi ini disebabkan oleh adanya berbagai rongrongan keamanan, yaitu, dari Belanda yang berkeinginan menjajah kembali. Tanggal 28 Desember 1948, Belanda membombardir Jambi. Residen dan staf pemerintahan menyingkir ke dusun Rantaumajo.
Sementara itu para pejuang melakukan perlawanan sengit terhadap Belanda. Dalam peperangan itu, banyak pejuang Jambi yang gugur dan ditawan. Peperangan itu berakhir dengan dicapainya kesepakatan dalam Konferensi Meja Bundar (KMB). Belanda kemudian membentuk Republik Indonesia Serikat (RIS) yang berisikan banyak negara bagian. Namun bentuk negara serikat ini tidak lama karena rakyat Indonesia tidak setuju dengan bentuk negara serikat dan berkeinginan untuk kembali kebentuk kesatuan. Akhirnya pada tanggal 17 Agustus 1950, Republik Indonesia kembali berdiri.
Setelah Jambi menjadi provinsi, terpisah dari provinsi lama, yaitu, provinsi Sumatera Tengah, rakyat dan pemerintah Jambi mulai menata administrasi pemerintahannya. Gubernur pertama Jambi dijabat oleh M. Juuf Singedikane. Namun Jambi tidak bisa langsung melakukan pembangunan karena adanya beberapa pemberontakan, yaitu, PRRI dan PKI. Baru setelah G30S/PKI dapat ditumpas, Jambi mulai dapat melakukan pembangunan.
Kemajuan pembangunan mulai terlihat pada masa pemerintahan gubernur RM Noer Atmadibrata yang memerintah dari tahun 1968 sampai 1974. Selanjutnya Jambi terus melakukan pembangunan seiring dengan program pembangunan yang dicanangkan pemerintah pusat. Lancarnya pembangunan ini terkait erat dengan terjaminnya keamanan sehingga membuat iklim dunia usaha semakin kondusif.