Awal karier
Saifullah Yusuf mengawali kariernya melalui organisasi GP Ansor. Ia menjadi ketua umum GP Ansor selama dua periode yaitu 2000-2005 dan dilanjutkan 2005-2010. Sebelumnya juga ia menjadi plh Ketua Umum GP Ansor menggantikan Iqbal Assegaf yang meninggal dunia tahun 1999. Setelah selesai menjalankan tugasnya sebagai Ketua Umum PP GP Ansor dia terpilih menjadi salah satu Ketua di PBNU di bawah kepemimpinan KH. Said Aqil Siraj.
Menjadi anggota DPR
Pada Pemilu 1999 ia menjadi anggota DPR dari PDIP. Ia dianggap sebagai lambang aliansi dari Abdurrahman Wahid dan Megawati Soekarnoputri karena Saifullah adalah orang kepercayaan Gus Dur dan ditempatkan di PDIP. Ketika hubungan Gus Dur-Megawati merenggang maka pada tahun 2001, Saifullah mengundurkan diri dari PDIP dan juga DPR serta bergabung dengan PKB.
Pada muktamar PKB tahun 2002, Saifullah terpilih menjadi Sekretaris Jenderal PKB, itu merupakan hasil yang optimal setelah sebelumnya ia bersaing dengan Alwi Shihab memperebutkan posisi ketua umum.
Menjadi Menteri
Ia pernah menjabat sebagai Menteri Negara Percepatan Pembangunan Daerah Tertinggal pada Kabinet Indonesia Bersatu dari Oktober 2004 hingga Mei 2007. Salah satu pencapaiannya adalah dia tercatat sebagai Menteri yang paling sering "blusukan" di daerah - daerah tertinggal. Konflik di tubuk PKB yang berakibat dicopotnya Saifullah Yusuf dari jabatan Sekjen PKB berimbas pada jabatan menteri ini. Karena tidak dianggap lagi sebagai representasi PKB lagi maka ia digantikan oleh Lukman Edy yang juga menggantikannnya sebagai Sekjen PKB.
Menjadi Wakil Gubernur Jawa Timur
Saifullah Yusuf terpilih sebagai Wakil Gubernur Jawa Timur mendampingi Soekarwo dalam Pemilu Kepala Daerah dan Wakil Kepala Daerah Provinsi Jawa Timur yang diselenggarakan selama dua putaran (putaran pertama tanggal 23 Juli 2008 dan putaran kedua tanggal 4 November 2008) serta pemilihan ulang putaran kedua di Kabupaten Bangkalan dan Kabupaten Sampang tanggal 21 Januari 2009. Pelantikannya dilaksanakan pada tanggal 12 Februari 2009 oleh Menteri Dalam Negeri Mardiyanto.
Wakil Gubernur Periode Kedua
Setelah memenangi Pilgub Jatim 2013, Gus Ipul yang kembali mendampingi Soekarwo sebagai Wakil Gubernur Jawa Timur dilantik kembali pada 12 Februari 2014 di Gedung Negara Grahadi, Jawa Timur oleh Menteri Dalam Negeri Gamawan Fauzi. Pelantikan keduanya dihadiri oleh seluruh bupati/walikota se-Jawa Timur, menteri-menteri di Kabinet Indonesia Bersatu II, gubernur-gubernur, dan tokoh masyarakat Jawa Timur.
Penghargaan
Lencana Melati (Pramuka)
