M.Ö. 900'lü yıllara uzanan tarihinde Persler, Fenikeliler, Frigyalılar, Lidyalılar, Romalılar, Bizanslılar ve Osmanlılar gibi bir çok medeniyetin egemenliği altına girmiştir. İlk adı Pronectus olan Karamürsel, Bizans İmparatoru Konstantin'in zamanında ise annesi Helena'nın ismini yüceltmek için Helena Polis adını verdi. Osmanlı Devletinin 2. Padişahı Orhan Gazinin yakın silah arkadaşı olan Kara lakaplı Mürsel Alp tarafından Bursa'nın fethinden önce yani 1324 yılında Osmanlı topraklarına katıldı. Kendi adını verdiği bölgede bir tersanede kurdu ve Osmanlının ilk hafif deniz donanmasını meydana getirdi. İlk kez Bizanslılarla denizden küçük çaplı savaşları ile İzmit Körfezinden Marmara denizi adalara kadar olan bölge Osmanlı topraklarına katılmıştır. 1920 yılında hem İngilizler, hem de Yunanlılar tarafından işgal edilen bölge, 1921 yılında kurtarılmıştır. 1924 yılında Kocaeli'ne bağlı ilçe olarak kurulmuştur.