1948 yılında Tokat'ta doğan Aziz Kocaoğlu, 1973 yılında Ege Üniversitesi İktisat Fakültesi’nden mezun oldu. 1974’te İstanbul Üniversitesi’nde işletme dalında yüksek lisansını tamamlayan Kocaoğlu, 1975-1978 yılları arasında bir kamu kuruluşunda muhasebe uzmanı olarak çalıştı; 1978-1979 yılları arasında özel sektörde yöneticilik yaptı. 1979 yılında  kendi işini kurdu. Ortak bir girişimle 1986 yılında toprak sanayi dalında çalışmaya başladı.

Siyasi yaşamına CHP Gençlik Kolları’nda başlayan Kocaoğlu,  2001-2003 döneminde CHP Bornova İlçe Başkan Yardımcılığı yaptı. 28 Mart 2004 seçiminde CHP’den Bornova Belediye Başkanı seçildi; 21 Haziran 2004 tarihinde gerçekleştirilen Meclis Toplantısında oybirliğiyle İzmir Büyükşehir Belediye Başkanlığı'na getirildi. 29 Mart 2009 tarihinde yapılan yerel seçimlere CHP İzmir Büyükşehir Belediye Başkan adayı olarak giren Kocaoğlu, %56 oy oranıyla seçimi kazanıp 2009-2014 dönemi için halktan güvenoyu aldı. 
Aziz Kocaoğlu, evli ve iki çocuk babasıdır.