Peter Kohlgraf wurde am 21. März 1967 in Köln geboren. Nach dem Theologiestudium in Bonn und Salzburg wurde er am 18. Juni 1993 im Kölner Dom zum Priester geweiht. Anschließend war er bis 1996 Kaplan in Euskirchen, bevor er zur Promotion an der Bonner Universität freigestellt wurde, die er im Jahr 2000 abschloss.
1999 übernahm Kohlgraf für vier Jahre die Aufgabe als Schulseelsorger und Religionslehrer am Erzbischöflichen Kardinal Frings-Gymnasium in Bonn-Beuel. Im Jahr 2003 wechselte er als Repetent (stellvertretender Direktor) an das Erzbischöfliche Theologenkonvikt Collegium Albertinum in Bonn und war zugleich als Schulseelsorger am Städtischen Beethoven-Gymnasium in Bonn tätig.
Mit gleicher Aufgabe und als Religionslehrer wechselte er 2009 an das Erzbischöfliche Gymnasium und die Höhere Handelsschule "Marienberg" in Neuss. Im Oktober 2010 wurde Kohlgraf in Münster habilitiert und Privatdozent im Fach Pastoraltheologie an der Westfälischen Wilhelms-Universität Münster, bevor 2012 die Berufung an die Katholische Hochschule Mainz erfolgte.
2017 wurde Kohlgraf zum Bischof von Mainz ernannt und geweiht. Im Oktober des gleichen Jahres wurde er als Ehrendomherr des Kölner Domes eingeführt. Ehrendomherrn sind verdiente Persönlichkeiten, die den Titel "Domherr" als besondere Anerkennung verliehen bekommen. Sie werden vom Domkapitel nominiert und vom Erzbischof ernannt.
Zu den Ehrendomherrn des Kölner Domkapitels gehören außerdem alle Diözesanbischöfe, die im Kölner Dom zum Priester geweiht worden sind, etwa der Bischof von Würzburg, Friedhelm Hofmann, oder der Erzbischof von Hamburg, Dr. Stefan Heße. Hofmann war vor seiner Bischofsernennung langjähriger Domkapitular und Dompfarrer, Heße ebenfalls vor seiner Bischofsernennung Domkapitular und Generalvikar in Köln.
