Palminteri es de ascendencia italiana,​ su familia es originaria de Menfi, Agrigento. Sus abuelos, Calogero Palminteri y Rosa Bonfante, se casaron en 1908 y emigraron desde Menfi a Estados Unidos en 1910. Chazz Palminteri nació en el Bronx, Nueva York, en 1952, hijo de Rose, una ama de casa, y Lorenzo Palminteri, conductor de autobús.​ Durante su camino hacia la actuación, dividía su tiempo trabajando como guardia de seguridad (junto a Dolph Lundgren) y actuando en obras off-Broadway. Su gran éxito llegó en 1988 con su obra A Bronx Tale, la cual sería llevada al cine en 1993.