Das IHP wurde im Jahr 1983 als Institut der Akademie der Wissenschaften gegründet. 1992 erfolgte die Neugründung als GmbH und Mitglied der „Arbeitsgemeinschaft Forschungseinrichtungen Blaue Liste“ (heute Leibniz-Gemeinschaft) sowie die Aufnahme in die gemeinsame Bund-Länder-Förderung. Mit der Neugründung fokussierte sich die Forschung des Institutes auf die Integration von Silizium-Germanium in Silizium-Technologien.
Zur Sicherung einer für die Industrie relevanten Forschungsinfrastruktur wurde ein neues Institutsgebäude mit einem 1000 m2 großen Reinraum der Klasse 3 nach DIN EN ISO 14633-1 erbaut und im Jahr 1999 in Betrieb genommen. In diesem Reinraum wird die Pilotlinie des Institutes betrieben, die eine wesentliche Besonderheit des IHP ist.
Seit April 2017 ist das IHP Teil der bundesweit koordinierten Forschungsfabrik Mikroelektronik Deutschland (FMD).
In den Jahren 2018 bis 2020 wurde die Reinraumfläche auf 1500 m2 erweitert. Mit dem 2013 realisierten Erweiterungsbau und der Erweiterung der Reinraumfläche 2021 verfügt das Institut jetzt über mehr als 12.500 m² Nutzfläche.