Nein, einen extra Ordner include habe ich (noch) nicht.

Wenn ich das richtig verstehe, müsste ich die header.php, footer.php und die entsprechenden Grafiken im Ordner include ablegen und dann die Pfade entsprechen anpassen?

Das wäre dann bei der index.php im Stammverzeichnis z.B. der Code
<?php include('include/header.php'); ?>

und bei Dateien im Unterodner der Code
<?php include('../include/header.php'); ?>

Habe ich das in etwas richtig verstanden?
Werde mal versuchen.