Zuerst gab es nur das Kloster, dann erst entstand rund um das Kloster der Rest von Scheyern. Wo es heute steht war früher der Stammsitz der Wittelsbacher, bis dieser in den Besitz der Benediktiner überging.