Am östlichen Rand des Pferdemarktes schließt sich ein weiteres Baudenkmal der oldenburgischen Infanterie, die sogenannte "Rote Kaserne", an. Die erste Kaserne an dieser Stelle wurde 1862 erbaut und brannte am 9. April 1878 ab. Die "Rote Kaserne" wurde 1883 errichtet. Von 1955 bis 1992 wurde sie von der Bundeswehr-Standortverwaltung genutzt. Nach dem 1994 erfolgten Umbau wird sie als Studentenwohnheim genutzt. Sehenswert das Arresthaus von 1907 im Hof der ehemaligen Kaserne.