Di fronte al centro storico di Passau si trova a 100 metri sopra la valle, la fortezza Oberhaus, il centro militare del Vescovato di Passau. Venne costruita nel 1219 intorono ad una cappella gia esistente e fu assediata cinque volte senza successo, tra cui due volte dai cittadini di Passau che volevano disfarsi del loro tiranno. Nei tumulti del tempo della Riforma vennero imprigionati molti membri del movimento anabattista nei sotterranei in pessime condizioni, in condizioni migliori vennero a trovarsi i prigionieri politici nella prigione militare bavarese fino al 1918.
Oggi la fortezza ospita il Museo di Oberhaus, che racconta la storia della città di Passau e mostra in modo dettagliato la vita medievale. Dalla 'terrazza Linde' si ha la vista migliore dei tre fiumi Danubio, Inn e Ilz.