Das, in beherrschender Lage auf dem steil zur Donau abfallenden Ausläufer des Freinberges gelegene, Schloss bildet eine wuchtige, fast schmucklose Baugruppe um zwei Innenhöfe. Nach verschiedenen Verwendungen dient das Schloss seit 1963 als ein Teil des OÖ Landesmuseums.

Während das Erdgeschoss für Wechselausstellungen genutzt wird, beherbergen die beiden Obergeschosse die ständigen Ausstellungen aus den reichen Beständen des Museums. Die Kunstsammlungen umfassen bedeutende Werke vom Mittelalter bis zum frühen 20.Jahrhundert.

Numismatische Raritäten, eine Waffen- sowie Musikinstrumenten-sammlung, Kleinode des Kunstgewerbes aus Keramik, Glas und Metall sowie die zahlreichen volkskundlichen Exponate, etwa die lebensgroßen Trachtenfiguren und bäuerlichen Einrichtungsgegenstände, sind weitere Besonderheiten des Museums. Aus Schloss Weinberg stammt die Einrichtung einer Apotheke um 1700.