Den Grundstein der Sammlung bildete die Sammlung des Kunstvereins Schaffhausen, die bei der Museumsgründung 1937 übernommen werden konnten. Dank der Kulturspende nach der Bombardierung der Stadt 1944, der Gründung der Peyerschen Tobias Stimmer-Stiftung 1946 und der Sturzenegger-Stiftung 1987 sowie dank zahlreicher Legate, Schenkungen und Dauerleihgaben erfuhr und erfährt die Kunstsammlung bis heute eine kontinuierliche Erweiterung.

Die Schwerpunkte der Sammlung kristallisieren sich um bedeutende Werkgruppen: regionale Sakralkunst des Spätmittelalters, wichtige Werke von Lucas Cranach d.Ä. und dem herausragenden Schaffhauser Renaissance-Künstler Tobias Stimmer, zahlreiche Bildnisse von Schaffhauser Persönlichkeiten des 17. und 18. Jahrhunderts, bedeutende Arbeiten des Klassizismus von Alexander Trippel und Johann Heinrich Füssli sowie eine umfassende Sammlung an Rheinfallansichten des 17. bis 21. Jahrhunderts. Einen Höhepunkt der Sammlung bildet die klassische Moderne mit Werkgruppen von Ferdinand Hodler, Cuno Amiet, Felix Vallotton, Adolf Dietrich, Niklaus Stoecklin und Otto Dix.

Die Sammlung zeitgenössischer Kunst ist die bedeutendste Schaffhausens. Sie bietet umfassende Einblicke in das regionale Kunstschaffen mit Werkgruppen u.a. von Yves Netzhammer, Olaf Breuning, Daniela Keiser und Sandra Boeschenstein, wie auch von jüngeren Künstlerinnen und Künstlern. Darüber hinaus umfasst die Sammlung wichtige Werkkonvolute von Schweizer Kunstschaffenden wie Martin Disler, Leiko Ikemura und Corsin Fontana. Der traditionelle Fokus der Sammlung liegt auf Malerei und grafischen Werken. Dieser wird seit einigen Jahren erweitert durch Ankäufe u.a. aus den Bereichen Video, Fotografie und Installation.