Ostermundigen exploite des carrières de grès depuis le Moyen Âge. La production atteignit son apogée avec l’essor industriel de la seconde moitié du 19e siècle. A cette époque, la carrière de grès d’Ostermundigen était la plus grande de Suisse et exportait sa production bien au-delà des frontières du pays.

L’exploitation du grès fut longtemps l’activité principale de la commune d’Ostermundigen. Des générations de saisonniers, de tailleurs de pierre et de constructeurs on bâti leur existence sur le grès d’Ostermundigen. D’innombrables bâtiments, modestes ou monumentaux, ont été réalisés dans ce matériau. Les carrières et leur histoire sont aujourd’hui encore le symbole vivant de la commune d’Ostermundigen.

Le projet de construire un musée dédié à Paul Klee à proximité immédiate de la commune d’Ostermundigen a permis de prendre en compte et d’intégrer les différentes propositions de réhabilitation des carrières déjà existantes. Toutes les personnes impliquées dans le projet savaient que Paul Klee était passionné par ces carrières et par les hommes qui y travaillaient et qu’il y avait passé beaucoup de temps. Elles furent pour lui une source d’inspiration pour bon nombre de ses dessins et tableaux.

C’est alors que l’idée de réhabiliter ce symbole de la commune d’Ostermundigen autrefois réputé jusqu’à l’étranger et de le relier de manière attrayante au Zentrum Paul Klee commença à se concrétiser. Très rapidement, la population, les politiques, l’économie et l’administration se mirent à faire des propositions.

Sous la direction du maire d'Ostermundigen, monsieur Theo Weber, un « groupe de travail carrières » fut mis en place pour réaliser le travail de conception. La direction du projet est aujourd’hui assurée par le Zentrum Paul Klee.

Une « communauté d’intérêt des carrières » fut créée en parallèle, à laquelle se sont notamment joints spontanément les principaux propriétaires du terrain, les utilisateurs et habitants de la région de l’Ostermundigenberg.

Le concept d’exploitation des cavernes entend s’adresser à tous, enfants, jeunes, adultes et familles. L’idée clé des attractions qui seront présentées dans les carrières est la construction de la plate-forme « Standort Paul Klee, Ostermundigen » (lieu Paul Klee, Ostermundigen). Elle est positionnée de manière à permettre de voir les carrières telles qu’elles sont représentées sur certains tableaux de Paul Klee. Des tableaux didactiques engagent à étudier en profondeur le lieu et l’importance qu’il revêt pour la commune d’Ostermundigen, pour Berne et pour Paul Klee.