האתר הוקם ב-1948 על ידי משרד הדתות ביוזמת ד"ר שמואל זנוויל כהנא, מנכ"ל המשרד, שהיה אז "הממונה" על הר ציון. מטרתו הייתה להקים אתר זיכרון שיהווה קבורה סמלית לקהילות שנכחדו, על מנת שניצולי השואה יקיימו בו טקסי זיכרון לקהילותיהם. לימים האתר הפך למוזיאון.
