Les responsables de la ville ont réservé une partie de ce qui était alors le Boston Common pour les enterrements afin de soulager la surpopulation du cimetière King's Chapel Burying Ground situé à proximité. Le cimetière Granary Burying Ground a pris son nom actuel en 1737 lorsqu'un grenier, un petit bâtiment utilisé pour stocker les céréales, a été déplacé vers le site actuellement occupé par l'église Park Street Church. Tous les enterrements ont cessé au Granary en 1880.

Le cimetière de Granary contient environ 2 345 pierres tombales et tombes, bien qu'on estime que 5 000 personnes sont enterrées sur ce site. Les pierres tombales sont principalement en ardoise, avec quelques-unes en pierre verte ou en marbre.

La disposition originale et désordonnée des pierres tombales a été réorganisée en rangées plus droites au fil des ans pour s'adapter à la fois à l'esthétique du XIXe siècle et à la tondeuse à gazon moderne. Au milieu du XIXe siècle, de nombreux projets d'aménagement paysager ont été entrepris dans le Granary, notamment l'installation de passerelles piétonnes et la plantation d'arbres d'ombrage et d'arbustes.

Les restes de milliers de citoyens et de personnalités notables de Boston se trouvent à l'intérieur des murs du Granary. En plus des gouverneurs, maires et ecclésiastiques du Massachusetts, les visiteurs trouveront les tombes de trois signataires de la Déclaration d'Indépendance : Samuel Adams, John Hancock et Robert Treat Paine ; Peter Faneuil, bienfaiteur du célèbre monument du centre-ville de Boston ; le patriote et artisan Paul Revere ; James Otis, orateur et avocat révolutionnaire ; et cinq victimes du Massacre de Boston. Près du centre du terrain, un obélisque de 25 pieds de haut commémore le tombeau des parents de Benjamin Franklin.