Los funcionarios de la ciudad reservaron una parte de lo que entonces era el Boston Common para entierros, con el fin de aliviar la superpoblación en el cercano cementerio de King's Chapel. El cementerio de Granary adoptó su nombre actual en 1737, cuando un granero, un pequeño edificio utilizado para almacenar grano, fue trasladado al sitio que actualmente ocupa la iglesia de Park Street. Todos los entierros cesaron en Granary en 1880.

El cementerio de Granary contiene aproximadamente 2.345 lápidas y tumbas, aunque se estima que en este lugar están enterradas 5.000 personas. Los marcadores de las tumbas son predominantemente de pizarra, con algunos de piedra verde o mármol.

La disposición original y desordenada de las lápidas fue reorganizada en hileras más rectas a lo largo de los años para adaptarse tanto a la estética del siglo XIX como a la cortadora de césped moderna. Durante la mitad del siglo XIX, se llevaron a cabo muchos proyectos de paisajismo en el Granary, incluyendo la instalación de pasarelas peatonales y la plantación de árboles de sombra y arbustos.

Los restos de miles de ciudadanos y personalidades notables de Boston se encuentran dentro de las murallas del Granary. Junto a gobernadores de Massachusetts, alcaldes y clérigos, los visitantes encontrarán las tumbas de tres firmantes de la Declaración de Independencia: Samuel Adams, John Hancock y Robert Treat Paine; Peter Faneuil, benefactor del famoso monumento del centro de Boston; el patriota y artesano Paul Revere; James Otis, orador y abogado revolucionario; y cinco víctimas de la Masacre de Boston. Cerca del centro del terreno, un obelisco de 25 pies de altura conmemora la tumba de los padres de Benjamin Franklin.