Peu après la fondation de la ville, les pères fondateurs de Charlestown ont désigné le terrain, plus tard connu sous le nom de cimetière de Phipps Street, comme lieu d'inhumation de la ville. À l'origine, le site était bordé au sud et à l'ouest par des marais, et un estuaire du fleuve Charles se jetait sur le côté arrière de la colline. Des années de remblaiement et d'activités de rénovation urbaine ont radicalement modifié le paysage environnant ce site.

Parmi les premières sépultures, on trouve des soldats qui ont combattu dans la guerre du roi Philippe. En plus des citoyens ordinaires, de nombreux contributeurs à la croissance de notre nation sont également enterrés ici, notamment :

• John Harvard, dont la bibliothèque de 300 volumes a été offerte pour fonder un collège à Cambridge.
• Nathaniel Gorham, signataire de la Constitution et président du Congrès continental, et
• Thomas Beecher, l'un des premiers colons de la colonie de la baie du Massachusetts, et
• membres de certaines des familles les plus influentes de Charlestown, notamment les Frothingham, les Hurd, les Harvard, les Phipps, les Russell et les Hunnewell.

Au XIXe siècle, beaucoup des plus anciens cimetières de Boston ont subi d'importantes « campagnes de réaménagement », des efforts qui ont consisté à aligner les pierres tombales en rangées et à aligner les pierres de tête et de pied. Ces campagnes ont été menées dans le but de se conformer aux croyances du XIXe siècle sur l'embellissement des espaces ouverts.

Le cimetière de Phipps Street est très particulier en ce sens que les pierres tombales sont restées dans leur configuration originale. Une autre caractéristique très unique est que les familles de Charlestown étaient enterrées dans de petites parcelles rectangulaires.