Az agárdi temető a kastélyt a Déli vasútvonallal összekötő út (a mai Gárdonyi Géza utca) mentén, de történetét tekintve egyértelműen a Nádasdy-korszakhoz köthető emlékünk. Már a második katonai felmérésen (1859) ábrázolták. A birtokos család temetkezési helyévé gróf Nádasdy Lipótné (szül. Forray Júlia) 1863. évi halála után lépett elő. A sír fölé emelt mesterséges dombra Nádasdy Lipót a felesége emlékére egy gránit obeliszket állíttatott.
A Nádasdy-obeliszk magassága 12 m, alsó talapzatának szélessége 5 m x 5 m. A domb belsejében található nagyméretű falazott tégla alapban egyesek családi sírboltot sejtenek. A hatalmas szürke gránit obeliszken olvasható felirat szerint: „Itt nyugszik Forray Júlia grófnő, Nádasdy Lipótné, sz. 1812 nov. 4., 1863 aug. 22.” A családnak további négy tagja is az agárdi temetőben alussza örök álmát. Az 1863. augusztus 25-én eltemetett gróf Nádasdy Lipótné holtteste mellé 1872. március 28-án gróf Nádasdy Anna, 1873. szeptember 6-án gróf Nádasdy Ferencné (szül. Zichy Ilona), 1907. december 24-én gróf Nádasdy Ferenc és végül 1922. április 24-én, a Franciaországban, 1915-ben elhunyt gróf Nádasdy Tamás földi maradványait helyezték örök nyugalomra. Az obeliszk jelenleg műemléki védelem alatt áll. 2011-ben pályázati pénzből, helyi tervezők és kivitelezők közreműködésével felújították. A temetőbe vezető gesztenyesorral szemben áll továbbá a sírkert központi keresztje, amelyet felirata tanúsága szerint szintén a Nádasdy család emeltetett 1866-ban.