Sở dĩ nơi đây được gọi là hồ Con Rùa vì vào thời Việt Nam Cộng Hòa, ở trung tâm của hồ có một hình tượng con rùa bằng hợp kim, trên lưng có tấm bia đá lớn ghi tên các nước công nhận Việt Nam Cộng Hòa. Đây là thiết kế của kiến trúc sư Nguyễn Kỳ.

Có một giai thoại về Hồ Con Rùa rằng khi Nguyễn Văn Thiệu lên làm tổng thống Việt Nam Cộng Hòa, ông có cho mời thầy phong thủy người Hoa nổi tiếng đến coi thế đất tại Dinh Độc Lập. Thầy phong thủy này khen vị trí Dinh là vị trí của long mạch, trấn yểm đầu rồng. Tuy nhiên, đuôi của nó nằm ở Công trường Chiến sĩ, cũng chính là hồ Con Rùa, cần phải yểm bùa lại.

Vị thầy này cho rằng đuôi rồng hay vùng vẫy, sự nghiệp sẽ không bền. Cần phải đúc một con rùa lớn để trấn đuôi rồng lại. Có giả thiết cho rằng, kiến trúc tháp cao ở hồ Con Rùa giống hình một thanh gươm đóng xuống hồ nước để giữ chặt đuôi rồng.

Kiến trúc của hồ là một hình bát giác, được phỏng theo bát quái đồ gồm 4 đường đi bộ xoắn ốc. Các đường này đều hướng tơi trung tâm cũng chính là đài tưởng niệm và tượng con rùa ở giữa. Tuy rằng hình tượng con rùa đã bị phá bỏ nhưng trong ký ức của người Sài Gòn đây luôn là hồ Con Rùa và câu chuyện này vẫn lưu truyền cho thế hệ sau.

Ngày nay, hồ Con Rùa là một trong những địa điểm vui chơi cực hot đối với các bạn sinh viên nói riêng và người dân thành phố nói chung. Những hàng ăn, nước uống từ sang trọng đến bình dân, lề đường đều mọc xung quanh hồ, làm cho nơi đây mang một vẻ đẹp sầm uất, đông đúc của phố thị xen kẽ nét đẹp cổ kính của kiến trúc xưa.

Hồ Con Rùa đông đúc vào buổi tối, khi các bạn trẻ không biết đi đâu chơi giữa Sài Gòn thì: "Ê đi ra hồ Con Rùa ngồi không?" - Và thế là đi.

Có lẽ nhờ vào không gian mát mẻ, thoáng đãng và những món hàng ăn vặt được bày bán xung quanh mà hồ đã thu hút được các bạn sinh viên đến đây tụ tập. Ngoài ăn uống chuyện trò, các bạn trẻ còn thích ra nơi này để chụp hình, sống ảo. Không ít các nhãn hàng cũng chọn nơi này chụp ảnh thời trang.

Ở hồ Con Rùa, mọi người có thể thoải mái trò chuyện với nhau. Mỗi ngày, hồ lắng nghe thêm nhiều câu chuyện, hoàn cảnh của nhiều người. Có lẽ một lúc nào đó, hồ Con Rùa không còn nữa thì nơi đây vẫn mãi là kỷ niệm và ký ức của nhiều người, nhiều thế hệ, vì hồ chính là một trong những biểu tượng của Sài Gòn.