Το τμήμα του Μουσείου Άργους, που σήμερα στεγάζεται σε κτίριο γνωστό με το όνομα «Καλλέργειο», ήταν κάποτε κατοικία του στρατηγού Δημ. Καλλέργη και της οικογένειάς του. Ο Δημήτριος Καλλέργης (1803-1867) ήρθε το 1822 από την Πετρούπολη στην Ελλάδα μαζί με τους δύο αδελφούς του για να λάβουν μέρος στον Αγώνα. Φίλος του Καποδίστρια, συνταγματάρχης του Ιππικού από το 1832, συμμετέχει ενεργά με την πλευρά των Καποδιστριακών στην εμφύλια διαμάχη, γίνεται ο ήρωας στην Επανάσταση της 3ης Σεπτεμβρίου 1843. Παντρεύτηκε τη Σοφία Ρέντη, νύφη περιζήτητη, με την οποία απέκτησε μια κόρη κι ένα γιο. Ο γιος, ο Εμμανουήλ (1835-1909), άριστος αξιωματικός, ερωτεύτηκε την αυτοκράτειρα Ευγενία της Γαλλίας και αναγκάστηκε να επανακάμψει στην Ελλάδα το 1861. Ήταν ο τελευταίος από τους Καλλέργηδες που κατοίκησε το σπίτι του Άργους.
Γνωρίζουμε ότι στις αρχές του 1830 ο Δημ. Καλλέργης μένει σε νοικιασμένο σπίτι στο Ναύπλιο και ότι λίγο αργότερα ζητεί να αγοράσει μια έκταση στο Άργος, κοντά στην πλατεία και το στρατώνα, για να οικοδομήσει κατοικία, αίτημα που γίνεται δεκτό. Ο αρχιτέκτονας της οικοδομής, που ολοκληρώθηκε το 1830, δεν είναι γνωστός αλλά δεν είναι απίθανο να ήταν ο Ντεβώ. Πολύ σύντομα ο Καλλέργης θα προτείνει στην Κυβέρνηση να του αγοράσει την κατοικία με αντίτιμο την παραχώρηση εθνικών γαιών στην επαρχία Άργους για την αποκατάσταση προσφύγων από την Κρήτη. Επιτροπή ειδικών εκτιμητών ορίζει το ποσό των 49.351,70 φοινίκων. Ιούνιος του 1831 και δεν έχει ακόμη δοθεί στον Καλλέργη γη ως αντάλλαγμα για την κατοικία του που αποκαλείται επίσημα «Δημόσιον Παλάτιον» και «Παλάτιον της Κυβερνήσεως».
Την πολυτάραχη περίοδο της Ε΄ Εθνοσυνέλευσης και λίγο πριν από τη δολοφονία του Καποδίστρια, γίνεται συνεννόηση μεταξύ του Καλλέργη και του αδελφού του Κυβερνήτη Αυγουστίνου για να επιστραφεί στον πρώτο το σπίτι του Άργους. Ο Ιανουάριος του 1833 βρίσκει τη Σοφία Καλλέργη εγκατεστημένη εκεί. Αυτό το κομψό σπίτι που οι περιηγητές θαυμάζουν, όπου ο Όθων παραθερίζει, προς το τέλος του αιώνα ξεπέφτει και το 1909, όταν ο Εμμ. Καλλέργης πεθαίνει, ο αθηναϊκός τύπος το χαρακτηρίζει «διώροφον και ημιερειπωμένον».
Στη σύγχρονη ιστορία του το «Καλλέργειον» θα «μεταβληθεί σε αποχωρητήρια Άργους και περιχώρων» ώσπου, τον Οκτώβριο του 1931, οι κληρονόμοι Καλλέργη ανακοινώνουν ότι δωρίζουν το κτίριο για να στεγάσει Μουσείο και Θέατρο. Το 1956-57, το Κράτος αποφασίζει να ιδρύσει στο χώρο Μουσείο του Άργους που αναλαμβάνει να κατασκευάσει η Γαλλική Αρχαιολογική Σχολή με έξοδα του γαλλικού κράτους και με αρχιτέκτονα τον Φομίν. Το «Καλλέργειο» – Μουσείο εγκαινιάστηκε το 1957 και η νέα πτέρυγα που δημιούργησε ο Φομίν το 1961.