Γεννήθηκε στην Κωνσταντινούπολη από γονείς ευγενείς το 1217 (κατ’ άλλους το 1220). Ο πατέρας του, Κωνσταντίνος, κατείχε τη θέση του Μεγάλου Λογοθέτη. Σε ηλικία δεκαέξι χρονών μετοίκησε στη Νίκαια όπου διδάχτηκε φιλοσοφία από τον Βλεμμύδη. Τιμήθηκε από τον αυτοκράτορα Ιωάννη Δούκα Βατάτζη με το αξίωμα του μεγάλου Λογοθέτη.

Το 1257 αιχμαλωτίστηκε από τον Δεσπότη της Ηπείρου Μιχαήλ Β΄ Κομνηνό Δούκα, όταν, ως στρατηγός του στρατού του αυτοκράτορα της Νίκαιας Θεοδώρου Β΄ Λάσκαρη αντιμετώπισε τον στρατό του εξεγερμένου Μιχαήλ, με αφορμή την αντίρρησή του στην εδαφική παραχώρηση του Δυρραχίου, ως προίκα για τον γάμο των παιδιών τους. Ο Ακροπολίτης ελευθερώθηκε τελικά δύο χρόνια αργότερα.

Μετά την ανακατάληψη της Κωνσταντινούπολης από τους Φράγκους από τον Μιχαήλ Η΄ Παλαιολόγο (1261) τοποθετήθηκε ως δάσκαλος φιλοσοφίας και μαθηματικών. Το 1274 συμμετείχε στη σύνοδο της Λυών, εν ονόματι του αυτοκράτορα, κατά την οποία ο αυτοκράτορας αναγνώρισε τα πρωτεία του Πάπα και δέχθηκε την προσθήκη του filioque στο Σύμβολο της Πίστεως. Η έντονη αντίδραση, όμως, των υπόλοιπων ορθοδόξων της Αυτοκρατορίας οδήγησαν στη ματαίωση της συμφωνίας.

Πέθανε το 1282.

Σύζυγός του ήταν η Ευδοκία Παλαιολογίνα, ο γιος του, Κωνσταντίνος Ακροπολίτης, υπήρξε γνωστός συναξαριστής, ενώ διατέλεσε και αυτός στο αξίωμα του Μεγάλου Λογοθέτη.