Το ουγγρικό Πούμι έφτασε στην Ευρώπη μαζί με πολλούς άλλους ποιμενικούς σκύλους από τους Μαγυάρους, καθώς μετακινούσαν τα πολυάριθμα κοπάδια τους σε νέους βοσκότοπους. Πιστεύεται ότι το Πούμι μπορεί να έχει μακρινή καταγωγή από ποιμενικούς σκύλους της Ασίας, όπως το Θιβετιανό Τερριέ (Tibetan Terrier) που βρισκόταν τόσο στο Θιβέτ, όσο και στην Κίνα.

Κατά τις αρχές του 20ου αιώνα, οι Ούγγροι διαπίστωσαν ότι υπήρχαν 3 ξεχωριστές φυλές εγγενείς στη χώρα και συγκεκριμένα το Πούλι (Puli), το Πούμι (Pumi) και το Μούντι (Mudi). Το Πούλι αναπτύχθηκε στις ανατολικές πεδιάδες, το Πούμι στα δυτικά της χώρας ενώ το Μούντι φύλασσε κοπάδια ζώων στα νότια. Ειδικοί μελετητές της φυλής πιστεύουν ότι το Πούμι είναι στην πραγματικότητα μια παραλλαγή του Πούλι και ότι για πολλούς αιώνες και τα δύο ονόματα χρησιμοποιούνταν για να περιγράψουν και τις δύο φυλές.

Το Πούμι εξελίχθηκε αυθόρμητα και δεν ήταν αποτέλεσμα προγραμματισμένης και επιλεκτικής αναπαραγωγής. Η φυλή εμφανίστηκε γύρω στον 17ο-18ο αιώνα ως απόγονος του Πούλι, του Γερμανικού Σπιτς (German Spitz) και του γαλλικού Μπριάρ (Briard). Τον 18ο αιώνα, πολλά πρόβατα Merino (ισπανική φυλή) εισήχθησαν στην Ουγγαρία, μαζί με τους μικρόσωμους Ποιμενικούς Πυρηναίων (Pyrenean Shepherd) που πιθανώς να συνέβαλαν στην ανάπτυξη σκύλων με πιο κοντό και σγουρό τρίχωμα, των Πούμι. Η φυλή αναφέρθηκε για πρώτη φορά ονομαστικά το 1815, αλλά θεωρήθηκε από πολλούς ως μια τοπική παραλλαγή του Πούλι. Στις αρχές του 1900, ο Emil Raitsits, συνέταξε το πρότυπο της κάθε φυλής ξεχωρίζοντας τους δύο ποιμενικούς. Τα αρχικά αυτά πρότυπα των φυλών, δίνοντας έμφαση στις διαφορές τους, συνέβαλαν στην δημιουργία πιο μοναδικών χαρακτηριστικών όπως η μακρύτερη μουσούδα, το πιο επίπεδο κρανίο, τα ημιανορθωμένα αυτιά και το μη-κορδονωτό τρίχωμα. Η επίσημη αναγνώριση και των δύο φυλών έγινε το 1954 από την Διεθνή Κυνολογική Ομοσπονδία (FCI) .

Για αρκετά χρόνια, το Πούμι ήταν αρκετά δημοφιλές και ο πληθυσμός του αυξανόταν σταδιακά. Κατά τη διάρκεια του Β’ Παγκοσμίου Πολέμου, η έλλειψη τροφίμων και κτηνιατρικής φροντίδας είχε σημαντική επίπτωση στη μείωση του πληθυσμού της φυλής. Η συστηματική αναπαραγωγή ξεκίνησε πάλι μετά την Ουγγρική Επανάσταση του 1956. σκύλοι της φυλής εξήχθησαν για πρώτη φορά στη Φινλανδία το 1973 και στη Σουηδία το 1985 και στη συνέχεια στην Ιταλία, την Ολλανδία και τις ΗΠΑ στις αρχές της δεκαετίας του 1990.

Το 2016, η ουγγρική κυβέρνηση ονόμασε το Πούμι ως μία από τις οκτώ αυτόχθονες φυλές σκύλων, δημιούργησε μια τράπεζα γονιδίων (γενετικού υλικού) για να διαφυλάξει τα χαρακτηριστικά του και προχώρησε στην υποστήριξη των ουγγρικών εκτροφείων της φυλής.