Κατά την περίοδο Edo (γύρω στο 1700) ένας πρωτόγονος τύπος Λειότριχου Φοξ Τερριέ (Smooth Fox Terrier) από την Ολλανδία έφτασε στο λιμάνι Ναγκασάκι της Ιαπωνίας. Αυτός ο σκύλος ζευγάρωσε με έναν μικρόσωμο ιαπωνικό ιθαγενή σκύλο, δημιουργώντας απογόνους τύπου τερριέ. Μετά από αρκετές γενιές, οι απόγονοι αυτών των μικρόσωμων τερριέ διασταυρώθηκαν με διάφορες φυλές, όπως το Μικρό Ιταλικό Λαγωνικό (Italian Greyhound), και μέχρι το 1900, προέκυψε ένα σκύλος γνωστός ως Κόμπε Τερριέ (Kobe Terrier). Πήρε το όνομά του από την πόλη Kobe, όπου αναπτύχθηκε, και έμοιαζε με μια μίξη Λειότριχου Φοξ Τερριέ και Ιαπωνικού Τερριέ. Παρόλο που οι σκύλοι διέφεραν μεταξύ τους σε μέγεθος και τύπο, ήταν η πρώτη φυλή τύπου τερριέ που αναπτύχθηκε ποτέ στην Ιαπωνία.

Τα Κόμπε υπήρξαν πολύ διαδεδομένα και αγαπητά από τους ντόπιους Ιάπωνες. Αρκετά χρόνια αργότερα, κατά την περίοδο Taisho (1916), σε μια κοντινή περιοχή, την Nada, γεννήθηκε ο Kuro-Go, ο ιδρυτικός σκύλος και γεννήτορας του σύγχρονου Ιαπωνικού Τερριέ. Ο Kuro ήταν αποτέλεσμα διασταύρωσης ενός Αγγλικού Τοϊ Τερριέ (English Toy Terrier) και του Μπουλ Τερριέ Μινιατούρα (Miniature Bull Terrier), που εκείνη την εποχή είχε διαφορετική μορφολογία από τη σύγχρονη φυλή. Ο Kuro-Go διασταυρώθηκε με Κόμπε Τερριέ, δημιουργώντας ένα μικρό κοντότριχο σκυλί που είχε μεγάλη ομοιότητα με το σημερινό Ιαπωνικό Τερριέ. Εν συνεχεία, κυρίως στη νομαρχία της Οσάκα, ξεκίνησε η επιλεκτική εκτροφή των απογόνων του και γύρω στο 1930 το Ιαπωνικό Τερριέ καθιερώθηκε επίσημα και συστάθηκε το πρώτο γραπτό πρότυπο φυλής.

Η φυλή υπήρξε κατά κύριο λόγο σύντροφος και μικρόσωμος φύλακας των Ιαπώνων, λόγω της ευγένειας και του ανεπτυγμένου έμφυτου προστατευτικού χαρακτήρα του. Σε αρκετές περιπτώσεις, σύμφωνα με καταγεγραμμένες πηγές, σκύλοι της φυλής χρησιμοποιήθηκαν στην διαχείριση και εξόντωση τρωκτικών και παρασίτων από λιμάνια, πλοία, κατοικίες και αποθήκες τροφίμων.

Μέχρι περίπου τη δεκαετία του 1940, τα Ιαπωνικά Τερριέ μπορούσαν να εντοπιστούν εύκολα στις περισσότερες μεγάλες πόλεις της Ιαπωνίας, ωστόσο όταν ξέσπασε ο Β’ Παγκόσμιος Πόλεμος και οι δυτικές φυλές έγιναν πιο δημοφιλείς, ο πληθυσμός του Ιαπωνικού Τερριέ μειώθηκε δραματικά. Η Διεθνής Κυνολογική Ομοσπονδία (FCI) αναγνώρισε τη φυλή το 1964 σε μία προσπάθεια διατήρησής της. Ωστόσο, μέχρι τη δεκαετία του 1980 η φυλή έφτασε στα πρόθυρα της εξαφάνισης. Μέχρι σήμερα ο πληθυσμός του Ιαπωνικού Τερριέ δεν έχει ανακάμψει πλήρως και πιστεύεται ότι υπάρχουν περίπου 500 με 600 σκυλιά παγκοσμίως, με τα περισσότερα να βρίσκονται στη γενέτειρά τους.