Ο Αντρέι Καρλόφ γεννήθηκε το 1954 στη Μόσχα και το 1976 αποφοίτησε από το Ινστιτούτο Διεθνών Σχέσεων της Μόσχας, ενώ την ίδια χρονιά ξεκίνησε την καριέρα του ως διπλωμάτης. Το 1992 αποφοίτησε από τη ρωσική Διπλωματική Ακαδημία. Εχει υπηρετήσει σε πολλές θέσεις για το υπουργείο Εξωτερικών της πρώην ΕΣΣΔ και της Ρωσίας.

Ειδικότερα, έχει υπηρετήσει στην πρεσβεία της πρώην ΕΣΣΔ στην Κορέα και στη συνέχεια της Ρωσίας, επί σειρά ετών και από διάφορες θέσεις. Αργότερα έχει υπηρετήσει στην κεντρική υπηρεσία του ρωσικού υπουργείου Εξωτερικών, ενώ ανέλαβε καθήκοντα καθήκοντα πρεσβευτή στην Τουρκία τον Ιούλιο του 2013. Ήταν παντρεμένος και πατέρας ενός αγοριού.