Για το κέικ: Καθαρίζουμε και κόβουμε τις γλυκοπατάτες σε κομμάτια. Κατόπιν, τις μεταφέρουμε σε μία κατσαρόλα, ρίχνουμε νερό, μέχρι να τις καλύψουμε και τις βράζουμε σε μέτρια φωτιά, μέχρι να μαλακώσουν.
Ύστερα, τις σουρώνουμε και τις αφήνουμε στο σουρωτήρι για να φύγει όλη η υγρασία.
Έπειτα, τις περνάμε από το multi και τις αφήνουμε στην άκρη.
Παράλληλα, αδειάζουμε σε ένα μπολ το αλεύρι, το baking powder, τη μαγειρική σόδα, το γαρύφαλλο, το μοσχοκάρυδο, το τζίντζερ, το αλάτι και τα ανακατεύουμε με ένα κουτάλι.
Στη συνέχεια, αδειάζουμε στον κάδο του μίξερ τις ζάχαρες μαζί με το βούτυρο και τα χτυπάμε με το σύρμα μέχρι να αφρατέψουν.
Αμέσως μετά, ρίχνουμε μέσα τα αυγά ένα-ένα (περιμένοντας να απορροφηθεί το πρώτο πριν ρίξουμε το επόμενο), τις γλυκοπατάτες και το εκχύλισμα βανίλιας χωρίς να σταματάμε το ανακάτεμα.
Έπειτα, ρίχνουμε το ξινόγαλο και το μείγμα με το αλεύρι εναλλάξ και σε δόσεις τελειώνοντας με το αλεύρι. Συνεχίζουμε το ανακάτεμα μέχρι να ομογενοποιηθούν πλήρως τα υλικά.
Κατόπιν, αδειάζουμε το παραπάνω μείγμα σε 2 στρογγυλές φόρμες για κέικ με αποσπώμενη βάση διαμέτρου 25 εκ., τις οποίες έχουμε στρώσει με λαδόκολλα, και ψήνουμε σε προθερμασμένο φούρνο στους 175°C στον αέρα για 40-45 λεπτά.
Τέλος, αφαιρούμε τα παντεσπάνια από το φούρνο, τα αφήνουμε να κρυώσουν ελαφρώς, ξεφορμάρουμε και τα αφήνουμε στην άκρη ώστε να κρυώσουν πλήρως.
Για το frosting: στον κάδο του μίξερ, ρίχνουμε το βούτυρο, το τυρί κρέμα και τα χτυπάμε με το φτερό σε μέτρια προς δυνατή ταχύτητα για 5 λεπτά μέχρι να αφρατέψουν.
Στην συνέχεια, προσθέτουμε την άχνη ζάχαρη σε δόσεις και συνεχίζουμε το χτύπημα μέχρι να ομογενοποιηθεί.
Μόλις είναι έτοιμο το frosting, το μεταφέρουμε σε μία σακούλα ζαχαροπλαστικής στην οποία έχουμε προσθέσει κατσαρή μύτη.
Για τη σύνθεση: Τοποθετούμε το ένα παντεσπάνι στο πιάτο που θα σερβίρουμε και απλώνουμε από πάνω ομοιόμορφα το μισό frosting. Κατόπιν, καλύπτουμε με το δεύτερο παντεσπάνι, απλώνουμε το υπόλοιπο frosting, πασπαλίζουμε με τα καρύδια, κόβουμε σε κομμάτια και σερβίρουμε.