Ο Γκάους γεννήθηκε στο Μπράουνσβαϊχ (Braunschweig), στο τότε δουκάτο Brunswick-Lüneburg και σήμερα μέρος της Κάτω Σαξωνίας, στη Γερμανία. Οι γονείς του ήταν φτωχοί εργάτες και δεν είχαν άλλα παιδιά. Οι ιστορίες για την πρώιμη ιδιοφυΐα του ως μικρό παιδί είναι όλες αναπόδεικτες. Σύμφωνα με μία, το ταλέντο του πρωτοεμφανίσθηκε σε ηλικία τριών ετών, όταν διόρθωσε χωρίς χαρτί και μολύβι ένα λάθος που είχε κάνει ο πατέρας του στο χαρτί ενώ έκανε υπολογισμούς για τα οικονομικά της οικογένειας.
Η γνωστότερη ίσως ιστορία αφορά την απόπειρα του δασκάλου του στο δημοτικό, του J.G. Büttner, να απασχολήσει τους μαθητές του σε μια κενή ώρα βάζοντάς τους να προσθέσουν όλους τους ακεραίους από το 1 ως το 100. Ο μικρός Γκάους βρήκε το σωστό άθροισμα σε λιγότερο από 1 λεπτό, εκπλήσσοντας τόσο τον δάσκαλο όσο και τον βοηθό του Martin Bartels. Ο Γκάους αντιλήφθηκε ότι η πρόσθεση κατά ζεύγη από τις δύο άκρες αυτής της σειράς των αριθμών έδινε πάντα το ίδιο άθροισμα: 1 + 100 = 101, 2 + 99 = 101, 3 + 98 = 101, κ.ο.κ., οπότε για ένα ολικό άθροισμα 50 × 101 = 5050 (βλ. αριθμητική σειρά).