Người ta kể lại rằng thời thơ bé, Einstein nổi tiếng không phải vì trí thông minh mà là sự khờ khạo, ngốc nghếch, nhút nhát cộng với chứng khó đọc là căn cứ khiến người ta nghi ngờ cho cậu bé mắc chứng tự kỷ hoặc tâm thần phân liệt. Trong hồi ký về gia đình được em gái của Einstein, bà Maja công bố vào năm 1924 miêu tả nhà khoa học vĩ đại là cậu bé điềm tĩnh, mơ mộng, chậm chạp nhưng tự tin. Vì con trai quá chậm nói, cha mẹ của Einstein, vốn là những người rất kỳ vọng vào con trai đã phải mang cậu đi khám và hỏi ý kiến bác sĩ. Kết luận cuối cùng là Einstein chẳng gặp vấn đề nào cả.

Einstein thời thơ ấu bên bố, ông Hermann Einstein và mẹ, bà Pauline Einstein

Năm 7 tuổi, vì thói quen nói lắp, Einstein bị chế giễu là một đứa trẻ thiểu năng. Ở trường học, cậu thường khiến các giáo viên tức giận vì câm như hến hoặc trả lời rất chậm chạp câu hỏi của họ. Sự lơ đãng, không ưa phong cách giảng dạy bó buộc của trường học khiến Einstein như một kẻ lạ trong lớp. Tuy nhiên, vào học kỳ cuối cùng của năm học đầu tiên, kết quả học tập của Einstein đứng đầu lớp và điều này khiến người mẹ hết sức tự hào. Dù vậy, các giáo viên vẫn không mấy ưa cậu học trò kỳ cục vì cá tính, tư duy không giống ai. Họ cho rằng rồi cậu sẽ chẳng làm nên trò trống gì với sự độc đoán của mình.

Âm nhạc có lẽ là cứu cánh duy nhất, cánh cổng mở vào tâm hồn sâu kín và cảm xúc của nhà khoa học thiên tài

Trước khi "trượt vỏ chuối" trong kỳ thi vào Đại học Bách khoa Zurich (Thụy Sĩ) do khiếm khuyết trong cách diễn đạt, Einstein từng cố học tiếng Do Thái, tiếng Pháp nhưng không thể, khó viết tiếng Anh vì mù tịt chính tả. Rút cục đến cuối đời, nhà khoa học đại tài chỉ biết mỗi tiếng Đức mẹ đẻ. Người ta đành tặc lưỡi rằng có lẽ năng khiếu vượt trội ở lĩnh vực vật lý đã hạn chế khả năng ngôn ngữ của Einstein và sở dĩ ông ít nói vì rất khó để tìm cách diễn đạt đúng ý mình. Tuy nhiên, theo các nhà nghiên cứu, Einstein không hề mắc chứng khó đọc vì vấn đề từ thần kinh vì ông vẫn nói lưu loát tiếng Đức và diễn thuyết thông thạo và chính xác mọi vấn đề bằng một kho hiểu biết hiếm có.

Một số người kết luận có thể Einstein đã mắc chứng tự kỷ thể nhẹ hay rối loạn phát triển gọi là hội chứng Asperger. Biểu hiện của hội chứng này là cố gắng tách biệt với xã hội, tương tác quan hệ với mọi người, thiếu đi sự đồng cảm, vụng về, khó khăn khi giao tiếp khác ngôn ngữ, nói lắp, rập khuôn…

Einstein chưa bao giờ cảm thấy thoải mái khi bắt buộc phải phát biểu trước công chúng hay hòa nhập chỗ đông người

Nếu có dịp, Einstein thường thực hiện những cuộc trốn chạy và thưởng thức nỗi cô đơn khi dong buồm ra khơi hoặc lặng lẽ biến mất. Tuy nhiên, là một con người của công chúng, những ràng buộc với xã hội khiến nhà khoa học hiếm khi được tận hưởng những khoảnh khắc riêng tư. Mặc dù bị mang ra đùa vui vì tật đãng trí, chối từ danh lợi nhưng Einstein không mắc bệnh. Tư duy độc lập của ông là nhờ nền giáo dục tiên tiến của hai bậc sinh thành từ thời thơ ấu, với người mẹ luôn khuyến khích và một người cha biết ôn tồn an ủi, luôn tạo điều kiện để con trai phát triển nhân cách.

Nếu có dịp, Einstein thường thực hiện những cuộc trốn chạy và thưởng thức nỗi cô đơn khi dong buồm ra khơi hoặc lặng lẽ biến mất

Cũng trong ký ức của bà Maja về anh trai, thời thơ ấu, Einstein đã ít quan tâm tới các trò chơi vui nhộn cũng như bạn bè của mình, chỉ thích các kỹ năng khó khăn, đọc sách hoặc chơi violin. Thực tế, Einstein chưa bao giờ cảm thấy thoải mái khi bắt buộc phải phát biểu trước công chúng hay hòa nhập chỗ đông người, một loại “ám ảnh xã hội”. Cuốn hút phụ nữ và có nhiều bạn bè nhưng Einstein vẫn là một “con sói đơn độc”. “Toàn bộ trái tim tôi không bao giờ thuộc về đất nước tôi, nhà của tôi, bạn bè của tôi, hoặc thậm chí gia đình vẫn hiện hữu hàng ngày”, Einstein từng nói. Âm nhạc có lẽ là cánh cổng duy nhất đi vào tâm hồn sâu kín và cảm xúc của nhà khoa học thiên tài, nơi ẩn tránh những va đập tầm thường của xã hội loài người.