Покрај ненадминливите дела кои ги оставил зад себе, останал запаметен и како „тежок“ човек. Неговиот карактер многу влијаел на неговиот однос со сопругата Милева Мариќ, која ја занемарила својата научна работа поради семејството и неговата кариера.

Алберт и 4 години постарата Милева се запознале за време на студирањето. Во тоа време Мариќ важела за многу перспективен студент со одлични предиспозиции за голема научна кариера.

Од друга страна, Ајнштајн бил многу тивок, асоцијален, речиси секогаш седел сам. Со оглед на тоа што биле сосема различни, луѓето се прашувале како воопшто се вљубиле еден во друг. Милева пред да дипломира забременила и ја родила вонбрачната ќерка Лизерл. Непосредно пред нејзината венчавка со научникот, детето заболело од шарлах и оттогаш се води како исчезната. Не е познато дали починала како последица на болеста, или пак била дадена на посвојување.

Судбоносното „да“ тие го кажале во Берн на 6 јануари 1903 година. Меѓутоа, мајката на Ајнштајн воопшто не ја сакала Милева, ниту пак се трудела да ја скрие својата нетрпеливост. Ѝ пречела разликата во годините тоа што нејзината снаа ја задржала православната вера и што едната нога ѝ била пократка. Иако ѝ подарила две внучиња, таа никогаш не ја прифатила, туку сè повеќе влијаела на нејзиниот син да ја остави.

Се чини дека нивниот брак бил во криза од самиот почеток, со наизменично добри и лоши периоди. Алберт не бил многу посветен на своето семејство. 6 дена во неделата ги поминувал во заводот за патенти, посветувајќи го своето време на физиката. Исто така сè почесто бил со својата љубовница, која воедно била и негова братучетка, Елза Ловентал.

После една од жестоките расправии со сопругата, Алберт направил „список на правила“, кои очекувал Милева да ги почитува. Списокот на „барања“ е откриен во едно од писмата на Алберт до Милева, а објавено е во биографијата „Ајнштајн – неговиот живот и универзум“.

Албертовите брачни правила за Милева:

Дел I

Ќе се грижиш за следново:

-  Мојата облека и постелнина секогаш се одржуваат во ред
 - Редовно да примам три оброци
 - Мојата спална и работна соба да бидат уредни, а бирото да се користи само за моите потреби.

ДЕЛ II

Ќе се откажеш од сите лични работи со мене, освен ако тие не се неопходни од социјални причини. Поточно, ќе се откажеш од:

- Заедничко седење во куќата
- Заеднички излегувања и патувања.

ДЕЛ III

Ќе ги почитуваш следниве правила во врска со мене:

- Нема да очекуваш никаква интимност од мене, ниту пак ќе ми преговараш за тоа
- ќе престанеш да разговараш со мене, доколку го побарам тоа
- ќе ја напуштиш мојата спална соба во истиот момент кога ќе го изговорам тоа, без никаков бунт.

ДЕЛ IV

Се обврзуваш дека нема да ме омаловажуваш пред нашите деца ниту со зборови, ниту со однесување, пишувал „Историски забавник“.

После долги години толерирање на невозможниот карактер на Ајнштајн, Милева се одлучила да стави крај на нивниот брак во јули 1914 година, само еден ден пред почетокот на Првата светска војна. Со децата заминала за Цирих. Две години подоцна, Алберт побарал развод и официјално се развеле на 14 февруари 1919 година. Само по неколку месеци, научникот се оженил со својата долгогодишна љубовница Елза.