Karjeros pradžioje jį lydėjo jo pirmoji žmona, padavėja Melissa Womer ir jų dukra Jane Erin Carrey. Kai mažylė gimė, Jimui buvo vos 25-eri, tad augdama turėjo išgyventi labai daug. Jos tėvai po aštuonerių metų išsiskyrė, o tėtis po metų susirado kitą mylimąją.
Jimą ilgus metus taip pat kankino depresija, todėl artimiesiems teko išgyventi jo nervinius priepuolius ir pykčio audras. Vis dėlto, kad ir kas benutiktų, Jane su savo tėčiu iki šiol lieka geriausi draugai. Dabar Jane – 29-erių aktorė, taip pat bandanti sėkmę įvairiuose muzikiniuose projektuose. Ji dalyvavo projekte „American Idols“, o ją visomis išgalėmis palaikė ir tėtis.
Vis dėlto Jane projekte nepasisekė ir dar turėjo atlaikyti didelę kritikos dozę. Ji po tėčio mirties gali gauti 150 milijonų palikimą, todėl pikti žmonės teigė, kad ji neturėtų atimti kitų laimės ir galimybės pelnyti didelį finansinį prizą. Visgi Jane visada žinojo pinigų vertę, nes net šešerius metus dirbo padavėja.
Ir nors Jane gali pasigirti nuostabiu tėčiu, jos asmeninis gyvenimas nenusisekė. Po vienuolikos mėnesių ji išsiskyrė su savo pirmuoju vyru, o dabar bendra globa rūpinasi sūnumi.
