Могут ли забрать квартиру

Доброго времени суток. Я взял долг у физ лица, в нотариусе написал расписку. Но деньги физически не передовались, это были прошлые взаимозачеты. Теперь закончился срок на который брал деньги,он подал исковое заявление в суд. Могут ли у меня забрать единственное жилье,где прописаны двое несовершеннолетних детей, жена и старенькая мама?

Не могут.
Как нотариус заверил документ без передачи денег?