Продавец отказался от продажи дома и соглашается вернуть только задаток без неустойки, ссылаясь на то что он инвалид.?

Именно для того, чтоб не возникали такие ситуации, и заключаются предварительные договора купли-продажи недвижимости, в которых оговариваются все нюансы финансовых взаимоотношений в том числе и при отказе от совершения сделки одной из сторон. Если же предварительного договора купли-продажи составлено не было, то руководствуются ст. 381 ГК РФ "Последствия прекращения и неисполнения обязательства, обеспеченного задатком" 1. При прекращении обязательства до начала его исполнения по соглашению сторон либо вследствие невозможности исполнения (статья 416) задаток должен быть возвращен. 2. Если за неисполнение договора ответственна сторона, давшая задаток, он остается у другой стороны. Если за неисполнение договора ответственна сторона, получившая задаток, она обязана уплатить другой стороне двойную сумму задатка. Сверх того, сторона, ответственная за неисполнение договора, обязана возместить другой стороне убытки с зачетом суммы задатка, если в договоре не предусмотрено иное. Собственно, исходя из положений этой статьи, Вы имеете право в судебном порядке потребовать еще и компенсации понесенных Вами убытков. А инвалидность в этом случае - ни при чем.