Могут ли расторгнуть договор займа по данному основанию?

Могут ли расторгнуть договор займа по данному основанию? Наш бывший директор подал на наше ООО в суд. Дело в том что он(как физ. лицо), будучи директором заключил договор займа. Теперь требует вернуть деньги в связи с тем что его уволили, а заключая договор займа он это не предполагал(ст.451ГК). Деньги, которые он нам передал он получил в банке(т.е они тоже являются заемными), а мы же до сих пор за него платим кредит с процентами.. Стоит ли с ним судиться на какой закон ссылаться..? Проблема в том что если мы ему выплатим эти деньги, нам тяжело будет расплачиваться с работниками...(сумма то немаленькая)...спасибо.