我是一個新落戶的，經人介紹撫養(yǎng)一個殘疾人王某，10年了，新房子蓋好了。如今王某的侄子想要撫養(yǎng)王某，在我不知道的情況下與王某的妹妹私下簽訂撫養(yǎng)協議。現在王某的侄子與妹妹要我解除撫養(yǎng)權利，并歸還王某的舊房子。在法律上，我應該怎么辦？