我11月21日在某中介定了一套二手房子，和中介签了合同并付了3000元定金，后来中介说房主不卖了，要我过去在我合同上写了“买方违约，合同作废”几个字，但签合同和写作废字样的不是同一人，并说过两天问房主要回定金后返还给我。我当时没看清字就走了。现在中介说合同上写着是我违约，不肯定退定金给我。请问：不是签合同的人在我合同上写这些字是否有效？我能否要求中介退回定金？