首先房子是可以拿回的。属于你的房子你有处置权，用来做什么，给谁住都是你可以决定的事，这本身没有问题。问题在于下面几个方面?
一是房产属于谁?这是权利的基础，离婚通常是协议离婚或判决离婚。协议离婚通常对于财产归属是有安排的，双方也都同意，你们只要按协议执行即可。如果是判决离婚，对房产的归属法院已经进行过划分和判决，可以根据相关判决办理过户，确认房屋权属。在有的情况下，房产不便分割可能双方各占一部分，各自使用自己的部分;也可能补偿对方相应部分房款后一方取得房屋全部产权。
二是房屋怎么使用?房屋使用属于是房主的处置权和收益权，如果你们离婚时协议或判决对房屋的使用有安排应按协议履行，如果没有安排，给予对方一个合理的腾退期后即可要求对方搬离。
三是对方不履行协议或不配合怎么办?如果有协议或判决，至一定期限后对方应当搬离而未搬离，双方可以协商处理，协商不成可以诉至法院要求排除妨碍，或申请法院执行。
