你可以考虑以下几种方式来委婉地拒绝：

1. 解释原因：告诉他你不想让他到你住处的原因，可能是你希望保持一定的距离，或者你还没有准备好让他了解你的私人空间。确保你的解释是合理且尊重对方的。

2. 提出其他地点：你可以建议在其他公共场所见面，例如咖啡馆或公园，而不是到你住处。这可以尊重你的个人空间，同时也能保持你们之间的互动。

3. 表达你的时间：你可以告诉他你更愿意在特定的时间见面，而不是在他有空的时候到你的住处。这可以让他明白你对时间的安排有更多的控制权。

4. 求助他人：如果你信任的朋友或家人，可以让他们在中间帮忙。如果男朋友希望你到你的住处，他们可以以其他方式支持你，比如邀请你们一起共进晚餐或其他活动。

重要的是要确保你的决定是基于尊重和自我保护。你无需因为和他在一起而感到不安全而迁就他到你的住处，你们应该共同构建相互尊重和互相支持的关系。如果感到压力或不安，不要犹豫寻求支持。