这种情况可能有多种可能的解释，以下是一些可能的因素：

1. 社交焦虑：您可能感到不自信或担心在社交场合中受到评价或排斥，因此对于别人邀请您去吃饭可能会感到不舒服或不愿意去。

2. 偏好独处：有些人更喜欢独自用餐或者在家中用餐，而不是和其他人一起外出用餐。您可能更喜欢独处，因此不愿意参加别人的聚餐。

3. 不想打扰别人的聚会：有时候，您可能不想打扰别人的聚会，因为您不想成为别人眼中的干扰者或闯入者。您可能觉得您不在场对别人更有好处，因为他们可以更自由地享受聚会的氛围。

4. 不想和某些人一起用餐：您可能不想和某些人一起用餐，因此当这些人邀请您去吃饭时，您可能会找借口拒绝。

无论是什么原因，如果您不想参加聚餐，可以尝试向邀请者解释您的原因，或者礼貌地拒绝邀请。重要的是要尊重自己的感受，并且不要让自己感到被迫去做自己不愿意做的事情。