我很烦，怎么样做到才可以离开他

爱上了一个有家庭的男人，口口声声说爱我，以后给我一个家。6月2号打了第四个小孩，感觉他这几天变的很快，在我面前一直在乎他老婆，上周星期五，星期六，说好让他陪二天，星期六晚上他找了借口回去，我没让他回去，我也没有逼他。反正那晚他很不耐烦得，他说，他爸妈等他。其实我知道是借口，因为他爸妈没有打他电话。我也不知道他那天为什么急着回去，最后没有回去。那晚他一晚没有睡觉。早上五点半起床说回去了。我哭了，拦他说晚点走，我只想跟他说话。他就发火了，他说我跟你之间很累。你让我感觉到很怕。我也不懂他在想什么，我现在应该怎么办，怎么做到忘记他？他说，就因为狠不了这个心