婚外情双双有家庭，求解脱。

两年前和一个同事在一起了（有发生性关系）
而我们2个人都已经结婚生子，
我们在一起很开心，可是只有3个月吧
他老婆的家人突然去世了，
他不得不离开我去尽孝，我知道他不得不去，
可是这种被人忽略和扔下的感觉很惨很难过，
偏偏这几天我发现我自己怀孕了（二胎，我老公的）
我就借此机会，想跟他分清一下，
于是狠心不理他，中间也一直只是以同事的身份在相处，
后来我生孩子休产假，我们半年没有怎么联系。
这段时间，其实我一直很想他找我，
而他也告诉过我，他很想我
去年年中，休完假回来上班，
慢慢的我们又回到了比较亲密的关系，也有一次发生了性关系
可是，他老婆身体有点小毛病，他又不得不去陪她住院什么的，
我就一直觉得他又一次扔下了我……
可是，这次我懂，我知道他身不由已，
而我也被他哄回来了，我真的挺有耐心哄我的。
但是，每每一涉及到他老婆孩子的问题，
我就很不开心，
甚至觉得他和她老婆亲密接触我也很难受，
可是我又不得不接受。
前两天，他送他老婆孩子回家，但是他骗我没有～
可是，偶然的机会，我知道他有，
后来他也承认他骗我是因为在乎我～
可是我就是觉得他怎么老爱骗我，
真的很难受。
我知道婚外情不应该，可是我又沉迷于和他的某些开心时刻，我也很喜欢他对我的温柔与耐心，可是有些时候他真的很爱骗我，我也又非常在意他的家庭孩子，但我也知道，这样的关系没有结果，以及只要出事了，他一定会维护他的家庭。
我想结束，可是好像有点难。
求助