Mit Deinem Hintergrund ist es auch nicht einfach. Aber vielleicht verstehst Du dann sofort, dass so ein Außenflirt eine Erholsamkeit vom Alltag ist und man sich dann wieder als erotisches Wesen fühlen kann, ohne dass man sofort dran denkt, das Leben zu ändern.
Sieht für mich ein bisschen so aus, als wäre es ein Tunnelblick. Der Kollege ist das Licht am Ende des Tunnels, aber sicher nicht der richtige Mann, um einen Neustart in eine glückliche Beziehung zu machen. In solchen Situationen, also Feststecken in einer belastenden Beziehung, wird meist nur auf EINE Sache geguckt, wenn man sich nach außen verliebt. Z.B. die Frau, die von ihrem Mann schon lange keine Aufmerksamkeit kriegt, guckt nur auf die charmanten Komplimente und die roten Rosen eines Kavaliers, mit dem aber nie eine solide Beziehung möglich wäre. Es sieht dann nur so aus und dieser Kavalier "löst" die Frau aus der alten Beziehung. Aber wenn sie versucht, das ganze zu leben, sieht sie erstmal die ganzen Eigenschaften, die sie bei einem Mann nicht haben will, wenn er ihr Partner sein soll.
Im Grunde hast Du nun auch Ablenkung aus Deiner Beziehung, aber nimmst das ernster, was da abgeht zwischen Dir und dem Kollegen. Ein Kind zu Hause haben und sich drum kümmern sollen in einer ansonsten intakten Beziehung, ist ja was ganz anderes als das, was Du lebst.
Wenn Dein Kollege weiß, dass Du verheiratet bist, wovon ich ausgehe, fühlt er sich ja noch sicherer, dass Du nicht ernst machst. Obwohl eine Affäre drin wäre. Er will aber bestimmt nicht verantwortlich sein, dass Du Deine Ehe beendest und dann von ihm verlangst, das auch zu tun, oder irgendwie Stress machst.
Aber ich bleibe dabei, dass er keine Freundschaft mit Dir will, weil er so mit Deinen Gefühlen umgeht. Und ich denke weiterhin, dass er sich Dir gegenüber seiner Ansicht nach respektlos verhalten darf. Nicht nur wegen sexueller Zweideutigkeiten, sondern auch, weil er Dich dann wieder so distanziert behandelt. Das machen nur Leute, die sich "über Dir" fühlen - erst anmachen und dann die kalte Schulter zeigen, weil Du sie danach trotzdem immer noch mögen wirst und sie das wissen.
Er hat keine Angst davor, dass Du ihn blöde findest mit seinem Anfütter-Hau-ab-Verhalten, er weiß oder denkt, Du kommst immer wieder an, oder es ist ihm egal, wenn nicht und die Schreiberei ein Ende hat.
Das tun nur Leute, die ihr Leben nicht ändern wollen. Z.B. auch diese offensichtlichen Flirter, die in die Vollen gehen und cool und voller Selbstvertrauen wirken, weil sie zu Hause ihre Frau sitzen haben und gar nicht drauf angewiesen sind, eine neue Frau für sich zu gewinnen.
Das alles bedeutet für mich, dass er weder Dich noch die ganze Sache ernst nimmt.