Zum Teil, klar. Warum auch nicht. Liebe ist etwas emotionales, Sex etwas körperliches. Dazu mag es abweichende Meinungen geben, aber pragmatisch betrachtet sind das zwei verschiedene Paar Schuhe.
Warum dann also zum Teil?
Erstens natürlich, weil Sex im Kopf massiv an Qualität gewinnt oder verliert und somit mit dem "mit genau dieser Frau"-Aspekt korreliert. Das rein Körperliche ist ungefähr so spannend wie (Verzeihung

Kacken gehen. Die Analogie ist bezeichnend: Wenn der Druck da ist quält es unheimlich und man will unbedingt. Hinterher ist alles irgendwie "rückblickend unspektakulär".
Zum anderen kann ich (persönlich) Sex nicht absolut von Gefühlen trennen, da ich, wenn ich Gefühle für eine Frau habe, nicht mit anderen Sex habe. Das kann ich weder mit meiner Ehre, noch mit meinem Gewissen vereinbaren.
Sollte ich allerdings "emotional unbelastet" sein, gilt, was viele Männer mit einem Schulterzucken abnicken: Loch ist Loch.