何を基準に「浮気」と定義するかだと思います。
付き合っている恋人以外と関係を持つ事と定義するなら
ノンケが風俗に行くのも浮気だし、
オナニーもプチ浮気になりますよね。
恋人以外の男の体を想像しながら行うのですから。
だからと言って、貴方や彼も相手に対してオナニーをするなと言えますか?
あくまでも極論ですが。
「浮気」をして罪悪感を感じるなら辞めるように努めるべきであり、
どうしても辞められないのであれば、貴方の中でルールを決めたらどうでしょう。
例えば
・浮気をしたらペナルティーとして恋人にプレゼントを買う。
お金がもったいないと思えば辞めるだろうし、それでもしたいと思えば
風俗に行くための出資と開き直り、罪悪感は無くなるでしょう。
・浮気相手に恋人がいる事を告げ、恋に発展しない事を納得して貰った上で
関係をもつ。
あくまでもオナニーの延長線であると認識し、一線を引くため。
そして最低限のルールとして
病気に気を付ける(毛じらみ・疥癬・エイズ・梅毒・淋病etc)
浮気相手より恋人を優先した付き合いをする。
恋人との約束をドタキャンして浮気相手と会う事は駄目だと認識する。
などです。
あくまでも貴方の心の問題です。
自分の心を整理してみてはどうでしょう。