残念ながらゲイは男女のカップルのような制度的な結び付きが薄い分、決まった相手がいても他でセックスする人は非常に多く、貴方のようなしっかりした貞操観念の人の方が少数派かもしれません。
かといって彼氏さんがしていることは正当化されることではありませんし、そういった性向の人が貴方だけになるという可能性は低いです。
貴方が女性を愛せるし彼氏以外の同性に興味がないのだったらカテゴライズするなら貴方はバイか彼氏さんだけを例外的に好きになったノンケです。
正直に話し合って貴方の価値観と彼氏さんの価値観が相容れられないならこのまま交際を続けても不幸になるだけです。
彼氏さんと別れてノンケ生活に戻られた方が建設的かと思いますし、万一彼氏さんが貴方に思うところがあるならヨリを戻したがって来るでしょう。なんたってノンケだった貴方を彼氏にするくらい本気だったんですから。
あと、貴方との性生活に満足していない可能性。この場合は貴方にセックスの上達が必要になるかと思いますし、貴方がもともとノンケであるなら彼氏さんは遠慮しててなかなか本気でセックスが出来ず、常に不完全燃焼だったりするのかもしれません。
この場合は貴方の頑張り次第では彼氏の浮気は減っていくかもしれませんよ(ゼロにはならないと思うけど)