Тут что то дернуло посмотреть про выражение "сходить налево"

моя версия .. в европейских туалетах мужская дверь всегда левее женской ..
сходить налео сходить в туалет - изначачально

я так думаю