伊藤の女好きは当時から非常に有名であり、あまりの好色ぶりに明治天皇から直々に注意を受けたという逸話がある。