「残業代は1ヵ月につき20時間分までしか払わない」
などというルールを定め、残業代を支払わない会社

もちろん、違法です。
この場合も強行法規にあたる労働基準法に則り、
その旨の説明を受けていたとしても、そのルールは、原則、無効に。