4xx はクライアントエラーの区分です。リクエスト自体に問題があるという意味で、誤った URL（404）、構文の誤り（400）、権限不足（401・403）、リクエスト過多（429）などが含まれます。同じリクエストをそのまま送り直しても大抵は同じ結果になるため、リクエストを直す必要があります。
5xx はサーバーエラーの区分です。リクエストは有効だったがサーバーが処理に失敗したという意味で、内部例外（500）、上流の不良（502）、過負荷・メンテナンス（503）、ゲートウェイタイムアウト（504）などがあります。クライアントが直せる問題ではないため、サーバーのログとバックエンドの状態を確認する必要があります。
デバッグの順序でいうと、4xx が見えたらリクエストの URL・ヘッダー・本文・認証をまず点検し、5xx が見えたらサーバーのログ・上流・リソース使用量を確認するのが早道です。502・503・504 は大抵、リバースプロキシの背後にあるバックエンドの問題と関係します。