Flying ScriptsはSWELL実装時に同プラグインが欠けている部分調査した経緯もあるのでSWELLの最新バージョン（JS遅延機能実装後）は使用しないでください。（外部プラグインに関するご質問は対象外となってしまいます。）

サーバーキャッシュは適切に管理（更新）されているか？

遅延秒数はどうなっているのか？

を確認してください。不具合として報告されてますが、私が手掛けたSWELLの高速化設定では対象のスクリプトは正常に遅延できております。

高速化を調整していただくのは良いと思いますが（具体的な内容はスキルシェアさんの回答をご参照ください）、2点気になる点がありました。

1. luminous.min.js を遅延読み込みさせようとしていますが、
https://users.swell-theme.com/forum/postid/4662/
の投稿内の指摘にあるような、不具合が起きる可能性があります。
非常に僅かな事象ですが、画像が拡大できなくなる挙動が実際に確認できました。
別の問題を引き起こす可能性がある設定内容なので、ご自身でしっかり確認されながら設定してください。

2. luminous.min.js と、 set_luminous.min.js を2つ書く必要はありません。
あくまで「遅延読み込み対象にするスクリプトのキーワード」ですので、
言葉通りにとり、 luminous.min.js というキーワードが含まれるスクリプトを遅延読み込みするということです。

文中の対象スクリプトはTwitterのスクリプトを指します。私はSWELL固有のスクリプトは普段遅延しません。特にそれがSEOに影響するCore Web Vitalsに影響しないためです。

@skillsharejp

投稿者:: @skillsharejp

サーバーキャッシュは適切に管理（更新）されているか？

遅延秒数はどうなっているのか？

ご回答ありがとうございます。

エックスサーバー内で「サーバーキャッシュ」を稼働させています。また、遅延秒数は4秒に設定しています。

投稿者:: @96ssbike

2. luminous.min.js と、 set_luminous.min.js を2つ書く必要はありません。

ご回答ありがとうございます。

luminous.min.js は特に問題となっていなかったので、設定から除外させていただきました。

【追記】

ツイッターを埋め込むと極端にページ速度が低下してしまいます。もし、同様の問題で解決した方がいれば、教えていただけると助かります。

よろしくお願いします。

投稿者:: @r-tasa77

ツイッターを埋め込むと極端にページ速度が低下してしまいます。

これは当然です。WPの問題というよりTwitterウィジェットと配信方法の設計の問題です。

1. サイトの読込をしっかりと確認する
2. キーワード記載を工夫してみる。例えばtwitterでもtwitter.comでも開発者ツールのネットワークやWebPageTest等の読込を確認できるツールにマッチしていれば遅延されます。
3. 共通キーワードを重複記載しても問題ないはずですが重複する必要はないです。

具体的なURL提示がありませんので間接的なアドバイスが限界ですが、基本的にユーザー側の設定に関わる問題かと思われます。