世の中には遅延に適さないスクリプトもありますので、それに該当するかもしれません。

今回 @loos_ryo さんのプラグインなので将来的に調整が可能かもしれませんが、サイト上の全てのスクリプトを遅延するためにSWELLのスクリプト遅延機能が導入された訳ではないので、各々調整していただく事が重要です。

今回はHighlighting Code Block側の「行数を表示する」と「行数を表示しない」の座標計算ロジックが異なることで、要素に指定される本来の数値が異なって、本現象が起きているのではないかと存じています。

このような座標計算はページの様々な要素によって変わってくるため、開発者でも予測が困難で、ものによっては修正も困難であることも承知しております。

ましてや了さん以外の方が作ったスクリプトである場合はSWELLのために調整してもらうことは不可能なので、本現象のようにプラグインによる表示崩れが発生する場合は問題がない運用を探しておくことがセオリーだと考えています。
（ここはSWELLのフォーラムなので、了さんが作ったものであっても微妙なラインなのですが）

そのため、対応が難しい場合は「行数表示あり　data-line属性値あり」のパターンで運用しようと思っています。

ご報告ありがとうございます。気づいていなかったです...。

後日調べてみます。どうしても遅延読み込みとの相性が悪そうな場合は解説記事からも削除しておきます。

本件ですが、PrismJSの処理に起因する不具合である可能性があることが分かったため、Highlighting Code Block側での対処も難しいかもしれません。

お昼休みと少しの時間を使ってちょっとだけ処理を追ってみましたが、Highlighting Code Block内部に含まれるprism.jsの以下の記述が原因であることを突き止めました。（圧縮されたコードなので目で追うのは無理です）

h.style.top=(m-a-1)*d+"px",

上記を下記に修正すると、本件の事象が直りました。

h.style.top=(m-a-1)*(d*(u?1:1.5))+"px",

prism.jsの中身を書き換えることになりますので、Highlighting Code Blockのアップデートがあったタイミングで上書きされることを考えると、このカスタマイズは行うべきではありません。

Highlighting Code Block内部に含まれるprism.jsと、PrismJSプロジェクト内にある現在の処理を見てみると、該当の計算処理に変更が入っているようですので、もしかするとprism.jsをアップデートすると直ったりするのかもしれません。

https://github.com/PrismJS/prism/blob/master/plugins/line-highlight/prism-line-highlight.js#L193

もしそれでも直らなかった場合、せっかくなのでPrismJSにPull Requestを送ってみようと思っています。
PrismJSの不具合であるか否かは確信が持てないため、聞き入れてもらえるかは分かりませんが……。

Prism.jsをプロジェクトで採用したことがないため仕様がよく分かっておらず、私はHighlighting Code Block内のprism.jsを正しくアップデートすることができません。
大変お手数ですが、ご確認をお願いできませんでしょうか？

なお現在、サイトで読み込まれるのは上記の修正を行ったスクリプトになっています。
ご承知おきください。

本件ですが、Highlighting Code Block 1.5.5で修正されたことを確認しました。

お忙しい中、ご対応ありがとうございました！