文字・テキスト

テキスト行の重複削除・並び替え

貼り付けたテキストを1行ずつ処理し、重複行の削除・空行の除去・前後の空白のトリム・並び替え(文字コード順/辞書順/数値順)をブラウザ内で即時に行います。

0 行 → 0 行

使い方

  1. 上の欄に、1行1項目になっているテキスト (URL のリスト、タグの一覧、CSV の1列など) を貼り付けます。
  2. 「前後の空白を削除する」「空行を除去する」「重複行を削除する」をチェックボックスで切り替え、必要な並び替え方法をプルダウンから選びます。
  3. 下の結果欄に処理後のテキストが即時に表示されます。結果欄はそのまま選択してコピーできます。入力・処理ともにブラウザ内のみで完結し、外部には送信されません。

計算の根拠

重複削除は、各行の文字列を先頭から順に調べ、Set で「すでに出現した文字列」を記録しながら、同じ文字列が再度現れた行だけを取り除く処理です。比較は文字列の完全一致 (大文字・小文字や全角・半角も区別) で行います。

並び替えのうち「文字コード順」は、各行を Unicode のコードポイント (絵文字などのサロゲートペアも1文字として数える単位) の配列に変換し、先頭から数値として比較する方式です。「辞書順」は ECMAScript 国際化 API 仕様 (ECMA-402) が定める Intl.Collator を使い、Unicode コンソーシアムの UTS #10: Unicode Collation Algorithm に基づく「言語ごとの自然な並び順」(日本語ロケールでは、かな・カナ・漢字の読みに近い順序を含む) で比較します。単純なコード順では「あ」「ア」「ア」のような表記の違いが期待通りに並ばないことがありますが、辞書順ではこれらが近い位置に並びます。「数値として比較」は Intl.Collator の numeric: true オプションを使い、“item2” の次に “item10” が来るように、行頭の数字部分を文字列ではなく数値として比較します (単純な文字コード順では “item10” が “item2” より先に来てしまいます)。空行の除去・前後の空白のトリムは、JavaScript の String.prototype.trim() が除去対象とする Unicode の空白文字 (スペース・タブなど) の定義に従います。

よくある用途

場面 使い方の例
CSV や設定ファイルの重複行チェック 重複削除をオンにして、取り除かれた行数 (元の行数との差) を確認する
URL やタグの一覧整理 空行除去 + 辞書順ソートで見やすく並べ替える
ファイル名の連番順ソート 「数値として比較」を選び、“file2.txt” の次に “file10.txt” が来るようにする
複数人から集めたリストの統合 貼り付けて結合し、重複削除 + 辞書順で1つのリストにまとめる

処理内容を変えると結果欄がその場で更新されるため、設定を変えながら見た目で確認できます。

関連ツール

公開: 2026-11-15