年: 2021年

ブロックリスト自動生成その3（素人のサーバー管理）

投稿日コメントをどうぞ

自動生成プログラムの機能はオプション‘-h’を付けると確認することが出来る。この辺は普通のコマンドラインプログラムっぽく作ってみました。

root@xxx:~# blockset.py -h
usage: blockset.py [-h] [-n] [-f] [-d] [-u] [-o MASK,COUNT] [-c COUNT] [-a ADDRESS] [logfile]

blockset.py collection of unauthorized access list and restart firewall(ufw)

positional arguments:
  logfile               input log file default:/var/log/mail.log

optional arguments:
  -h, --help            show this help message and exit
  -n, --none            Check only mode.
  -f, --force           bloclist force update, unless new record.
  -d, --debug           debug print mode
  -u, --update          blocklist update and restart firewall(ufw)
  -o MASK,COUNT, --orderck MASK,COUNT
                        ipset order ckeck
  -c COUNT, --count COUNT
                        abuse count
  -a ADDRESS, --address ADDRESS
                        individually address entry to blacklist
root@xxx:~#
  • -h(–help)
    ヘルプの表示、引数やコマンドラインオプション説明
  • -n(–none)
    ログファイルの検査のみで何もしない
  • -f(–foce)
    ログの検査で不正アクセスが無かった場合でも、ファイヤーウォール設定ファイルへのブロックリスト追加を続行する（ネットマスクによるリスト整理時に使用する）
  • -u(–upadte)
    ファイヤーウォール設定ファイルの更新とプロセスリスタートを行う
  • -o MASK,COUNT (–oderck MASK,COUNT)
    ブロックリストを再検査し、指定したマスクビットにてグループ化して、一定数以上のものをリストアップする。-fオプションで該当アドレスをマスクビットでまとめてファイヤーウォール設定ファイルを更新する、ファイヤーウォールの再起動には-uオプションを併用する
  • -c N(–count N)
    検査対象ログにて不正アクセスがN回以上あった場合にリストアップする
  • -a ADDRESS(–address ADDRESS)
    IPアドレスを直接指定して登録する、ログ検査と併用する仕様上、便宜的に100回不正アクセスがあったことにしている
続きを読む…

ブロックリスト自動生成その2（素人のサーバー管理）

投稿日コメントをどうぞ

手動起動によるメンテナンス機能をまとめると（順不同）

  1. 指定した（規定の）ログファイルを検索して不正アクセスのパターンにマッチしたIPアドレスを収集する
  2. 規定回数（例：5回）以上の不正アクセスが確認できたIPアドレスをリスト化
  3. 現行ブロックリスト（ufwの場合：/etc/ufw/before.rules）より現行のブロックリストを読み出し、新しく検出したIPアドレスリストを重複しないようにマージ（基本的には重複しないはず）
  4. オプション機能としてブロックリストの整理ーアクセスの多いIPアドレスのノードを指定幅ネットマスクでまとめる
  5. 新しいブロックリストを更新し、ファイヤーウォールを再起動　ー　オプション：基本的には確認のみ

ipv4adrsetクラス

1のIPアドレスのパターンマッチは普通に正規表現と比較だけですむが、ブロックリストにはネットマスクでグループ化した形式（xxx.yyy.zzz.0/24）などに指定アドレスが含まれるかどうかの判定も必要になる。おそらく便利なライブラリがあるとは思うが、ここは勉強を兼ねてクラスを作成した

class ipv4adrset:
    def __init__(self):
        self.ips = []
        self.msk = 32
    def __init__(self, line = None):
        self.set_line(line)

    def set_line(self, line):
        if line is None:
            self.ips = []
            self.msk = 32
        else:
            res = re.match('^([0-9\.]+)\/([0-9]+)$', line)
            (ip, msk0) = (res.group(1), res.group(2)) if res else (line, 32)
            self.ips = list(map(lambda n: int(n), ip.split('.')))
            self.msk = int(msk0)

    def set_mask(self, mask):
        if self.msk < mask:
            return self
        msks = list(map(lambda n: int('1'*n+'0'*(8-n), 2), [8 if (mask - i*8) >= 8 else (mask - i*8) if (mask - i*8) > 0 else 0 for i in range(4)]))
        rip = list(np.array(self.ips) & np.array(msks))
        ret = ipv4adrset()
        ret.ips = rip
        ret.msk = mask
        return ret

    def __eq__(self, other):
        smsks = list(map(lambda n: int('1'*n+'0'*(8-n), 2), [ 8 if (self.msk - i*8) >= 8 else (self.msk - i*8) if (self.msk - i*8) > 0 else 0 for i in range(4)]))
        omsks = list(map(lambda n: int('1'*n+'0'*(8-n), 2), [ 8 if (other.msk - i*8) >= 8 else (other.msk - i*8) if (other.msk - i*8) > 0 else 0 for i in range(4)]))
        sip = list(np.array(self.ips) & np.array(smsks) & np.array(omsks))
        oip = list(np.array(other.ips) & np.array(smsks) & np.array(omsks))
        return sip == oip

    def __str__(self):
        return '.'.join(map(lambda i: str(i), self.ips)) + ('/' + str(self.msk) if self.msk < 32 else '')
  • メンバ変数self.ipsは4要素整数の配列でアドレスを示しており、self.mskはネットマスクピット数でデフォルトは全マスクで32
  • メゾッドset_lineはIPアドレスのマスク有り無しの文字列を読み込みオブジェクトの値をセットする
  • メゾッドset_maskはマスクピット幅をセットする。マスク外のビットはゼロにする
  • メゾッド__eq__は比較関数だが、ネットマスク幅の短い方で比較する。指定したアドレスがあるネットマスクに含まれるかどうかを判別出来る
  • メゾッド__str__は文字列変換関数

改めて見てみるとリスト内包表記で無理に一行で書こうとしている感じで可読性が非常に悪いですね。。。

とくに1文メチャクチャ長いリスト内包表記があるので、覚書きついでに解説

続きを読む…

ドラレコ動画（2021年春その2）

投稿日コメントをどうぞ

ドライブ花見の動画に続き、もう一つ編集したドラレコ動画をアップします。2021年5月より地元の名古屋高速の料金体系が距離制に変るというのと、名古屋市を一周する名二環という都市高速の西側通路が開通して湾岸道路を合せるとここも一周できるポイントなりましたので早速一周してきました。

10分くらいあって長いです・・・。まぁYoutubeに上げるのが良いかもですが、とりあえず今回はサーバーの機能試験も兼ねてと。

ジャンクション辺りだけ通常速度に戻してますが、基本的に一本道では10倍速で編集しています。

これもTMPGEnc Video Mastering Work7で編集しました。

2021/06/10
動画を自サイト貼り付けからYoutube貼付けに変更しました。自サイト（さくらVPS）からの動画配信は無理がありすぎたｗｗｗー全然動画が落ちてこない

ドラレコ動画（2021年春）

投稿日コメントをどうぞ

土曜日という訳でもないけど、少し内容を変えてと、少し前の今年の4月のネタですが、自粛期間中のお花見ということで、自動車で通り抜けるだけでお花見になるドライブ花見ということにしました。

場所は、三重県鍋田川堤桜並木、南の国道23号線側のAより侵入、Bまで抜ける間の4kmの桜並木となっています。

ドラレコ動画の一部を下記に貼付けます。

動画画質がイマイチですね。撮影はスバルフォレスター(SJ5型)の純正ドラレコですが、一回故障したので、Amazonで売っていた同型品(KEIYO AN-R011G)を取付けました（配線済みだし、純正品より圧倒的に安いｗ）

画質自体は

  • 録画解像度:1280 x 720p (15FPS)
  • 録画方式:モーションJPEG(AVI)

動画データはSDカードの中の1分ずつの動画として記録されるので、アップロード出来る動画にするためには、連結と、エンコードの作業が必要になる。

動画連結はFFMPEG（フリーソフト）、編集とエンコードはTMPGEnc Video Mastering Work7を使用。

2021/06/10　自サイト配信からYoutube貼付けに変更しました。ついでにYoutubeチャンネルも開設しました。まぁ、ここに貼付けるための足場にするだけの予定ですが・・・

リモートホスト設定・開発環境

投稿日コメントをどうぞ

パソコンなどのローカル環境から外部サーバー（ここ：さくらVPSなど）に接続して各種設定を行う場合は、基本的にはSSHなどターミナル接続を行い、サーバー上のエディタなどを用いて設定ファイルなどの編集を行っている。

当方の場合は、ローカルのWindowsマシンよりPuttyを使用してSSH接続を行っている。サーバー側もSSHの設定を行いしっかりと鍵ペア認証による接続を行うことで安全性を保っている。ちなみにファイルのコピーには同じ鍵を用いたWinSCPを使用している。

サーバー上での設定ファイルの編集などは、当方ではEmacsを用いている。昔はワークステーション上でも重量級のエディタという印象だったので、チョットしたファイルの編集には不向きということで、専らVi系の軽いエディタを使用していた。まぁ昨今になるとマシンパワーのおかげでそれほど気にするレベルでも無いと言うことで、何となく惰性で使用している。しかし昔ほど気合いの入った設定とかは行う事無くほぼほぼインストールしたままで使用しているのでした。

ただし一点だけ、こだわりではないが、バックアップファイルの自動生成について、デフォルトの設定では、編集してセーブを行うと、元ファイルと同じディレクトリに「（元ファイル名）~」という「~」（チルダ）付きのバックアップファイルが大量発生して何とも見苦しい。その為、バックアップファイルは編集したユーザーのホームの「.saves」ディレクトリにバックアップファイルを世代付きで保存する方式に変更している。

編集対象ファイル例）：/home/user-name/project/hogehoge/Readme.md
⇒バックアップファイル：/home/user-name/.saves/!home!user-name!project!hogehoge!Readme.md.~1~

のように元のパス情報を含めたファイル名で世代管理の番号を付けた状態で保存される。下記の設定を

(setq auto-save-default nil)
(setq backup-directory-alist `(("." . "~/.saves")))
(setq backup-by-copying t)
(setq delete-old-versions  t
      kept-ner-versions 6
      kept-old-versions 2
      version-control t)

各ユーザーの設定ファイル（.emacs）に記載しておく、当方の場合は自分以外に使用する人もいないという理由もあって/usr/shara/emacs/下のdefault.elに記載とか乱暴なことをやっている（汗）

続きを読む…

ブロックリスト自動生成（素人のサーバー管理）

投稿日コメントをどうぞ

自宅あるPCを使っている分には外部からの攻撃とかあまり気にしないけど、さくらVPSなど外部に配置したサーバーだと、攻撃とは言わないまでも手当たり次第にピンポンダッシュしてくる輩の多いこと・・・。

ここでいうピンポンダッシュとは言うまでも無く、ポートスキャンや不正ログイン試行のことで（不正ログインはピンポンダッシュと言うよりドアガチャのイメージかな）、ログを見てても気持ちの良いものではない。そんなに見ていただく内容もない自己満足のサーバーなだけに、こう言うのだけでアクセスが増えるのも何とも困ったものだ。

そこで、ファイヤーウォールのお世話になることになる。何も用事が無ければ全ポート閉じてしまうのが一番安全だけど、何のためのサーバーぞやということで、WEBサーバーもやりたいしメールサーバーも動かしたい。SSHも当然開けておかないと意味がないし。。。

SSHに関しては自分が使うだけなので、ポート番号を変更して鍵のないアカウントからはログイン出来ないようにすればとりあえず安心。WEBサーバーもそれほどいたずらされる心配も無いと思うが、一番怖いのは多分メールサーバーで25番からポート変更するわけにも行かないし、設定不備で世間に迷惑をかけることになりかねない。

引越前のサーバーだが、下のようなログが1日に何百何千と残ることがある

May  2 15:41:32 marocha postfix/smtpd[810548]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: UGFzc3dvcmQ6
May  2 15:41:32 marocha postfix/smtpd[810542]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:41:42 marocha postfix/smtpd[810542]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: Connection lost to authentication server
May  2 15:41:43 marocha postfix/smtpd[810559]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:41:54 marocha postfix/smtpd[810559]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: Connection lost to authentication server
May  2 15:41:54 marocha postfix/smtpd[810568]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:41:58 marocha postfix/smtpd[810568]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: UGFzc3dvcmQ6
May  2 15:41:58 marocha postfix/smtpd[810570]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:42:07 marocha postfix/smtpd[810570]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: UGFzc3dvcmQ6
May  2 15:42:07 marocha postfix/smtpd[810588]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:42:20 marocha postfix/smtpd[810588]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: UGFzc3dvcmQ6
May  2 15:42:20 marocha postfix/smtpd[810589]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:42:30 marocha postfix/smtpd[810589]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: Connection lost to authentication server
May  2 15:42:31 marocha postfix/smtpd[810590]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:42:41 marocha postfix/smtpd[810590]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: Connection lost to authentication server
May  2 15:42:42 marocha postfix/smtpd[810591]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:42:46 marocha postfix/smtpd[810591]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: UGFzc3dvcmQ6
May  2 15:42:46 marocha postfix/smtpd[810592]: connect from unknown[xxx.xxx.xxx.xxx]
May  2 15:43:15 marocha postfix/smtpd[810592]: warning: unknown[xxx.xxx.xxx.xxx]: SASL LOGIN authentication failed: UGFzc3dvcmQ6
続きを読む…

データベース移植作業

投稿日コメントをどうぞ

ユーザーの作成

移動先のデータベースにも同じユーザーを作成しておきました（パスワードも同じにしておく）

データベースのバックアップ

root@xxxxx:~# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1094
Server version: 8.0.25-0ubuntu0.20.04.1 (Ubuntu)

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| xxxxxxxx           |
| yyyyyyyy           |
| information_schema |
| mysql              |
| AAAAAAAA           |
| performance_schema |
| sys                |
| webdata            |
+--------------------+
8 rows in set (0.00 sec)

mysql>

バックアップするマシンのmysqlにrootユーザー（mysqlの）でログインし、データベースの一覧を確認する

同様にバックアップ先のマシンのデータベースを確認し、バックアップ先にないものをバックアップします。コマンドは mysqldumpを使用しました。とりあえず移植と言うことで深く考えずにバックアップ先にないものを個別にバックアップしました。

root@xxxxx:~#  mysqldump --lock-all-tables -u root -p --databases xxxxxxxx > xxxxxxxx

全てのデータベースを一度にバックアップする方法もありますが、システム用のデータベースも一緒になってしまい、バックアップ先で競合するのを避けるため、個別としました。

次にバックアップ先のマシンでリストアします。

user@yyyy:~$ mysql -u root -p < xxxxxxxxx

全てのデータベースをリストアして無事終了

サーバー引越完了の件

投稿日コメントをどうぞ

昨日メールサーバーの移行を終了したところで、DNSの参照先を新サーバーに切り替え、旧マシンの全ポートを閉じることで、全機能の引越を完了しました。

基本的にはServer World – ネットワークサーバー構築 (server-world.info)のサイトにある各OS毎（CentOS8、Ubuntu20.04LTS）の設定を参考に、新たにUbuntuサーバーを立ち上げつつ、データのみを移植する形で行いました。

作業内容は下記になります。

  • mysql データベースの内容移植
  • WEBサイトの移植
    • /var/www 以下の移植
    • /etd/httpd → /etc/apache2 への移植（基本的にコピーで良いが微調整は必要）
    • Letsencriptの鍵情報移植
      • /etc/letsencript をそのままコピー
    • 仮想ホストごとにDNS参照を切り替えて動作を確認
  • メーサーバーの移行
    • 新サーバーにて個別にメールサーバーを立ち上げ、DNS参照先を切り替えて動作確認
    • 旧サーバから各ユーザーのメールデータをコピー
  • 新サーバー機能のインストール（旧サーバーでは運用していなかった機能追加）
    • NextCloud（ownCloud後継のクラウドサービス）
    • Rainloop（WEBメールサービス：過去にはSquirrelで運用していたが、動作が不安定だった）

次回以降、個々の作業内容について覚書きついでに投稿していきます。

個人的な話ですが、最近早期退職と言うことで仕事を辞めました。コロナ時期と関係ありそうですが、とくにそのようではなく、以前から希望していた退職願いが、仕事も一段落したところで漸く受け入れられたという経緯からなります。先のことはまだ決めていませんが、少し休みながら好きなことをして、これからの自分に何が出来るかなど、今後のことを考えていきたいと思っています。
それの一環として、独り言に使っていたこのブログサイトも色々活用していけたら、と考えています。まぁ、いまどき個人サーバーでブログなんて誰も見ていない自己満足日記サイトにしかならないと思いますが、こういうのも続けていければ何かに繋がるのではと期待して。。

WEBサーバー引越完了

投稿日コメントをどうぞ

見た目は全く変らないが、ここ数日でサーバーの引越を行なっておりWEBサーバーの引越が完了したのでテスト投稿です。

引越理由は運用していたサーバーのOS（CentOS8）が2021年末にサポート終了するとのことで、これを機会にUbuntu（20.04 LTS）サーバーに変更することにしました。

引越といってもRHELベースのCentOSからDebianベースのUbuntuへの引越なので、完全に新規インストールしてデータのみを移行して同じ環境を再構築するような流れとなります。

移行に関しては事故に備えて、現行サーバー（さくらVPS＜V3＞）をそのまま残して、新規サーバー（さくらVPS＜V5＞）を別に契約し、無理の無いようにデータ移行を行ない移行完了したサービスから順にDNS参照を変えて、すべてのサービスの移行後、旧サーバーを停止・解約とすることとしています。

現在WEBサーバーの移行が終了したので、あとはメールサーバー（各ユーザーのメールボックス）が残っているので完全移行はもう少し先となる予定です。