タグ: python

ブロックリスト自動生成その2（素人のサーバー管理）

投稿日コメントをどうぞ

手動起動によるメンテナンス機能をまとめると（順不同）

  1. 指定した（規定の）ログファイルを検索して不正アクセスのパターンにマッチしたIPアドレスを収集する
  2. 規定回数（例：5回）以上の不正アクセスが確認できたIPアドレスをリスト化
  3. 現行ブロックリスト（ufwの場合：/etc/ufw/before.rules）より現行のブロックリストを読み出し、新しく検出したIPアドレスリストを重複しないようにマージ（基本的には重複しないはず）
  4. オプション機能としてブロックリストの整理ーアクセスの多いIPアドレスのノードを指定幅ネットマスクでまとめる
  5. 新しいブロックリストを更新し、ファイヤーウォールを再起動　ー　オプション：基本的には確認のみ

ipv4adrsetクラス

1のIPアドレスのパターンマッチは普通に正規表現と比較だけですむが、ブロックリストにはネットマスクでグループ化した形式（xxx.yyy.zzz.0/24）などに指定アドレスが含まれるかどうかの判定も必要になる。おそらく便利なライブラリがあるとは思うが、ここは勉強を兼ねてクラスを作成した

class ipv4adrset:
    def __init__(self):
        self.ips = []
        self.msk = 32
    def __init__(self, line = None):
        self.set_line(line)

    def set_line(self, line):
        if line is None:
            self.ips = []
            self.msk = 32
        else:
            res = re.match('^([0-9\.]+)\/([0-9]+)$', line)
            (ip, msk0) = (res.group(1), res.group(2)) if res else (line, 32)
            self.ips = list(map(lambda n: int(n), ip.split('.')))
            self.msk = int(msk0)

    def set_mask(self, mask):
        if self.msk < mask:
            return self
        msks = list(map(lambda n: int('1'*n+'0'*(8-n), 2), [8 if (mask - i*8) >= 8 else (mask - i*8) if (mask - i*8) > 0 else 0 for i in range(4)]))
        rip = list(np.array(self.ips) & np.array(msks))
        ret = ipv4adrset()
        ret.ips = rip
        ret.msk = mask
        return ret

    def __eq__(self, other):
        smsks = list(map(lambda n: int('1'*n+'0'*(8-n), 2), [ 8 if (self.msk - i*8) >= 8 else (self.msk - i*8) if (self.msk - i*8) > 0 else 0 for i in range(4)]))
        omsks = list(map(lambda n: int('1'*n+'0'*(8-n), 2), [ 8 if (other.msk - i*8) >= 8 else (other.msk - i*8) if (other.msk - i*8) > 0 else 0 for i in range(4)]))
        sip = list(np.array(self.ips) & np.array(smsks) & np.array(omsks))
        oip = list(np.array(other.ips) & np.array(smsks) & np.array(omsks))
        return sip == oip

    def __str__(self):
        return '.'.join(map(lambda i: str(i), self.ips)) + ('/' + str(self.msk) if self.msk < 32 else '')
  • メンバ変数self.ipsは4要素整数の配列でアドレスを示しており、self.mskはネットマスクピット数でデフォルトは全マスクで32
  • メゾッドset_lineはIPアドレスのマスク有り無しの文字列を読み込みオブジェクトの値をセットする
  • メゾッドset_maskはマスクピット幅をセットする。マスク外のビットはゼロにする
  • メゾッド__eq__は比較関数だが、ネットマスク幅の短い方で比較する。指定したアドレスがあるネットマスクに含まれるかどうかを判別出来る
  • メゾッド__str__は文字列変換関数

改めて見てみるとリスト内包表記で無理に一行で書こうとしている感じで可読性が非常に悪いですね。。。

とくに1文メチャクチャ長いリスト内包表記があるので、覚書きついでに解説

続きを読む…

djangoサイト立ち上げメモ①

投稿日コメントをどうぞ

Django によるポータルサイトを公開したので、今後のメンテのためにメモを残しておきます。

まずは最初にPyhon環境から構築します。

Pythonはバージョン依存が大きい所もあるので、仮想環境を作ります。

当サイトではWEBアクセス用アカウントを使用しているので、そちらにsuして作業。

先に python 用 virtualenv をインストールします

$ python -m pip install virtualenv

djangoプロジェクトを作成する仮想環境を作成します。（WEBアクセス用アカウントで）

場所は適当で、python3.8 の環境にしてみました

$ virtualenv -p python3.8 venv
以降ドラフト

ポータルサイトは完成しているので、思い出しメモ代わりに追々と続けます。ただ殆どの内容は他サイト情報のコピペに近いものになるので、実際にこのサイトを構築するのに自分がやったことが中心に出来ればと思います。

→ はじめてのDjangoアプリ作成

  • 仮想環境に各種ライブラリをインストール（mysql用ライブラリも含む）
  • 公開サイトのプロジェクトを作成
  • アプリケーション作成（top）
  • ビュー作成
  • モデル作成・データベース接続
  • ビュー修正、テンプレート作成
  • Apache環境へのデプロイ（https仮想サーバ設定）

Django と Letsencrypt

投稿日コメントをどうぞ

まろ茶ネットの公開WEBサーバーをSSL化するに当たってLeysencryptを導入しましたが、現在作成中のポータルサイトで採用しているDjango WEBアプリでは -webrootによるサイト登録がうまく行かない問題がありました。（現在はテスト用仮想サーバにて動作確認中）

certbot-auto で登録するサイトのwebroot（DocumentRoot？）に一時的な静的ファイルを作成して、登録URLからアクセスできるかどうかを確認しているようですが、DjangoではDocumentRootに静的ファイルを作成しても、WEBアプリのエンジンによりURLからアクセスできないようになっている感じ。

そこで、urls.py などを細工して、Letsencryptの静的ファイルにアクセスできるように誘導する必要がありました。

<project>/settings.py

# for Letsencrypt certification 
CERT_ROOT = os.path.join(BASE_DIR, '.well-known') 
CERT_URL = '/.well-known'

注）.well-known はcertbot-autoが作成する静的ファイル

<project>/urls.py

urlpatterns = [ 
    path('admin/', admin.site.urls),
    path('', include('top.urls')), 
    path('tinymce/', include('tinymce.urls')),
] 
urlpatterns += static(settings.CERT_URL, document_root=settings.CERT_ROOT)

urlpatterns はリストに直接入れても良いような気がするが、上記のようにしないとうまく行きませんでした。

これでDjangoアプリサイトをLetsencryptに登録出来るようになりました。

下記サイトを参考にしました（と言いますか、まんまの情報です）

DjangoでLet’s Encryptの証明書発行ができません＞＜。

Python覚書き

投稿日コメントをどうぞ

今更ながら流行の人工知能に触れておこうと、言語オタク的にとりあえずPythonから入る事にしました。それが結構面白くて、かつてRubyにハマったのを思い出しました。何となく似ているような、少し方向性が違うような違った楽しさあり。

昔からあった言語だけど、改めて学んでみると、コーディング体裁による制御構造とか色々特徴的だったり、クラス、イテレータなど一通りの機能はあるので、今までのRubyプログラムとかも簡単に移植できそう。


# -*- coding: utf-8 -*-
# おまじない
import sys
def main()
        .........
if __name__ == "__main__"
        main()

上の例は、単品として実行可能なモジュールで、import ライブラリとして利用する場合は main()は実行されないが、単独で起動された場合はmain()が実行されるようです。