タグ: 鯖日記

データベース移植作業

投稿日投稿者marochaコメントをどうぞ

ユーザーの作成

移動先のデータベースにも同じユーザーを作成しておきました（パスワードも同じにしておく）

データベースのバックアップ

root@xxxxx:~# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1094
Server version: 8.0.25-0ubuntu0.20.04.1 (Ubuntu)

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| xxxxxxxx           |
| yyyyyyyy           |
| information_schema |
| mysql              |
| AAAAAAAA           |
| performance_schema |
| sys                |
| webdata            |
+--------------------+
8 rows in set (0.00 sec)

mysql>

バックアップするマシンのmysqlにrootユーザー（mysqlの）でログインし、データベースの一覧を確認する

同様にバックアップ先のマシンのデータベースを確認し、バックアップ先にないものをバックアップします。コマンドは mysqldumpを使用しました。とりあえず移植と言うことで深く考えずにバックアップ先にないものを個別にバックアップしました。

root@xxxxx:~#  mysqldump --lock-all-tables -u root -p --databases xxxxxxxx > xxxxxxxx

全てのデータベースを一度にバックアップする方法もありますが、システム用のデータベースも一緒になってしまい、バックアップ先で競合するのを避けるため、個別としました。

次にバックアップ先のマシンでリストアします。

user@yyyy:~$ mysql -u root -p < xxxxxxxxx

全てのデータベースをリストアして無事終了

サーバー引越完了の件

投稿日投稿者marochaコメントをどうぞ

昨日メールサーバーの移行を終了したところで、DNSの参照先を新サーバーに切り替え、旧マシンの全ポートを閉じることで、全機能の引越を完了しました。

基本的にはServer World – ネットワークサーバー構築 (server-world.info)のサイトにある各OS毎（CentOS8、Ubuntu20.04LTS）の設定を参考に、新たにUbuntuサーバーを立ち上げつつ、データのみを移植する形で行いました。

作業内容は下記になります。

  • mysql データベースの内容移植
  • WEBサイトの移植
    • /var/www 以下の移植
    • /etd/httpd → /etc/apache2 への移植（基本的にコピーで良いが微調整は必要）
    • Letsencriptの鍵情報移植
      • /etc/letsencript をそのままコピー
    • 仮想ホストごとにDNS参照を切り替えて動作を確認
  • メーサーバーの移行
    • 新サーバーにて個別にメールサーバーを立ち上げ、DNS参照先を切り替えて動作確認
    • 旧サーバから各ユーザーのメールデータをコピー
  • 新サーバー機能のインストール（旧サーバーでは運用していなかった機能追加）
    • NextCloud（ownCloud後継のクラウドサービス）
    • Rainloop（WEBメールサービス：過去にはSquirrelで運用していたが、動作が不安定だった）

次回以降、個々の作業内容について覚書きついでに投稿していきます。

個人的な話ですが、最近早期退職と言うことで仕事を辞めました。コロナ時期と関係ありそうですが、とくにそのようではなく、以前から希望していた退職願いが、仕事も一段落したところで漸く受け入れられたという経緯からなります。先のことはまだ決めていませんが、少し休みながら好きなことをして、これからの自分に何が出来るかなど、今後のことを考えていきたいと思っています。
それの一環として、独り言に使っていたこのブログサイトも色々活用していけたら、と考えています。まぁ、いまどき個人サーバーでブログなんて誰も見ていない自己満足日記サイトにしかならないと思いますが、こういうのも続けていければ何かに繋がるのではと期待して。。

WEBサーバー引越完了

投稿日投稿者marochaコメントをどうぞ

見た目は全く変らないが、ここ数日でサーバーの引越を行なっておりWEBサーバーの引越が完了したのでテスト投稿です。

引越理由は運用していたサーバーのOS（CentOS8）が2021年末にサポート終了するとのことで、これを機会にUbuntu（20.04 LTS）サーバーに変更することにしました。

引越といってもRHELベースのCentOSからDebianベースのUbuntuへの引越なので、完全に新規インストールしてデータのみを移行して同じ環境を再構築するような流れとなります。

移行に関しては事故に備えて、現行サーバー（さくらVPS＜V3＞）をそのまま残して、新規サーバー（さくらVPS＜V5＞）を別に契約し、無理の無いようにデータ移行を行ない移行完了したサービスから順にDNS参照を変えて、すべてのサービスの移行後、旧サーバーを停止・解約とすることとしています。

現在WEBサーバーの移行が終了したので、あとはメールサーバー（各ユーザーのメールボックス）が残っているので完全移行はもう少し先となる予定です。

djangoサイト立ち上げメモ①

投稿日投稿者marochaコメントをどうぞ

Django によるポータルサイトを公開したので、今後のメンテのためにメモを残しておきます。

まずは最初にPyhon環境から構築します。

Pythonはバージョン依存が大きい所もあるので、仮想環境を作ります。

当サイトではWEBアクセス用アカウントを使用しているので、そちらにsuして作業。

先に python 用 virtualenv をインストールします

$ python -m pip install virtualenv

djangoプロジェクトを作成する仮想環境を作成します。（WEBアクセス用アカウントで）

場所は適当で、python3.8 の環境にしてみました

$ virtualenv -p python3.8 venv
以降ドラフト

ポータルサイトは完成しているので、思い出しメモ代わりに追々と続けます。ただ殆どの内容は他サイト情報のコピペに近いものになるので、実際にこのサイトを構築するのに自分がやったことが中心に出来ればと思います。

→ はじめてのDjangoアプリ作成

  • 仮想環境に各種ライブラリをインストール（mysql用ライブラリも含む）
  • 公開サイトのプロジェクトを作成
  • アプリケーション作成（top）
  • ビュー作成
  • モデル作成・データベース接続
  • ビュー修正、テンプレート作成
  • Apache環境へのデプロイ（https仮想サーバ設定）

Django と Letsencrypt

投稿日投稿者marochaコメントをどうぞ

まろ茶ネットの公開WEBサーバーをSSL化するに当たってLeysencryptを導入しましたが、現在作成中のポータルサイトで採用しているDjango WEBアプリでは -webrootによるサイト登録がうまく行かない問題がありました。（現在はテスト用仮想サーバにて動作確認中）

certbot-auto で登録するサイトのwebroot（DocumentRoot？）に一時的な静的ファイルを作成して、登録URLからアクセスできるかどうかを確認しているようですが、DjangoではDocumentRootに静的ファイルを作成しても、WEBアプリのエンジンによりURLからアクセスできないようになっている感じ。

そこで、urls.py などを細工して、Letsencryptの静的ファイルにアクセスできるように誘導する必要がありました。

<project>/settings.py

# for Letsencrypt certification 
CERT_ROOT = os.path.join(BASE_DIR, '.well-known') 
CERT_URL = '/.well-known'

注）.well-known はcertbot-autoが作成する静的ファイル

<project>/urls.py

urlpatterns = [ 
    path('admin/', admin.site.urls),
    path('', include('top.urls')), 
    path('tinymce/', include('tinymce.urls')),
] 
urlpatterns += static(settings.CERT_URL, document_root=settings.CERT_ROOT)

urlpatterns はリストに直接入れても良いような気がするが、上記のようにしないとうまく行きませんでした。

これでDjangoアプリサイトをLetsencryptに登録出来るようになりました。

下記サイトを参考にしました（と言いますか、まんまの情報です）

DjangoでLet’s Encryptの証明書発行ができません＞＜。

SSL証明書の取得（無料版letsencrypt）

投稿日投稿者marochaコメントをどうぞ

https://www.server-world.info/query?os=CentOS_8&p=ssl&f=2

CentOS8へのインストール

# dnf module -y install python36
# dnf -y install gcc mod_ssl python3-virtualenv redhat-rpm-config augeas-libs libffi-devel openssl-devel
# curl -O https://dl.eff.org/certbot-auto [root@marocha ~]# mv certbot-auto /usr/local/bin/
# chmod 700 /usr/local/bin/certbot-auto

登録コマンド

# certbot-auto certonly --webroot -w /var/www/html -d www.marochanet.org

バーチャルホストのサイトは並べて登録するか、続けて登録

更新コマンド（複数のバーチャルホストは一度に更新可能）

# certbot-auto renew
ということで、こちらブログサイトも無事SSL化となりました。
 

メールサーバー顛末（SMTP-Auth）

投稿日投稿者marochaコメントをどうぞ

今回のメールサーバーの目的は、現在使っているプロバイダ系のEメールをプロバイダからPOPして保存、IMAPサーバーとしてクライアントに公開するという物で、PCとか携帯、タブレットどれからでもメールが読み書き出来るようななるというWEBメールに近い環境が実現できるという物です。家サーバーの時はfetchmailコマンドを使って、プロバイダからPOPで落として来たが、専用サーバーということで、プロバイダからメール転送をかけることにした。これによりタイムラグ無くメールを読むことが出来るようになった（fetchmailだとポーリング間隔だけタイムラグが出来てしまう）。

imap環境は家サーバーのubuntuの時と同様にpostfixとdovecotの設定のみ。旧メールフォルダを家サーバーからtarしてscpしてtarしてVPSに転送、ついでにバックアップ。こちらを参考に取得したSSL証明書などもバッチリ反映させておけばSSLでアクセス可能。

SMTPでメール送信機能を持たせるのは家サーバーではやっていなかった事なので、後回しにします（一発ぶっつけでうまく動かなかった）。

せっかくなので、Webmail機能を持たせようと、SquirrelMailを導入したが、うまく動かない。ubuntuの時は何の問題も無くあっさり動いた物だが、パスワード認証のあと「このページにアクセスするにはアカウントが必要です。」というエラーメッセージが、httpdのログには何も載っていなかったので、不思議と思いググってみた所、どうも /var/lib/php/session の書き込み権限がないとか、、、ああ、思い当たった！家サーバーの時と条件を合わせるため、apacheの実行ユーザーをデフォルトと変えていたのでした。ubuntu と CentOSでは実行ユーザーが異なるため、同じ設定ではアクセスが出来ないということ。ということで、該当ディレクトリの所有者を変更して、書き込み可能にすることで無事解決。

SMTP Authの設定は基本的にはimapの設定の時と同じページを参考に薦めればOKでした。最後の最後までうまく動かず悩ませた理由は単純なtypoでした。。。これは気をつけないといけない。

メールサーバーの機能はこれで必要な分一通り完了。メールアカウント一杯作れます。悪用禁止ｗ

 

WordPress 移植メモ

投稿日投稿者marochaコメントをどうぞ

サーバー移動にあたって、WEBデータの移動が大きな問題の一つでした。

家サーバーがubuntu8.10のまま長らく放置されていたのも、データベース移動がうまく行くかどうかに不安があったからだ、それに加えてPC自体の調子の悪さも相まって、「光学ドライブが動かない」「USBポートが不安定」などの理由でそのままにせざるを得なかったというのもありました。

今回の場合は、完全に引越であるので、失敗しても何度でもやり直せるということで、色々試してみた。

まず、WEBサーバーにインストールしたphpMyAdminを用いてバックアップ/リストアを行う方法。

全データを対象に行ったが、読み込みファイルサイズに制限があったので、あらかじめFTP転送しておいたバックアップファイルをリストアしようとしたが、rootですら書き込み権限が無いとかで失敗。どうもinformation_schemaというデータベースが問題であろうという所までは分かったが、放置。

mysqlのコマンドラインツールで全バックアップ/リストア

結局は上記理由で失敗。information_schemaは内部的な利用のための物で書き込むことは出来ないらしい・・・じゃなんでバックアップ/リストアの対象になっとんねん？って思ってしまうが、そういうわけで地味に最後の手段。

コマンドラインでちまちまデータベース一つずつバックアップ/リストア

結局はこれ。information_schema以外のデータベースをmysqldumpでちまちまバックアップ取って、リストア先で

mysql> create database wp-data default character set utf8

$ mysql  -u wpdata -p xxxx < backup.sql

でな感じであらかじめ（wpdata）というユーザー権限でデータベース（ここではwp-data）を作っておいて、バックアップデータである*sqlファイルを読み込みます。※ここのwpdataというユーザー名とwp-dataというデータベース名はバックアップ元に準じます。

あとは、ｈｔｍｌディレクトリを構造毎ファイル所有者に注意して複製して終わり。

ただ、この方法ではうまくいかず、ページのリンク関係がボロボロ。そりゃそうです。トップページのＵＲＬが変わったのだから、当然直リンしている所は破綻するわけで、ここを直さないといけない。幸いバックアップした*.sqlファイルはテキストなので、ここはsedを使って置き換えてしまいます。

$ sed -e ‘s/old url/new url/g’ backup.sql > backup1.sql

出来上がったデータで置き換えます（もちろんデータベースは一旦消して作り直します）。またコピーしたhtmlディレクトリの中にも旧URLを直接参照している所があるはずなので、これも出来る限り書き換えます。

grep ‘old url’ */* などして探して手動で書き換えられる程度の作業なので大したことはありませんでした。

これで、無事データ移植完了。

同じような感じで xoops も移植できました。

SSL認証どたばた

投稿日投稿者marochaコメントをどうぞ

せっかく固定IPでドメイン取得したのだから、家サーバーの時のようなオレオレ認証のSSLじゃない方が良いなぁ。。。

ということで、ちゃんとしたSSL認証を目指す。さくらインターネットのレンタルサーバーには共用SSLという物があるのだか、専用サーバーの扱いになるVPSでは使えないようだ。かといってちゃんとしたSSLを導入しようとするとやたら高い。

ということで キーワード「さくらVPS SSL証明書 無料」でgoogle検索ｗ

で、この辺を参考に（ありがとうございます）StartSSLを導入。結構メンドイでした。

出来上がった

サーバーキー （server.key）とサーバー証明書（server.crt）をhttpd の/etc/httpd/conf.d/ssl.conf の該当箇所にコピー。

# service httpd restart

次にパスフレーズを埋め込んでhttpd起動を楽にします。

# openssl rsa -in server.key -out server.key

1年間有効だそうなので、また来年ドタバタしそう・・・。来年には、、、安くても有料系のSSLを使えるくらいになっていたら良いな・・・

新サーバーへの移行　さくらVPS

投稿日投稿者marochaコメントをどうぞ

個人的にもいろいろあったような空白期間でしたが、久々に追加です。

いままで、自宅サーバーでの運用を続けてきましたが、さすがに10年選手のノートPCも寿命が近づいてきたようで、すさまじく調子が悪いということもあり、以前より検討していたレンタルサーバーへの移行を行いました。

レンタルサーバーといってもルート権限のあるもので、VPSという仮想マシンを使ったサービスです。物理マシンを複数人数で共有するとはいえ、ほとんど専用サーバーのような快適さで、レンタル料金は共有サーバーと同じくらいか、さらに安いくらいです。

さくらインターネット さくらVPS

先週木曜日あたりから試用期間で準備を始めて、メールサーバー、WEBサーバーを起動。そして、このwordpressのデータ移行を行ったところで一旦書き込みに至りました。

今回の移行により、ドメインが次のような変遷をたどり、、

marochanet.dyndns.org　　（家サーバー ダイナミックDNS、有料化に伴い引き揚げ）

↓

marochanet.mydns.jp　　　（家サーバーダイナミックDNS 唯一の無料jpドメイン まだ使えるかなｗ）

↓

marochanet.org                    （固定IPに対し正式取得したドメイン JPは高いのでORGにしました）

上記のドメイン名で http://blog.marochanet.org/ が当ブログのアドレスとなります。