Go

資料庫版本遷移：以 Go 為例

Ken Chen

Ken Chen

— 8 min read

接續前面，繼續來討論資料庫議題吧。

在商務初期，追求的是驗證市場，這時資料庫往往只有相對簡單的版本，各種欄位也還不是很齊全。隨著商業模式逐漸成熟，資料庫會需要負擔更多的營運功能，也會需要在原有表格中加入新欄位。資料庫的版本管理問題就出現了。

我們通常稱呼資料庫版本遷移為 Migration，在 Laravel 或 RoR 中都有整合好的 Migration 工具，而 Golang 目前仍需要仰賴自己動手，golang-migrate 是現在比較成熟的專案。本文會講解如何使用 golang-migrate 的 CLI 跟函式庫，來建立資料庫 Migration。

Introduction

既然說版本遷移是 Migration，為什麼不直接稱呼 Version 就好，它跟 Version 有什麼不同？兩者的區別可以看看下圖

簡單來說，Version 指的是資料庫的狀態，而 Migration 指的是狀態到狀態之間的改變。因為後端程式會使用到資料庫，如果用到資料庫沒有的欄位，就會出現問題。對資料庫來說，表格的創建、欄位的新增等等，都是使用 SQL 來描述，如果將每次版本變遷用到的 SQL 記錄下來，等於是將版本記錄下來，並且隨時可以快進到最新開發版，或回退到穩定版本。這就是 Migration 的意義。

Prepare Environment

一開始可以先用命令行工具來熟悉 Migration 的操作，參照說明檔，安裝 migrate，底下是 Linux 的安裝方式

curl -L [https://packagecloud.io/golang-migrate/migrate/gpgkey](https://packagecloud.io/golang-migrate/migrate/gpgkey) | apt-key add -
echo "deb [https://packagecloud.io/golang-migrate/migrate/ubuntu/](https://packagecloud.io/golang-migrate/migrate/ubuntu/) $(lsb_release -sc) main" > /etc/apt/sources.list.d/migrate.list
apt-get update
apt-get install -y migrate

安裝完成後，在專案目錄建立 Migration 用的資料夾

project
├── cmd
├── data
│   └── migrate
├── migrations
├── pkg
├── scripts
├── go.mod
└── README.md

初始化 Database

initdb -D ./data/migrate -U postgres
pg_ctl -D ./data/migrate -l logfile start

使用 migrate 創建 Migration 用的 SQL

migrate create -ext sql -dir migrations create_users_table

此時，目錄變成

project
├── cmd
├── data
│   └── migrate
├── migrations
│   ├──20200813223102_create_users_table.up.sql
│   └──20200813223102_create_users_table.down.sql
├── pkg
├── scripts
├── go.mod
└── README.md

20200813223102_create_users_table.up.sql 是 Migration 用的檔案，前面的數字是時間戳記，可以理解成版本號；中間的文字是描述；最後的 up 或 down 是關鍵字，用來表示該 SQL 是進還是退。

在兩個 Migration 檔案中加入 SQL 語法，例如 up 可以用來創建表格，加入

CREATE TABLE IF NOT EXISTS players (
    id SERIAL PRIMARY KEY,
    age SMALLINT NOT NULL,
    username VARCHAR(50) NOT NULL,
    budget INTEGER
);

而 down 用來撤銷表格，加入

DROP table IF EXISTS players;

這時使用 migrate，就能建立起 players 表格了

migrate -verbose -source file://migrations -database postgres://postgres:[@127](http://twitter.com/127).0.0.1:5432/postgres?sslmode=disable up 1

-source 用來表示 migrations 放置的位置；-database 是用來連資料庫的協定；up 1 表示要進 1 個版本。

輸入命令後，使用 DBeaver 連接資料庫，可以看到右側導航欄有 players 跟 schema_migrations 的資訊

接著可以試著下 down 的指令

migrate -verbose -source file://migrations -database postgres://postgres:[@127](http://twitter.com/127).0.0.1:5432/postgres?sslmode=disable down 1

會對資料庫執行 down，撤銷掉剛剛建立的 players 表格

Create Migrate Tool

migrate 可以進行資料庫的 Migration，但如果想要在應用程式中執行，應該如何做呢？

我們先建立 migrate 的專案

project
├── cmd
│   └── migrate
│       └── main.go
├── data
│   └── migrate
├── migrations
├── pkg
│   └── migrate
│       └── migrate.go
├── scripts
├── go.mod
└── README.md

其中套件 migrate 引入 migrate 庫，內容是

package migrate

import (
    "log"
    "os"
    "path/filepath"

    "github.com/golang-migrate/migrate/v4"
)

type Migration struct {
    client *migrate.Migrate
}

func New() *Migration {
    m := Migration{}
    path, err := os.Executable()
    if err != nil {
        log.Panic(err)
    }
    path = "file://" + filepath.Join(path, "..", "..", "migrations")
    m.client, err = migrate.New(path, "postgres://postgres:[@localhost](http://twitter.com/localhost):5432/postgres?sslmode=disable")
    if err != nil {
        log.Panic(err)
    }
    return &m
}

// Up to newest version
func (m *Migration) Up() {
    if err := m.client.Up(); err != nil && err != migrate.ErrNoChange {
        log.Fatal(err)
    }
}

// Down to oldest current
func (m *Migration) Down() {
    if err := m.client.Down(); err != nil && err != migrate.ErrNoChange {
        log.Fatal(err)
    }
}

前面引入套件後，建立一個 struct 用來操作客戶端

type Migration struct {
    client *migrate.Migrate
}

這個客戶端會在初始化後，回傳給應用程式

func New() *Migration {
    m := Migration{}
    path, err := os.Executable()
    if err != nil {
        log.Panic(err)
    }
    path = "file://" + filepath.Join(path, "..", "..", "migrations")
    m.client, err = migrate.New(path, "postgres://postgres:[@localhost](http://twitter.com/localhost):5432/postgres?sslmode=disable")
    if err != nil {
        log.Panic(err)
    }
    return &m
}

初始化的訊息包括資料庫路徑與連接的通訊協定，類似前面使用 migrate 命令行工具的參數

底下再新增 Up 跟 Down 方法，調用 migrate 的 Up 跟 Down

// Up to newest version
func (m *Migration) Up() {
    if err := m.client.Up(); err != nil && err != migrate.ErrNoChange {
        log.Fatal(err)
    }
}

// Down to oldest current
func (m *Migration) Down() {
    if err := m.client.Down(); err != nil && err != migrate.ErrNoChange {
        log.Fatal(err)
    }
}

Up 會將資料庫由現在版本升到最新版本；Down 會將資料庫由現在版本降為最舊版本。

應用程式 main.go 的內容則是

package main

import (
    "example/pkg/migrate"
    "flag"

    _ "github.com/golang-migrate/migrate/v4/database/postgres"
    _ "github.com/golang-migrate/migrate/v4/source/file"
)

func main() {
    var up, down bool
    flag.BoolVar(&up, "up", false, "up to newest")
    flag.BoolVar(&down, "down", false, "down to oldest")
    flag.Parse()

    client := migrate.New()
    if up {
        client.Up()
    }
    if down {
        client.Down()
    }
}

在前面用 “github.com/golang-migrate/migrate/v4/database/postgres” 跟 “github.com/golang-migrate/migrate/v4/source/file” 引入 driver。

import (
    "example/pkg/migrate"
    "flag"
    _ "github.com/golang-migrate/migrate/v4/database/postgres"
    _ "github.com/golang-migrate/migrate/v4/source/file"
)

後面設定命令行參數，如果有帶 up 就執行 Up，如果帶 down 就執行 Down。

在 migrations 下新增兩個 migration

project
├── cmd
│   └── migrate
│       └── main.go
├── data
│   └── migrate
├── migrations
│   ├── 000001_create_players.up.sql
│   ├── 000001_create_players.down.sql
│   ├── 000002_managers.up.sql
│   └── 000002_managers.down.sql
├── pkg
│   └── migrate
│       └── migrate.go
├── scripts
├── go.mod
└── README.md

因為是手動新增，前面版本編號就不用 timestamp 了，改成用流水號；create_players 的內容跟前面一樣；managers 則用來新增一個表格 managers。

up 是

CREATE TABLE IF NOT EXISTS managers (
    id SERIAL PRIMARY KEY,
    age SMALLINT NOT NULL,
    username VARCHAR(50) NOT NULL,
    salary INTEGER
);

down 是

DROP table IF EXISTS managers;

編譯並執行

./bin/migrate -up

這次改用 psql 來看成果

psql -U postgre

輸入 psql 指令

postgres=# using postgres
postgres-# \c postgres
You are now connected to database "postgres" as user "postgres".
postgres-# \dt
                List of relations
Schema |       Name        | Type  |  Owner   
-------+-------------------+-------+----------
public | managers          | table | postgres
public | players           | table | postgres
public | schema_migrations | table | postgres
(3 rows)

改成跑 down

./bin/migrate -down

結果變成

postgres-# \dt
            List of relations
Schema |       Name        | Type  |  Owner   
-------+-------------------+-------+----------
public | schema_migrations | table | postgres
(1 row)

可以看到 Up 跟 Down 有確實發揮作用。

Force to Specific Version

資料庫能 Migration 很方便，但如果接手的是原先專案，建立時沒有設定 Migration，到專案中期才要導入，是不是只能把資料庫砍掉重建，由最初的版本慢慢 Up 起來？migrate 對應這狀況，提供 Force 函式，可以用來強制設定資料庫版本，使用 Force 後，資料庫就會認定當前版本為指令版本，用該版本來做 Migration。

為加入 Force，在 pkg/migrate/migrate.go 新增

// Force sets a migeration version to
func (m *Migration) Force(version int) {
    if err := m.client.Force(version); err != nil && err != migrate.ErrNoChange {
        log.Fatal(err)
    }
}

也在 cmd/migrate/main.go 中新增

func main() {
    var version int
    // ...
    if version != -1 {
        client.Force(version)
    }
    // ...
}

Force 吃的參數就是版本號。

為驗證 Force 有成功運作，試著砍掉版本資訊的 schema_migrations

postgres-# drop table if exists schema_migrations;

啟動應用程式，指定版本為 1

./bin/migrate -force 1

再 up 上去

./bin/migrate -up

觀察結果

postgres=# \dt
            List of relations
Schema |       Name        | Type  |  Owner   
-------+-------------------+-------+----------
public | managers          | table | postgres
public | schema_migrations | table | postgres
(2 rows)

由於 Version 被指定為 1，在 Up 時就跳過 Migration 1，直接跑 Migration 2，因此最後的 table 中沒有 players。可見版本指定成功。

小結

Migration 在資料庫開發中會常用到，畢竟現在的軟體都是持續開發、持續交付，難免有需要升級的時候，而如果升級的版本出了問題，也會需要回滾到舊版。由於資料庫本身不會進 Git Repository，我們只能仰賴 Migration 來做管理。

Golang 的設計以函式庫為核心，不訴求框架，某方面來講給予開發者更多的權力，讓開發者能選擇要用的工具；但無形中也增加了開發的門檻，像這類 Migration 的工具就需要自行整合。我認為可見的未來內，Golang 的發展方向應該不會變，樂觀點想，只要生態系夠活躍，這也許不是什麼大問題。

P.S.

我現在有將 Medium 中實作的專案放到 GitHub(按我) 囉，有興趣的人可以 clone 來玩玩看。

Reference

Read more

自訂網域很難嗎？DNS 的限制與實踐

自訂網域很難嗎？DNS 的限制與實踐

自訂網域（Custom Domain）是 SaaS 常見的服務，只是我通常都沒花錢買。某次跟朋友聊天，她想聽聽我對內容平台的觀點，嘰哩呱啦分析完一堆後，我最後建議她，最好還是買個網域： 「你想想看，妳現在投入這麼多心力在經營內容，建立自己的品牌形象。如果妳的網址永遠都掛在別人的平台底下，就像在別人家租房子，雖然方便，但終究不是自己的。」 「有了自訂網域，妳的品牌就是自己的，無論未來平台怎麼變，妳的讀者都能透過固定的網址找到妳，這對品牌來說很重要。就算未來妳想換平台，也不會流失妳辛苦建立起來的流量。」 後來我在 Ghost 官方頁面看到類似說法 If you would like to make your site memorable and easy to find with a branded custom domain, then you can

By Ken Chen
從個人貢獻者到管理者：關於領導的反思

從個人貢獻者到管理者：關於領導的反思

某個下雪天，我拖著病體，組裝一套供使用者簡報之用的破爛系統，莎朗進來發現我在操控台前勉強支撐，她便離開了，幾分鐘後，她端著一鍋湯回來，為我倒了一杯，我的精神為之一振。我問她要做的管理工作那麼多，怎麼會有空做這種事，她向我展露她的招牌微笑，說：「湯姆，這就是管理。」 －《Peopleware: Productive Projects and Teams》 有次跟一名職涯顧問聊天。我提到：「我希望透過打造產品來替別人創造價值，如果有很棒的團隊，我相信自己能辦到。」她問：「團隊是必須的嗎？」我愣住了，隨口說：「因為打造產品需要很多不同的職能……還需要可持續性的運作，對，我想團隊是必要的。」事後回想，她的問題很有趣，現代社會好像把「團隊」和「領導」當成是成功的標配，人力市場也一堆團隊主管的職缺，這是一則現代神話嗎？還是某種工業革命時代的遺產？ 身為個人貢獻者的管理者 不是說團隊不重要，只是在現代，你會用不同的角度審視完成目標需要的條件。你想想，如果你是個開發者，自己架網站、

By Ken Chen
CDN 的快取失效設計：內容平台場景

CDN 的快取失效設計：內容平台場景

Phil Karlton 有句名言：「計算機科學中只有兩件難事：快取失效和命名。」 想像你在管理網站，因為傳輸速度與伺服器效能問題，網站讀取速度很差，特別是當你的使用者來自地球另外一端，常常需要等待幾秒才能看到畫面，這讓他們的使用體驗大打折扣。身為一名重視使用體驗的開發者，你肯定知道該如何解決這問題，沒錯，答案就是 CDN（內容傳遞網路）。 CDN 可以看成是服務商在全球各地建置伺服器，當你的網站內容（例如圖片、CSS、JavaScript、影片等）流經這些伺服器時，它會保留一份複本（稱為快取），等到下次有人讀取同樣的內容，CDN 會拿出複本給使用者。因為全球各地都有 CDN 節點，美國的使用者可以由美國節點提供，日本的使用者可以由日本節點提供。這樣既加速網路傳遞效率，也降低來源伺服器的效能壓力，可謂一舉兩得。 當然這是有條件的。CDN 會使用網址來判斷快取是否是相同檔案，假設你的內容以圖片為主，通常來說，當你更換圖片，新舊兩張圖片會有不同網址，被當成兩個不同的檔案，新圖使用新快取，舊快取留著也沒差；但如果你的內容是文字，新舊版文字很可能有相同網址，

By Ken Chen
收拾行李搬家去：從 Medium 到 Ghost

收拾行李搬家去：從 Medium 到 Ghost

想搬家想很久，連身邊的朋友都搬完了，我還沒動工。 原因是我懶，我討厭麻煩，每次有人問我吃什麼，我都回答麥當勞。搬家是一件麻煩事，我已經有一份很讚的工作了，全副精神都放在工作上，偶爾才會想起來，反正家什麼時候都能搬，一點也不急，有什麼好急的呢對吧。這樣一拖，就拖到現在。 繼續用 Medium 不好嗎？ 跟男女朋友分手一樣，通常被問到：「對方不好嗎？」得到回答是：「也沒有不好啦，只是……（以下開放填空）。」 從優點開始講吧！Medium 的編輯器很棒，它是 WYSIWYG（所見即所得）類型的編輯器，能讓創作者快速發佈內容，也因為它讓內容發佈更容易了，它開始吸引一批優秀的創作者，這批創作者持續創作內容，又吸引來更多讀者，更多讀者激勵創作者產出內容，內容又再吸引讀者……這形成一個增強迴圈。Medium 還能支援多人協作，拜它時尚簡約的風格所賜，科技公司會使用 Medium 來打造品牌形象，例如我前公司的 Tech Blog

By Ken Chen