GCP DevOps 實作系列一 建立執行個體

今天來分享一下如何在 GCP 上建置 DevOps CI/CD 環境。以下針對使用的工具與環境做說明

  • Docker : 軟體容器平台 (Software Container Platform)，輕量級的虛擬環境，可將軟體部署至獨立容器中的過程自動化
  • Jenkins : 開源的持續整合工具。我們需要使用它來執行一系列的自動化的工作包括監控程式碼的變化、重新測試與建置環境等等，以達到持續整合的目的。
  • BitBucket : 可以免費使用的程式碼版本控制平台。相較於 github，BitBucket可以建立不公開的儲存庫 (private repository)，並提供五人以下同時使用，非常適合小型專案開發。
  • ubuntu 16.04 LTS : GCE 提供的映像檔

[前提備註]
目前 GCP 提供 300美金 / 年的免費專案，在規範資源內可以任意使用 GCP 的資源。當申請好帳號時，可至 GCP Console 申請免費試用。過程會需要提供信用卡資料，不過不必擔心會被收取費用，因為如果額度用完或者超過期限，專案會凍結。除非你決定要繼續使用則可手動解除。如需要知道更多內容可參考 免費試用。完成申請之後就可以開始建置環境

[步驟一 建立執行個體]
首先我們需要建立一個執行個體，可在 Computer Engine > VM 執行個體 > 建立


填入名稱並指定區域以及機器等級還有預設的系統。

有兩種方法可以安裝需要的軟體例如 docker, Jenkins 等等。第一種方式可以在成功建立執行個體後逐一安裝，第二種方式我們可以在建立執行個體時，直接把需要的軟體透過 script 安裝進去。為了方便起見我們使用第二種方式如下


在開機指令碼中填入開機後所需要執行的 script，使用的 script 如下


script 看似複雜，其實也不過就是安裝個別軟體。

* 特別注意 useradd jenkins -G docker -m
如果想要讓 jenkins 執行 docker 指令則需要把 jenkins 加到 docker 群組中

* 特別注意 echo "jenkins ALL= NOPASSWD: ALL" >> /etc/sudoers
由於 jenkins 在執行任務的時候有時候可能需要用到 sudo 的指令，為了避免需要輸入密碼，因此特別指定 jenkins 這個使用者使用 sudo 時不需要輸入密碼

當設定完成後，點選建立。等待幾分鐘，執行個體就會被建立。

* 連線到主機
我們可以透過 ssh 的方式連到主機確認是否軟體都正確安裝完畢。透過控制台 Computer Engine > VM 執行個體
點選 SSH 後，就會另外開啟一個視窗連接到主機。這時候執行 docker 應該就會有相關的提示訊息顯示也就表示軟體也安裝完成

* 提示
在安裝過程中，GCE 有提供一個 serial port 輸出主機 log。我們可以透過觀察 serial port 來確認是否 script 都已執行完畢。點選 執行個體 > Serial console (port 1)

Script 執行完成後，log 會提示 Startup finished 如下

由於 Jenkins 已經透過 script 安裝成功，這時候可以訪問 外部 IP:8080 (port 8080 為 Jenkins 的預設值) 來執行 Jenkins。這時候你會發現無法存取，原因是因為對應的防火牆設定還未設定好，我們必須打開主機的 8080 port 來允許我們存取。
在預設的情況下對應的網路設定名稱應該是 default，在 Compute Engine > VM 執行個體 > 點選執行個體後，可以找到該個體所使用的網路設定
並在防火牆規則中，新增一筆資料


指定名稱為 Jenkins，流量方向為 <輸入> 並 <允許>，

來源 IP 範圍設定為 0.0.0.0/0 表示允許任何 IP 存取並指定通訊協定為 tcp:8080

建立後，8080上的 Jenkins 服務就可以正常存取，第一次使用畫面如下

如果能看到上述畫面，表示安裝已完成。接下來進入第二步驟設定 Jenkins

＊如果 jenkin 無法啟動，請確認 java 是否有安裝成功，安裝 java 可參考 Install Java

留言

張貼留言

這個網誌中的熱門文章

GCP DevOps 實作系列二 設定Jenkins

圖片
接續  GCP DevOps 實作系列一 建立執行個體 ，接下來要進行 Jenkins 的設定 [步驟二 設定 Jenkins] 第一次使用 Jenkins 時，可透過畫面指示找到一個預設的密碼，位置在 /var/lib/jenkins/secrets/initialAdminPassword ＊可透過  GCP DevOps 實作系列一  中提到的 SSH 連線到主機後取得 選推薦安裝 接下來就會進入安裝畫面 接著建立使用者 完成後就可以開始使用 Jenkins 由於這次的範例是使用 BitBucket 管控程式碼，為了讓 Jenkins 能夠與 BitBucket 溝通我們必須要安裝對應的 plugin，選擇 管理 Jenkins > 管理外掛程式 進入外掛程式管理後，選擇 可用的 > 輸入過濾條件 bitbucket > Bitbucket plugin 並直接安裝 安裝好 plugin 之後，可以嘗試建立一個 job 確認 Jenkins 是否可以正常運作。 首先，點選新增作業。進入新增作業頁面後，給予一個工作名稱 first_job (可自取) 並選擇 建置 Free-Style 軟體專案 接下來在建置段落中選擇執行 Shell  並鍵入 docker run hello-world 這個測試工作的目的只是確認 Jenkins 可以正常運作並執行 docker 指令，該指令會嘗試將 hello-world 映像檔 (image) 運行在容器 (Container) 中。 儲存後，點選儀表板左側的馬上建置，first_job 中所指定的工作就會被執行。 點選已執行任務後可在 Console Output 中看到 log，我們會發現 docker 發現沒有 hello-world 這個映像檔後，會自動抓取。成功下載後再建立容器運行映像檔 接下來要產出一組 RSA key 以供 Jenkins 能夠連到 BitBucket 取得程式碼 1. 透過 ssh 連到主機 2. 執行  sudo su jenkins 切換成 jenkins 使用者 3. cd ~ ，移動到家目錄
閱讀完整內容

如何新增使用者並開放 sudo 權限以及取消輸入密碼的要求

測試作業環境：GCE ubuntu 16.04 LTS 映像檔 如果想在 ubuntu 中加入一個新的 user，可以利用 sudo useradd [使用者名稱] 新增 例如新增一個使用者 james： sudo useradd james 執行上面指令後 james 就會被新增到系統中，之後如果需要執行 sudo 的指令，可以把 james 轉成 sudoer，最簡易的做法是直接把 james 指定為 sudo 的群組成員如下 sudo adduser james sudo 如果想確定是否加入成功可以執行下列指令，該指令會列出 james 所隸屬的群組 (sudo) groups james 成功加入 sudo 群組後，當執行 sudo 命令時，每次系統都會提示需要輸入密碼，相當的麻煩。如果你需要利用這個使用者來執行一些背景工作的時候也會相當困擾。有兩種修改方式 1. 修改 /etc/sudoers 檔案，開啟檔案後新增一筆權限說明 james ALL=(ALL) NOPASSWD: ALL 2. 如果 /etc/sudoers 有指定參考 /etc/sudoers.d 目錄，則在 /etc/sudoers.d 底下新增一個檔案 james.user 填入以下內容 james ALL=(ALL) NOPASSWD: ALL 修改成功後，之後 james 在使用 sudo 指定的時候就不需要再輸入密碼
閱讀完整內容

如何在不登入的情況下開放使用者上傳檔案到 Storage

圖片
找了好久終於找到  Policy Document  能夠在不登入 Google Account 的情況下，讓使用者能夠直接在網頁中透過 Form 上傳檔案到 Storage。 以下將分成四個部分來說明，先大致敘述一下流程 準備 Service Account p12 檔，可在 GCP Console  建立 準備要上傳物件的描述內容，包括 Bucket Key ACL Expiration 等等，其他內容可以參考  Policy Document 加密 將資訊填入 Form 後，上傳檔案 第一步：準備p12檔 登入  GCP Console  後可在 API 管理員 -> 憑證 -> 建立憑證 連結裡建立需要的憑證檔案 由於我們只需要用到 Storage 的功能，所以再分配角色權限上只需要分配對應的權限即可，如果需要用到其他服務則可參考能分配的權限進行分配。 建立好建立好服務帳戶後，p12檔會自動下載 到本機端。這個檔案只有一次下載機會，請務必保管好。 第二步：準備上傳物件的描述內容 根據  Policy Document  的說明，我們必須使用 JSON 格式來描述要上傳檔案的內容。其中必填的兩大項為  expiration：過期時間 ( ISO8601 格式)，當每次簽署  Policy Document  時，需要指定一個有效期限，當超過有效期限，則簽署會失效 conditions：描述上傳檔案內容 範例： {"expiration":"2017-04-24T11:11:51+02:00",   "conditions":[{"bucket":"upload"}, {"key":"myimg.png"}]} PHP Sample Code 第三步：加密 這個步驟要小心注意加密的順序，以及確認 p12 所在位置無誤 policy 必須是 utf-8 編碼 => policy_utf Base64 encode (policy_utf) => policy_
閱讀完整內容