Blogs on /dev/anil

Docker Görüntünüzün Boyutunu Minimize Edin

Wed, 23 Jun 2021 12:00:00 +0300

CI/CD gibi süreçlerimizi hızlandırmak için Docker Image boyutlarımızı minimize etmek önemlidir. Bu yazımızda basit bir Go uygulaması yazıp, hem Go’yu hem de Docker’ı optimize ederek 4 adımda Image boyutumuzu neredeyse 1GB’dan 1 MB’a kadar düşüreceğiz.

Ön Hazırlık

package main
import (
"fmt"
"net/http"
)
func main() {
http.HandleFunc("/", func (w http.ResponseWriter, _ *http.Request) {
fmt.Fprintf(w, "Hello World")
})
http.ListenAndServe(":80", nil)
}

Burada basit bir HTTP server başlatan 10 satırlık Go programı yazdık. Şimdi bunu adım adım Container haline getirelim.

Adım 1 - Yeni Bir Başlangıç

Öncelikle yazabileceğimiz en kötü Dockerfile’ı yazalım. Burada kısaca golang 1.16 image’ını kullanıyoruz ve uygulamamızı build edip entrypoint olarak belirtiyoruz.

FROM golang:1.16

WORKDIR /app
COPY . .

RUN go build -o /bin/blog-app

ENTRYPOINT ["/bin/blog-app"]

Build Sonucu Image Boyutu: 868 MB

Bu iyi bir image değil, boyutu gereksiz büyük. Bunu optimize etmeye başlayalım.

Adım 2 - Minimalizm Bazen İyidir

Şimdi yazdığımız bu Dockerfile’ı biraz daha optimize edelim ve alpine image’ı kullanalım. Bilmiyorsanız Alpine, image’ın boyutunu düşürmek için biçilmiş bir kaftandır, çünkü içerisinde temel os runtime’ları dışında pek bir binary yoktur. Buradan üstteki yaptıklarımızdan farklı olarak sadece ana image’ımızı Alpine olarak değiştiriyoruz.

FROM golang:1.16-alpine

WORKDIR /app
COPY . .

RUN go build -o /bin/blog-app

ENTRYPOINT ["/bin/blog-app"]

Build Sonucu Image Boyutu: 308 MB ~(-500MB)

Gördüğünüz gibi Alpine image’ına geçerek yaklaşık 500 MB tasarruf sağladık.

Adım 3 - Multi-Stage Build

Go’nun güzel özelliklerinden biride static build alabilmenizdir. Yani Go programınızın çalışması için libc gibi bağımlılıklara ihtiyaç duymadan çalışabilir. Burada artık multi-stage build dediğimiz yapıya geçiyoruz. Yani build’imizi Alpine image’ımızda yapıp, aldığımız build’i scratch dediğimiz boş bir image içerisine kopyalayıp orada çalıştırıyoruz.

### Stage 1
FROM golang:1.16-alpine AS builder

WORKDIR /app
COPY . .

RUN CGO_ENABLED=0 GOOS=linux go build -ldflags "-s -w" -o /app/blog-app

### Stage 2
FROM scratch
COPY --from=builder /app/blog-app /bin/blog-app
ENTRYPOINT ["/bin/blog-app"]

Build Sonucu Image Boyutu: 4.42 MB ~(-300MB)

Burada ise multi-stage build ile boş bir image’a geçerek 300 MB tasarruf sağlamış olduk. Yani sadece build ettiğimiz binary’nin boyutu kalıyor geriye. Hadi bunuda optimize edelim.

Adım 4 - UPX

Artık son adıma geldik. Burada ise UPX kullanarak build ettiğimiz static binary’i daha da minify edelim.

### Stage 1
FROM golang:1.16-alpine AS builder

WORKDIR /app
COPY . .

RUN CGO_ENABLED=0 GOOS=linux go build -ldflags "-s -w" -o /app/blog-app

RUN apk add upx
RUN upx --ultra-brute /app/blog-app

### Stage 2
FROM scratch
COPY --from=builder /app/blog-app /bin/blog-app
ENTRYPOINT ["/bin/blog-app"]

Build Sonucu Image Boyutu: 1.32 MB ~(-3MB)

Binary’mizide minify ettik ve 3 MB bir tasarruf sağlayarak image boyutumuzu 1 MB’a kadar indirmiş olduk. Unutmayın bu adımdaki boyut değişimi, sizin programızında ne kadar paket kullandığınıza ve ne kadar kod bulunduğa bağlı olarak değişebilir. Yani go build’i 100 MB çıkıyor ise UPX ile bunu 30 MB’a düşürebilirsiniz.

Sonuç

REPOSITORY	TAG	IMAGE ID	SIZE
blog	step-1	d96961d177b7	868MB
blog	step-2	7c874d66fd2d	308MB
blog	step-3	92e68959939e	4.42MB
blog	step-4	0a753fc54c4c	1.32MB

Günün sonunda yukarıdaki gibi bir tablo karşımıza çıkıyor. Optimizasyonlar ile birlikte image boyutumuzu 868 MB‘dan 1.32 MB‘a düşürmüş oluyoruz. Tabiki burada unutmamız gereken bazı maddeler var.

Image boyutu programınızın performansını etkilemez, ama bir çok süreci hızlandırabilir.
Eğer programınızın os veya paket bağımlılıkları varsa bunları Dockerfile’a eklemeniz gerekir ve boyutu küçülteyim derken anlaması zor complex bir Dockerfile üretebilirsiniz.
UPX her durumda gerekli olmayabilir, burada dikkat etmeniz gereken nokta sizin ne kadarlık bir boyuta kadar bunu tolere edebileceğiniz.

Umarım bu yazı sizin için faydalı olmuştur, bir sonraki yazılarda görüşmek üzere.

Bash Tricks

Sun, 13 Jun 2021 12:00:00 +0300

Bash bir yazılımcı için isviçre çakısı gibidir, ve bunu efektif kullanabilmek oldukça önemlidir. Bash’i efektif kullanabilmek için birbirinden güzel 15 bash tekniği.

Sihirli Parantezler

1- Eğer bir dosyanın uzantısını değiştirmek istiyorsanız uzun uzun yazmak yerine, iki süslü parantez koyarak bu sorunu hemen ortadan kaldırabilirsiniz.

>> mv ./file.{html,md}

2- Veya bir sayı kümesi oluşturup bunu iterate edebilirsiniz.

>> echo {1..3}
# {START..END..INCREMENT} pattern
for i in {0..7..2}
do;
echo "for loop n: $i";
done

Klasör İşlemleri

3- Genelde oluşturduğumuz dosyaların içine girmemiz gerekir. Ve bunu 2 komut girerek yapmaktansa kendimiz bir fonksiyon yazarak tek komuta indirebiliriz.

# bunu fonksiyonlarınızın olduğu dosyanın içine yapıştırın
mcd(){
mkdir -p "${1:?Need to specify an argument}" && cd "$1"
}
>> mcd test

4- Özellikle Java, C# gibi dillerle yazılan projelerde çok derin bir klasörleme olabiliyor ve bir süre sonra root dizine gitmek epeyce zorlaşabilir. Bunun için bir alias tanımlayarak hızlı bir şekilde projelerinizin root dizinine gidebilirsiniz.

# bunu alias'larınızı tanımladığınız dosyanın içine yerleştirin
# not: sadece git ile çalışılan projelerde çalışır
alias cdr='cd $(git rev-parse --show-toplevel)'

5- Bir önceki bulunduğunuz konumamı gitmek istiyorsunuz? O halde bir - ile bu sorunu çözebilirsiniz.

>> cd -

Semboller

6- Her yerde olduğu gibi değişkenler bash’dede önemlidir. $( ) sembolleri arasına yazdığınız karakterler bash’de değişken olarak yorumlanır.

>> touch foo-$(date -I)

7- Bir işlem yapıcaksınız ve bu işlemin çok uzun süreceğini mi düşünüyorsunuz? O halde bu işlemi arka planda çalıştırmak oldukça mantıklı olur. Komutunuzun sonuna & işareti ekleyerek işlemin arka planda çalışmasını sağlayabilir ve işinize kaldığınız yerden devam edebilirsiniz.

>> curl --upload-file ./hello.txt https://transfer.sh/hello.txt &
-- OUTPUT --
[1] 1564
[1] + 1564 done curl --upload-file ./default.md https://transfer.sh/default.md
# eğer işlem devam ederken, işlemi öldürmek isterseniz; kill [process id]
>> kill 1564

8- Örneğin üstteki örneğimizde ki gibi işlemi arka plana aldınız ve process id’sini unuttunuz. $! en son yürüttüğünüz arka plan işleminin ID’sini size vericektir.

>> sleep 60 &
[1] 1814
>> kill $!
[1] + 1814 terminated sleep 60

9- Son yazdığınız komutu tekrar mı yazmanız gerekiyor? O halde !! yazarak son yazılan komutu tekrar alabilirsiniz.

NOT: Aslında Terminal emülatörlerinde ileri geri tuşları ile bu daha kolay bir şekilde yapılabiliyor fakat Bash Script yazıyorsanız böyle bir imkanınız olmaz ve son komutu bu şekilde almak zorunda kalırsınız.

>> echo Hello World
Hello World
>> !!
-- RESULT --
>> echo Hello World

10- Peki komutu değilde son parametrelerini almak istiyorsak? Bu durumda ise !$ yardımımıza yetişiyor.

>> echo "Hello World"
Hello World
>> test !$
-- RESULT --
>> test "Hello World"
# farklı kullanımlar; 
# * `!:2-3` -> 2. ve 3. parametreyi alır
# * `!:2` -> sadece 2.parametreyi alır

Çeşitli

11- Eğer Linux terminalinde hızlı bir şekilde takvim görmek istiyorsanız, cal sizin için biçilmiş bir altın kaftandır.

# varsayılan olarak mevcut ayın takvimini gösterir
# Kullanımı: cal [[month] year]
>> cal
--- OUTPUT ---
June 2021
Su Mo Tu We Th Fr Sa
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30
>> cal 01 2010
--- OUTPUT ---
January 2010
Su Mo Tu We Th Fr Sa
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
## daha fazla örnek; cal -4, cal 2018

12- watch ile belirtilen komutu otomatik olarak tekrar tekrar çalıştırabilir ve sonuçları standart çıktıda görüntüleyebilirsiniz, böylece zaman içindeki değişimini de izleyebilirsiniz. watch Varsayılan olarak, komutu her iki saniyede bir çalıştırılır, ancak bu -n secs argümanı ile bu süreyi ayarlayabilirsiniz.

# mesela tüm nodejs process'lerini görüntüleyelim
>> watch "ps -e | grep node"
-- OUTPUT --
Every 2s: ps -e | grep node Sat Jun 12 21:00:00 2021
PID TTY TIME CMD
1167 pts/1 00:00:00 node
1189 pts/1 00:03:30 node
1224 pts/2 00:00:00 node
1235 pts/2 00:00:40 node

13- Bir çok kişi çok önemsemesede man komutu da aslında oldukça önemlidir. man komutu size terminal’de çalıştrabileceğiniz herhangi bir komutun kullanım klavuzunu gösterir. (İsim, Özet, Açıklama, Seçenekler, Çıkış Durumu, Dönüş Değerleri, Hatalar, Dosyalar, Versiyonlar, Örnekler, Yazarlar ve daha fazlası)

>> man xargs

Bash Script

14- Diyelim ki bir projemizin kurulumu için bash script yazıyoruz ve insanlar yazdığımız bu script’i wget ile internetten indiriyorlar. Fakat burada düşünmemiz gereken bazı durumlar var, örneğin kullanıcı script’i internetten çekerken internet bağlantısı gidebilir veya kötü bir bağlantıya sahip olabilir, bunlara bağlı olarak script’in sadece bir kısmı gelebilir. Daha sonra kullanıcı bunu çalıştırırsa (veya direk inline çalıştıracak şekilde yazdıysa komutu) sadece var olan kısmı çalışır ve aslında kurulumu yapamamış olur, işleri biraz daha karmaşıklaştırmış olur.

Bunun önüne geçmek bir main fonksiyon açıp, normalde fonksiyon dışına yazdığımız kodları bu fonksiyonun içerisine yazıyoruz. En son satırda da bu fonksiyonu çağırıyoruz. Bu sayede kullanıcı eğer script’in tamamını indirmediyse main fonksiyonu ve ona bağlı olarak çalışan fonksiyonlar da çalışmaz.

// Other Functions
main() {
// Your Codes
}
main "$@"

Klavye Kısayolları

15- İşinize yarıyacak bazı popüler terminal kısayolları.

Ctrl + R: Komut geçmişinizde arama yapar
Ctrl + E: İmleci en başa götürür
Ctrl + A: İmleci en sona götürür
Ctrl + U: İmlecin solundaki kısmı siler
Ctrl + K: İmlecin sağındaki kısmı siler
Ctrl + P: Komut geçmişinizde geri gider
Ctrl + L: Terminal ekranınızı temizler
Ctrl + D: Eğer aktif bir process’in içerisinde iseniz onu kapatır, değilseniz ve terminal’de herhangi bir şey yazılıysa imleçten sonraki karakteri siler, eğer hiçbişe yazılı değilse kullanıcıdan veya bulunduğun terminal’den çıkış yapar

Son

Umarım bu yazıyı okuyarak harcadığınız zamanı, buradan öğrendikleriniz ile telafi edebilirsiniz. Sonraki yazılarda görüşmek dileğiyle.

Cloud Storage'da Static Websitesi Barındırma

Wed, 26 May 2021 16:00:00 +0300

Bu yazıda kısaca static websitelerimizi nasıl Cloud Storage’da tek veya multi-region barındırabileceğimize bakacağız.

Static web siteleri, sayfa yayınlandıktan sonra içeriğin nadiren değiştiği veya dinamik olarak oluşturulan içeriğin olmadığı blog, portfolyo gibi siteler için iyi bir seçenektir. Static web siteleri, HTML, CSS ve JavaScript gibi istemci tarafı teknoloji içerebilirler. PHP gibi sunucu taraflı komut dosyaları, yani dinamik içerik içermezler.

Adımlar

Bir CNAME kaydı kullanarak alan adımızı Cloud Storage’a yönlendirme.
Alan adımıza bağlı bir Bucket oluşturma.
Sitemizi, oluşturduğumuz Bucket’a yükleme.
Bucket’ımızı internete açık hale getirme.
Özel index ve 404 sayfaları ayarlama.
Websitemizi test etme.

Alan Adınızı Cloud Storage’a Bağlayın

Alan adınızı (domain) Cloud Storage’a bağlamak için alan adı sağlayıcı firmanızın DNS yönetim paneline giriş yapın ve bir CNAME kaydı oluşturun. Bizim yapacağımız örnek için bu kayıt şu şekildedir;

NAME	TYPE	DATA
www	CNAME	c.storage.googleapis.com

Unutmayın: Eğer websitenizi bir alt alan adı’na (subdomin) kuracaksanız www yazan yere alt alan adınızı yazın. Ayrıca isterseniz direk www olmadan da ana alan adınıza yönlendirebilirsiniz. Eğer CloudFlare gibi sağlayıcılar kullanıyorsanız www to non-www gibi hileler yapabilirsiniz. Burası size kalmış.

NOT: Burdan sonra ki adımları ben Google Cloud’un CLI’ndan yapıcam. Siz isterseniz tüm adımları komutlarda ki keyword’leri Google Cloud Console’un UI’ndan bularak da yapabilirsiniz.

Bucket Oluşturun

Adı, alanınız için oluşturduğunuz CNAME kaydı ile eşleşen bir Bucket oluşturun.

Örneğin, example.com‘un www alt alanından c.storage.googleapis.com‘a işaret eden bir CNAME kaydı eklediyseniz, “www.example.com” adında bir Bucket oluşturun.

Örnek bir Bucket oluşturma;

gsutil mb gs://www.example.com

Ek olarak -l parametresi ile Bucket’ınızın bölgesini (asya, avrupa, multi-region vb.), -c parametresi ile sınıfını (nearline, cold, standart vb.), --retention parametresi ile de içindeki dosyaların ne kadar süre Bucket’da saklanacağını belirtebilirsiniz.

Dikkat: Bucket’a alan adınızın ismini verebilmeniz için, Google Search Console üzerinde alan adının size ait olduğunun doğrulanmış olması gerekir. Aksi takdirde herhangi bir domain için Bucket oluşturamazsınız. Bu konuda daha detaylı bilgi için burayı inceleyebilirsiniz: https://cloud.google.com/storage/docs/domain-name-verification

Sitenizi Yükleyin

Evet Bucket oluşturduğumuza göre sıra websitemizde sunmak istediğimiz içeriğine yani dosyalarımıza geldi.

Bilgisayarınızdaki bir dosyayı Bucket’a kopyalamak için cp komutunu kullanabilirsiniz;

gsutil cp Desktop/index.html gs://www.example.com

Eğer çok fazla sayıda dosya kopyalamak istiyorsanız, -R parametresi eşliğinde rsync komutunu kullanın. Bu komut klasör ve dosyalarınızı recursive (özyinelemeli) şekilde Bucket’ınıza kopyalar. local-dir adlı bir klasör için örnek;

gsutil rsync -R local-dir gs://www.example.com

Cloud Storage’da oluşturduğunuz Bucket’lar varsayılan olarak internete kapalıdır. Biz websitemizi insanlara açmak istediğimiz için internete açıcağız. Dosyalarınızın hassas veya özel bilgiler içermediğinden eminseniz, aşağıdaki komutu kullanarak sitenizi herkese açık hale getirebilirsiniz.

gsutil iam ch allUsers:legacyObjectReader gs://www.example.com

Eğer Bucket’daki dosyaların listesini insanların görebilmesini istiyorsanız allUsers:objectViewer yetkisini kullanabilirsiniz.

Özel Index ve 404 Sayfası Atayın

Bir diğer önemli nokta ise index ve 404 sayfamız. Cloud Storage kullanıcın istediği bir dosyayı bulamadığı zaman otomatik olarak 403 hata kodu döndürür. Buda sizin kullanıcıya bir 404 sayfası göstermeniz gerektiği anlamına gelir, aksi takdirde kullanıcıya bir içerik sağlanmaz. Bunun için web komutunu kullanabilirsiniz;

gsutil web set -m index.html -e 404.html gs://www.example.com

-m parametresi sizin ana sayfanızı temsil eder.
-e parametresi 404 sayfasını temsil eder.

Websitenizi Test Edin

Örneğin www.example.com adını koyduğunuz Bucket’ınızın içerisinde test.html adında bir dosya varsa arama motorunuzdan www.example.com/test.html adresine gidin. Eğer olması gereken içerik karşınıza çıktıysa tebrikler, artık static websiteniz Cloud Storage’da barınıyor, fakat karşınıza bir içerik çıkmadıysa bir şeyleri yanlış yapmışsınız demektir. Yaptıklarınızı gözden geçirin ve tekrar deneyin.

Yüksek Seviye Tasarım

Websitemizin altyapısı genel olarak buna benzemiş oluyor.

Ekstra: Yarattığınızı Bucket’ı Silmek

Eğer yarattığınız Bucket’ı ve silmek istiyorsanız rm komutunu kullanabilirsiniz. İşte bir örnek;

gsutil rm -r gs://www.example.com

(-r) parametresi Bucket içerisinde ki içeriğinde silinmesini sağlar.

Okuduğunuz için teşekkürler, umarım konuyu anlayabilmiş ve yazıyı beğenmişsinizdir. Bir sonra ki yazılarda görüşmek dileğiyle.

OpenTelemetry ve Cloud Trace Kullanarak Servislerizi Dağıtık Olarak İzleyin

Tue, 25 May 2021 16:00:00 +0300

Dağıtılmış izleme, çok katmanlı bir mikro servis mimarisine ilişkin öngörü ve gözlemlenebilirlik elde etmek için önemlidir. Servis A’dan servis B’ye servis çağrılarına, servis çağrılarına zincirleme yaptığınızda, çağrıların başarılı olduğunu ve ayrıca her adımdaki gecikmeyi anlamak önemlidir.

İşte tam da bu noktada karşımıza Cloud Trace çıkıyor. Cloud Trace servislerimizi izlemek için dağıtık bir Cloud çözümüdür. Bu yazıda Cloud Trace’i anlamak için basit bir Go uygulaması yazıcaz ve OpenTelemetry Go SDK’i kullarak uygulamamızı izleyeceğiz.

Kısaca OpenTelemetry Nedir?

OpenTelemetry 2019 yılında OpenCensus ve OpenTracing projelerinin birleşmesiyle oluşmuş, uygulamanızı dağıtık biçimde izleme ve ölçüm yapmak için tek bir API seti sağlayan, kitaplık ve toplayıcı hizmetidir.

Dikkat: OpenTelemetry tracing özelliği 2021 Şubat ayı itibariyle 1.0 sürümüne ulaşmıştır. Go SDK’i ise henüz Pre-GA aşamasında olduğundan, bu %100 kararlı genel kullanılabilir hale gelene kadar bazı şeylerin değişebileceği anlamına gelir.

Genel Bakış

Uygulamaya geçmeden önce kısa bir ön bilgi ile bazı OpenTelemetry terimlerini tanıyalım.

> Span

“Span”, dağıtık bir sistemde yapılan bağımsız iş birimini temsil eden, dağıtılmış bir sistemi izlemenin birincil yapı taşıdır.

Dağıtılmış sistemin her bileşeni, iş akışının bir parçasını temsil eden, adlandırılmış ve zamanlanmış bir işlem olan bir Span’a katkıda bulunur.

Span’ler, diğer Span’ler için “Referanslar” içerebilirler, bu da birden fazla Span’in tek bir yerde birleştirilmesine olanak sağlar ve bir talebin ömrünün, dağıtık bir sistemde hareket ederken görselleştirilmesi sağlanır.

Her Span, OpenTelemetry spesifikasyonuna göre aşağıdaki maddeleri içerisinde barındırır:

Span adı
Durum
Bir başlangıç ve bitiş zaman damgası
Span’ı benzersiz şekilde tanımlayan değişmez bir SpanContext
Zaman damgalı olarak Event‘lerin listesi
Span, SpanContext veya null biçimindeki bir üst yayılma alanı
Span’in Öznitelikleri
Span’in Türü

Dikkat: Span’ler isimlendirilirken insanların anlıyabileceği şekilde isimlendirmek önemlidir.

Span Adı Kılavuz

get Çok genel

get_account/42 Çok spesifik

get_account Gayet iyi, ayrıca account_id=42 güzel bir Span özniteliği olabilir

get_account/{account_id} Daha da iyi (HTTP endpoint’ini gösteriyor)

Span Adı	Kılavuz
`get`	Çok genel
`get_account/42`	Çok spesifik
`get_account`	Gayet iyi, ayrıca `account_id=42` güzel bir Span özniteliği olabilir
`get_account/{account_id}`	Daha da iyi (HTTP endpoint’ini gösteriyor)

> SpanContext

SpanContext, bir Span’in içeriğini tutan değiştirilemez yapıdır. OpenTelemetry spesifikasyonuna göre içerisinde şunları barındırır:

TraceId (16 byte)
SpanId (8 byte)
TraceFlags
TrackState

> Tracer & TracerProvider

Tracer, Span oluşturmaktan sorumlu birimdir. TracerProvider ise oluşturduğumuz Tracer’lara ulaşmamızı sağlar.

Uygulamalı Olarak Öğrenelim

Bunun için basit bir kurgu oluşturalım. Örneğin bir HTTP sunucumuz olsun ve /run endpoint’ine istek geldiği zaman golang/go projesinin GitHub’daki bazı istatistiklerini kullanıcının önündeki sayfaya yazdırsın ve bunu yaparkende hangi işlemin ne kadar sürdüğünü göstersin.

Hazırlık

Başlamadan önce OpenTelemetry’nin ve Google Cloud’un Go paketlerini kurmamız gerekiyor.

go get -u go.opentelemetry.io/otel
go get -u github.com/GoogleCloudPlatform/opentelemetry-operations-go/exporter/trace

Main

// GitHub API dökümanlarına göre oluşturduğumuz Go veri yapımız
// ref: https://docs.github.com/en/rest/reference/repos#get-a-repository
type Repository struct {
Id int `json:"id"`
StargazersCount int `json:"stargazers_count"`
Forks int `json:"forks"`
Name string `json:"name"`
FullName string `json:"full_name"`
}
var (
httpClient = &http.Client{Timeout: 5 * time.Second}
tracer trace.Tracer
)
func main() {
initTracer() // Tracer'ımızı başlatıyoruz

serveHTTP() // HTTP sunucumuzu başlatıyoruz
}

Önce GitHub API’ndan gelecek yanıt için bir veri yapısı oluşturduk, daha sonra HTTP Client’ımızı ve ileride initialize edeceğimiz Tracer’ımızı belirledik. En sonda ise servisimiz çalışmaya başladığında otomatik olarak çalıştırılacak olan main fonksiyonunu yazıp, içinde initTracer ve serveHTTP adında iki farklı fonksiyon çağırdık. Bu fonksiyonları sonraki adımlarda tanımlayacağız.

HTTP Server

func serveHTTP() {
port := os.Getenv("PORT") // ortam değişkenlerinden `PORT` değerini al
 if port == "" {
port = "8080" // eğer yoksa varsayılan olarak olarak `8080` portunu kullan
 log.Printf("defaulting to port %s", port)
}
http.HandleFunc("/run", handler) // run endpoint'i için bir handler ayarla

log.Printf("server starting at: %s", port)
log.Fatal(http.ListenAndServe(":"+port, nil)) // sunucuya başlat
}

Go içerisinde built-in bir şekilde gelen net/http paketi ile oldukça kolay bir şekilde HTTP server yaratabilirsiniz. Üstteki kod parçamızda da serverHTTP metodunda bir HTTP server yarattık ve /run endpoint’i için bir handler fonksiyonu belirledik. Bu fonksiyonu da ileriki adımlarda tanımlayacağız.

Initialize Tracer

func initTracer() {
// Cloud Trace Exporter'ımız
 exporter, err := texporter.NewExporter(texporter.WithTraceClientOptions([]option.ClientOption{
option.WithTelemetryDisabled(), // exporter'ın kendinide izlemesini kapattık
 }))
if err != nil {
log.Fatalf("texporter.NewExporter: %v", err)
}
// Yeni bir TracerProvider oluşturuyoruz
 tp := sdktrace.NewTracerProvider(sdktrace.WithBatcher(exporter,
// yığını her saniyede bir gönder
 sdktrace.WithBatchTimeout(time.Second),
// maksimum yığın büyüklüğü
 sdktrace.WithMaxExportBatchSize(16)),
// bu sadece örnek öznitelikler eklemesi için varolan bir ayar
 // bunu production ortamında yazmanıza gerek yok
 sdktrace.WithSampler(sdktrace.AlwaysSample()),
// tüm Span'lere eklenicek attribute'ler
 sdktrace.WithResource(resource.NewWithAttributes(
attribute.String("service.name", "sample-service"),
attribute.String("service.version", "1.0.0"),
attribute.String("instance.id", "foo12345"),
)),
)
// Global olarak TracerProvider'ımızı belirtiyoruz
 otel.SetTracerProvider(tp)
// Global olarak belirttiğimiz TracerProvider'ımızından Tracer'ımızı alıyoruz
 tracer = otel.GetTracerProvider().Tracer("company.com/trace")
defer func() {
if err := tp.ForceFlush(context.Background()); err != nil {
log.Println("failed to flush tracer")
}
}()
}

Burada ise Span’lerimizi Cloud Trace‘e göndermek için bir Exporter oluşturduk ve bazı ayarlar ile yeni bir TracerProvider yaratıp, bunu global olarak belirttik.

Yukarıdaki örnekte Google Cloud ile authenticate yaparken ben Application Default credentials’ları kullandım. Bu kodları local’de çalıştırmaya çalıştırdığınızda Permission Denied hatası almanız olasıdır. Google Cloud ortamlarında bu credentials’lar zaten hali hazırda bulunur ve sizin ek olarak bir şey yapmanıza gerek kalmaz. Fakat local development için bunu sizin sağlamanız gerekir. Bu ayrı bir makale konusu olduğu için buna şu an burada değinmiyorum.

Fakat bunu nasıl yapıcağınızı öğrenmek için bir kaç yardımcı kaynağı buraya bırakıyorum:

Önemli: Genelde örneklerde TelemetryProvider şu şekilde tanımlanır:
tp := sdktrace.NewTracerProvider(sdktrace.WithSyncer(exporter))
Fakat bu şekilde tanımlarsanız, her Span bittiği zaman veriyi Google Cloud’a göndermeye çalışır. Bu da sizin 100ms sürecek işleminizi kat ve kat uzatabilir.

Örneklerde Span’in olası bir durumda kaybolmaması için böyle yapılmasını öneriyor olabilir fakat bu yanlış bir yaklaşım diyebiliriz. Bu durum kullanıcıyı etkiler, ekranda daha uzun süre beklemesine yol açar.

Bunun yerine yukarıdaki örnekteki gibi arka planda, belli zaman aralıkları ile (bizim yaptığımız örnek için bu süre 1 saniye) toplu bir şekilde Span’leri göndermek bizim için daha verimli olur.

Bu sayede işlem olması gerektiği sürede tamamlanır. Olası bir durumda ise en fazla 1 saniye aralıktaki Span’leri kaybedersiniz, ki bu kabul edilebilir bir değer.

Handler & Tracing

func handler(w http.ResponseWriter, r *http.Request) {
// `/run` adında yeni bir Span oluşturuyoruz ve start timestamp'ini başlatıyoruz
 // subCtx = sub context
 subCtx, span := tracer.Start(r.Context(), "/run")
// event ekliyoruz ve ne olduğunu yazıyoruz
 // burası için event 'handling request'
 span.AddEvent("handling request")
// en başta tanımladığımız Repository modelinden yeni bir tane oluşturuyoruz
 repo := new(Repository)
// sub context kullanarak GitHub API'ından `golang/go` projesinin
 // istatistiklerini çekiyoruz.
 err := fetchJSON(subCtx, "https://api.github.com/repos/golang/go", repo)
// burada sub context ile yeni bir Span oluşturuyoruz ve adını 'write' koyuyoruz
 // yani bu durumda ilk oluşturduğumuz Span bizim root Span'imiz olurken
 // burada oluşturduğumuz Span, Child oluyor
 _, wSpan := tracer.Start(subCtx, "write")
// en son gelin oluşturduğumuz Span'i bitirmesini yani end timestamp'ini yazmasını istiyoruz
 defer wSpan.End()
// eğer hata varsa diye hatayı kontrol ediyoruz
 if err != nil {
w.WriteHeader(http.StatusInternalServerError)
_, _ = fmt.Fprintf(io.MultiWriter(os.Stderr, w), "error: %v\n", err)
return
}
// burada hata olmadığını doğruladığımız için root Span'imize dönen veriye göre bazı
 // attribute'ler yani öznitelikler atıyoruz
 span.SetAttributes(
attribute.String("golang.go.repo.name", repo.FullName),
attribute.Int("golang.go.repo.id", repo.Id),
attribute.Int("golang.go.repo.stars", repo.StargazersCount),
)
// sonucu ekrana yazdırıyoruz
 _, _ = fmt.Fprintf(w,
"===== %s =====\nRepository: %s (ID: %d)\nStar Count: %d\nFork Count: %d\nURL: https://github.com/%s",
repo.FullName, repo.Name, repo.Id, repo.StargazersCount, repo.Forks, repo.FullName,
)
// root Span'imizi sonlandırıyoruz
 span.End()
}

Burada kısaca GitHub API’ndan go/golang projesinin bilgisini çekip ekrana yazdırdık ve bunu yaparken gelen yanıtın ekrana ne kadar sürede yazdırıldığını ve tüm işlemin ne kadar sürdüğünü görmek için 1 root 1 child olmak üzere 2 adet Span yaratıp bir kaç attribute ve event ekledik.

func fetchJSON(ctx context.Context, url string, target interface{}) error {
// yine bir Span yarattık, bu Span'in amacı adındanda anlaşılacağı
 // üzere GitHub API'ndan verinin gelme süresini bize göstericek
 // unutmayın: gelen context, sub context olduğu için bu Span'de child oluyor
 subCtx, span := tracer.Start(ctx, "fetch json")
// bu sefer yolladığımız request'de olağandışı bir durum olursa oluşturduğumuz
 // Span'in sonsuza kadar devam etmemesi için Span Context'ine bir timeout koyduk
 _, cancel := context.WithTimeout(subCtx, time.Second * 3)
// eğer her şey yolunda giderse en son gelip bu timeout'u iptal etmesini söyledik
 defer cancel()
// Tam bu anda GitHub API'ına request gönderildiğini bildirmek için bir event ekledik
 span.AddEvent("fetching repo info from github")
r, err := httpClient.Get(url)
if err != nil {
return err
}
// requst'den dönen cevabın durum kodunu 'attribute' olarak ekledik
 span.SetAttributes(attribute.KeyValue{
Key: "github.resp.status.code",
Value: attribute.IntValue(r.StatusCode),
})
// en başta oluşturduğumuz Span'i sonlandırdık
 span.End()
defer func(Body io.ReadCloser) {
_ = Body.Close()
}(r.Body)
// JSON parse süremizi hesaplamak için bir child Span daha oluşturduk
 _, span = tracer.Start(ctx, "parse json")
// burada da en son gelip bu Span'i bitirmesini söyledik
 defer span.End()
return json.NewDecoder(r.Body).Decode(target)
}

Son olarak burada üstteki Span’imiz için 2 child Span daha oluşturduk, birinde GitHub API’ndan verinin bize ne kadar sürede geldiğini, diğerinde ise gelen veriyi ne kadar sürede JSON’a parse ettiğimizi tuttuk ve yine bir kaç attribute ve event ekledik.

Günün sonunda toplam 4 farklı işlemin kaydını tutmuş olduk, bunları listelemek gerekirse;

Tüm işlemin ne kadar sürdüğü (root)
- GitHub API’ndan verinin bize ne kadar sürede geldiği (child)
- Verinin ne kadar sürede JSON’a parse ettiğimiz (child)
- İşlenmiş veriyi ekrana ne kadar sürede yazdırdığımız (child)

Sonuç

go run . yazarak kodlarımızı çalıştırıp, /run endpoint’ine request attıktan sonra Cloud Trace’e girip bakıyoruz.

Burada net bir şekilde yazdığımız kodların çalıştığını ve önümüze sonucun yazdırıldığını görüyoruz.

Örnek olarak yaptığımız çağrıları Scatter Chart’da ve sağdaki listede açıkça görebiliyoruz. Aslında buradan bile basit bir çıkarım yapabiliriz. İlk yaptığımız çağrı 435ms sürerken, daha sonra ki çağrıların 53ms‘e kadar düştüğünü görüyoruz. Buradan ilk attığımız istekte, istediğimiz verinin veya bizim credentials’larımızın GitHub’ın önbelleğinde olmadığının çıkarımını yapıyoruz ve bunu doğrulamak için Span’leri birbirleri ile karşılaştırıyoruz.

Sonra karşımıza şöyle bir tablo çıkıyor;

request total (/run)	fetch json	parse json	write
434.984ms	433.595ms	1.18ms	0.017ms
53.129ms	52.646ms	0.374ms	0.018ms

Bu tablodanda anlıyacağınız üzere, fetch json işlemi üstte dediğimiz sebepten ötürü yaklaşık 8 kat daha uzun sürüyor. Daha sonraki request’lerde bu süre düşüyor. parse json ve write işlemleri kısmen yakın görünüyor. Buda gecikmenin fetch json işleminden kaynaklandığını tekrardan doğruluyor.

Evet yine burada görebileceğiniz üzere, root Span’e bastığımız zaman bize hangi işlemin ne kadar sürdüğünü, eventleri ile birlikte gösteriyor. Ayrıca kodumuzda belirttiğimiz tüm attribute’ler sağ altta bulunan Labels kısmında da bu tablodaki gibi gözüküyor;

Label	Value
golang.go.repo.name	golang/go
golang.go.repo.id	23096959
golang.go.repo.star	86023
service.version	1.0.0
instance.id	foo12345
g.co/agent	opentelemetry-go 0.20.0; google-cloud-trace-exporter 0.20.0

Böylece Span hakkında daha fazla bilgi edinip, servisimizin olağındışı çalışması durumunda olayı daha kolay anlayabiliyoruz.

Bu yapıyı biraz daha geliştirip, HTTP, gRPC gibi server’larımıza middleware exporter’lar koyup bu veriyi daha da detaylandırabilir, yine distributed bir şekilde Span’lerle loglarımızı ilişkilendirebiliriz.

Son

Günün sonunda dağıtılmış bir sistemi Cloud Trace ve OpenTelemetry ile Tracer, Span gibi yapılar kullanarak adım adım izleyebildiğimizi ve bunları görselleştirip, yapılan çağrıların ve işlemlerin ne kadar sürdüğünü görebildiğimizi öğrendik. Ayrıca Span’leri birbirleri ile karşılaştırıp servisimizin yavaş kaldığı noktaları bulup buraları optimize edebileceğimizi de görmüş olduk. OpenTelemetry’nin mantığını anladıktan sonra bunu sadece Go ile değil tüm dillerde rahatça kullanabileceğinizi unutmayın.

Konuyu elimden geldiğince açık ve net anlatmaya çalıştım. Umarım yazıyı beğenmiş ve bir şeyler öğrenebilmişsinizdir. Bir sonraki yazılarda görüşmek dileğiyle.

Yazdığımız kodlara ulaşmak için: Github

Öğrenmeye Devam Edin

Öğrenmeye devam etmek isteyenler için konu ile ilgili bir kaç bağlantı.

Blogs on /dev/anil

Docker Görüntünüzün Boyutunu Minimize Edin

Ön Hazırlık

Adım 1 - Yeni Bir Başlangıç

Adım 2 - Minimalizm Bazen İyidir

Adım 3 - Multi-Stage Build

Adım 4 - UPX

Sonuç

Bash Tricks

Sihirli Parantezler

Klasör İşlemleri

Semboller

Çeşitli

Bash Script

Klavye Kısayolları

Son

Cloud Storage'da Static Websitesi Barındırma

Adımlar

Alan Adınızı Cloud Storage’a Bağlayın

Bucket Oluşturun

Sitenizi Yükleyin

Dosyalarınızı Herkese Açık Hale Getirin

Özel Index ve 404 Sayfası Atayın

Websitenizi Test Edin

Yüksek Seviye Tasarım

Ekstra: Yarattığınızı Bucket’ı Silmek

OpenTelemetry ve Cloud Trace Kullanarak Servislerizi Dağıtık Olarak İzleyin

Kısaca OpenTelemetry Nedir?

Genel Bakış

> Span

> SpanContext

> Tracer & TracerProvider

Uygulamalı Olarak Öğrenelim

Hazırlık

Main

HTTP Server

Initialize Tracer

Handler & Tracing

Sonuç

Son

Öğrenmeye Devam Edin