27 Ekim 2010 Çarşamba

Oracle shared server opsiyonu ve IFS

Geçenlerde, IFS ERP uzmanı olarak çalışmaya devam eden arkadaşlarımdan birisi aradı.
Garip bir sorunundan bahsetti.

Problem oluşan sistem özellikleri
----------------------------------------
windows 2008 server 32 bit
8 gb ram
100+ acık kullanıcı connection
vs.

Problem Açıklaması
----------------------------------------
Database e belirli bir sayı üstü kullanıcı bağlandığında sistem yeni connection isteklerine
cevap vermiyormuş. Ta ki bazı connectionlar kapatılıncaya kadar.
Bu sorun oluştuğu anda ise sistem ram inin 2.6 gb gibi bir kısmı yani yarıdan az kısmı kullanılıyormuş.


Hımmm.

Oracle database e bağlanma sürecine biraz daha yakından bakacak olursak;

Oracle listener, her dedicated session için server tarafında bir dedicated server process
oluşturur(veya oluşturmaya çalışır). Bu oluşturulan process belirli miktarda bellek kullanır.
32 bit işletim sistemlerinde oracle, 2.5-3 gb civarının üstünde ram
kullanamadığından bu sorun oluşuyor. (2.5 - 3 gb den fazla ram kullanamama sorunu,
oracle dan değil 32 bit mimariden kaynaklanıyor yanlış anlaşılmasın )

Şimdi bir kere en iyi çözüm 64 bit işletim sistemine oracle kurmak ve gerekiyorsa sisteme ram eklemek.
Sonrada gerekli Oracle memory parametrelerini set etmek.

İkinci en iyi çözüm shared server opsiyonunu aktifleştirmek. Çünkü bu şekilde
her yeni connection için yeni bir dedicated server açılmayacak. Dolayısıyla memory
dolmayacak. Ama yoğun data kullanan kullanıcıların biraz daha yavaş çalışması duruma göre söz konusu.

Peki IFS ortamında nasıl yaparız bu
oracle shared server ı aktifleştirme işini?
------------------------------------------
1) Server parametrelerinde değişiklikler

alter system set shared_servers=10;
alter system set dispatchers='(PROTOCOL=TCP)';

Yukarıdaki sql statement lerini çalıştırdıktan bir süre sonra tns yöntemi dışı tüm bağlantılar
shared olmaya başlayacaktır.

Bu durumu aşağıdaki query ile de inceleyebilirsiniz.
SERVER sütünu SHARED ve NONE olan bağlantılar shared bağlantılardır.

select username,server from v$session order by server desc

Oracle parametrelerini burada sadece memory ye set ettik yani
database restart ında shared server konfigurasyonumuz yok olacak.
Parametrelerin kalıcı olması için testlerin ardından parametre dosyası güncellenebilir.

2) Client tarafında değişiklikler

IFS teki(Centura desek daha doğru) bağlantı tanımları runtime klasörü altındaki sql.ini dosyasından yapılıyor.
Bu dosya içerisinde, [oragtwy] tiketi altındaki remotedbname değerleri
bizim database bağlantılarımız.Örneğin sql.ini dosyamız aşağıdaki gibi olsun.

[oragtwy]
longbuffer=32760
fetchrow=20
maperror=OFF
substitute=SYSSQL.,
remotedbname=gercek,@//bizim_server_name_veya_ip:1521/bizim_sid

yukarıdaki 1. adımdaki server parametreleri set edildikten sonra,
buradaki "gercek" bağlantısından bağlanan tüm yeni client bağlantıları,
shared server connection u açarlar.

Burada bir sorun var .Tüm kullanıcı bağlantıları shared oldu. Fakat ben
bazı kullanıcılarımın performans açısından shared değil dedicated bağlanmasını
istiyorum diyebilirsiniz.

İşte bunu sağlayabilmek için sql.ini dosyasındaki, remotedbname imizi aşağıdaki
gibi değiştirmeliyiz.

remotedbname=gercek,@//bizim_sid

Buradaki bizim_sid, tnsnames.ora dosyasındaki tns ismidir.

Bu noktadan sonra bağlantının shared veya dedicated olması oracle client tnsnames dosyasına bağlıdır.

Dedicated için, aşağıdaki gibi bir tnsnames.ora tanımlaması olabilir.
Burada "SERVER=dedicated" olan bölümü "SERVER=shared" yaparsak bağlantı shared oluşturulmaya çalışılır..
Böylece her kullanıcıya, kendini bilgisayarıdaki tnsnames.ora da gerekli ayarları yaparak,
shared mı yoksa dedicated mı bağlantı yapacağı tanımlanabilir.

bizim_sid=
(DESCRIPTION=
(ADDRESS=
(PROTOCOL=TCP)
(HOST=bizim_server_name_veya_ip)
(PORT=1521)
)
(CONNECT_DATA=
(SERVER=dedicated)
(SID=BIZIM_SID)
)
)


Burada anlattıklarıma temel olan oracle versiyonları 10g ve 11g.
Ayrıca ASMM(Automatic Shared Memory Management 10g) veya
AMM(AutomaticMemory Managemet 11g) özelliklerinin aktif olduğunu varsaydım.
Bu varsayımımım yanlışsa, large_pool değerinin 50 mb civarı olarak, shared server konfigurasyonundan önce
ayarlanması gereklidir.Bu değer de duruma göre arttırılabilir.

Daha eski versiyonlar için farklı database configurasyonu gerekli olabilir.

Daha fazla bilgi için aşağıdaki bağlantılar da incelenebilir.

http://barisakverdi.blogspot.com/2010/10/oracle-shared-server-opsiyonu.html
http://barisakverdi.blogspot.com/2010/10/oracle-shared-server-konfigurasyonu.html
http://download.oracle.com/docs/cd/B28359_01/server.111/b28310/manproc001.htm
http://download.oracle.com/docs/cd/B10500_01/network.920/a96580/connect.htm
http://download.oracle.com/docs/cd/B10500_01/network.920/a96580/mts.htm
http://www.dba-oracle.com/t_mts_multithreaded_servers_shared.htm

26 Ekim 2010 Salı

ORACLE-Shared server konfigurasyonu

Shared server özelliğini kullanabilmek için server(gerekli parametrelerin set edilmesi) ve client(tnsnames.ora) tarafında bazı ayarlar gerekli olabilir

Oracle 10g ve 11g versiyonlarında shared_servers ve dispatchers initialization
parametrelerinin set edilmesi ile server tarafında shared server
özelliği aktifleştirilmiş olur.
Bu parametreler database in restart edilmesine ihtiyaç duymayan parametrelerdendir.

Şu anki durumu görmek için aşağıdaki sorgu kullanılabilir.

select name,value from v$parameter
where name = 'shared_servers'

select name,value from v$parameter
where name = 'dispatchers'


shared_servers parametresi 1 den büyük bir değere set edilerek shared server
konfigurasyonu aktif edilmiş olur.
Shared server konfigurasyonunu aktif oracle instance ına uygulamak için
aşağıdaki komutları kullanabilirsiniz. Herhangibir değişiklik yapmadan önce eski
değerleri bir kenara yazmanızda her zaman fayda vardır.

alter system set shared_servers=5;
alter system set dispatchers='(PROTOCOL=TCP)';


Yapılan değişikli kısa bir süre sonra aktif olacaktır.
Bu değişiklikler aktif olduktan sonra, eğer bağlantı için
tns yöntemi kullanılıyorsa, tnsnames.ora dosyasındaki ayarlar bağlantının
shared veya dedicated olmasını belirler.
Mesela aşağıdaki gibi bir tnsnames.ora dosyası ile bağlantı yapılıyorsa
oluşan bağlantı shared olur.

bizim_db=
(DESCRIPTION=
(ADDRESS=
(PROTOCOL=TCP)
(HOST=bizim_host_veya_ip)
(PORT=1521)
)
(CONNECT_DATA=
(SERVER=shared)
(SID=bizim_db)
)
)

Benzer şekilde TNSNAMES.ORA dosyasındaki,
SERVER=dedicated şeklindeki kullanım bağlantının dedicated yapılması gerektiğini bildirecektir.

Easy connect veya connection string ile bağlanma durumunda
default olarak bağlantı shared olacaktır.

Kurulan bağlantının dedicated veya shared olduğunu tespit etmek için
v$session görünümü kullanılabilir.

select username,server from v$session order by server desc

Burada server sütünu SHARED ve NONE olan bağlantılar shared bağlantılardır.

alter system komutu ile yapılan değişiklikler kalıcı olsun istiyorsanız,
kullandığınız server parametre dosyasında gerekli değişiklikleri yapmalısınız.

Buradaki shared_servers parametresinin değerini duruma göre ayarlayabilirsiniz.
5 yerine 10 shared server ile de başlayabilirdik mesela.
Ayrıca max_shared_servers parametresini set ederek açılabilecek max server process
sayısını da set edebilirdik.

Daha fazla bilgi için aşağıdaki bağlantı incelenebilir.

http://download.oracle.com/docs/cd/B28359_01/server.111/b28310/manproc003.htm

ORACLE-Shared server opsiyonu

Oracle database , kendisine gelen request(istek) leri cevaplamak için
server tarafında server process ler oluşturur. Bu oluşturulan process ler
bizim query(insert,update ..) lerimizi gerçekleştirirler.

Kullanıcı isteklerini karşılamak için Oracle ın kullandığı
server process lerinin iki türü vardır. Dedicated ve shared.

Kısaca; dedicated server process leri yalnız bir session a hizmet eder.
Yani her farklı session için ayrı bir dedicated server process i tahsis edilir.
Shared server process leri birden çok session a hizmet eder.
Yani her farklı session için ayrı bir shared server process i tahsis edilmez.
Başlangıçtaki shared server sayısı ve max shared server sayısı
tanımlanabilir.

Pek çok kaynakta dedicated ve shared server process leri arası farkı
açıklamak için lokanta-garson ilişkisi kullanılıyor.
Ben de burada aynı örneği vereceğim.

Diyelim ki bir lokantaya gittiniz. Bu lokantada, bir garson size tahsis edilmiş durumda ve bu garson başka hiçbir işle uğraşmadan sizin ihtiyaçlarınızla ilgileniyor.
İşte dedicated server bağlantısıda aynen bu şekilde çalışıyor.

Bu lokantadaki 3 garson sizin ve diğer müşterilerin ihtiyaçları ile
ilgileniyor olursa, bu durumda shared server connection larının çalışma
şeklini örneklemekte.

Anlattıklarımızı gerçek dünyaya ölçeklendirelim.
Diyelimki database imize bağlanan ortalama 200 user session ı oluyor.
Bu durumda shared server mimarisini kullanarak, bu 200 user session ı
10 ile 30 arası shared server process i kullansın diyebiliriz.

Ne zaman tercih edilmeli ?
----------------------------

* Eğer connection sayınız 100 üzeri ise,
* 32 bit server kullanıyorsanız,
* Uygulama web uygulaması ise,
* Oracle, yeterince güçlü bir donanım üzerinde çalıştırılmıyorsa,
bu opsiyon değerlendirilebilir diye düşünüyorum.

Eğer zaman zaman veya devamlı olarak, yeni connection açarken
oracle hatası alıyor ve connection açamıyorsanız sorun
yeni dedicated process oluşturmak için yeterli boş bellek bulunmaması olabilir.
Bu durumdaysanız, ya acilen server
belleğini arttırmalı(64 bit işletim sistemi kullanmıyorsanız işe yaramayabilir)
yada shared server konfigurasyonu yapmalısınız.

Acılan her dedicated server process i için memory ve
kaynak tahsis edilir. Shared server bağlantıarı kullanılan durumda
gerekli kaynak ihtiyacı da düşmektedir.

Shared database connection larının en iyi kullanım şekli,
database e bağlı kalan fakat çoğu zaman aktif olarak iş yapmayan kullanıcılar
için kullanılmalarıdır.


Dedicated ve shared server bağlantıları bir arada kullanılabilir.
Yani mesela, database e giriş yapan bir kullanıcı grubu
shared connection kullanırken, raporlama yapan bir başka kullanıcı grubu
dedicated connection kullanabilir.

Daha fazla bilgi için aşağıdaki bağlantılara gözatabilirsiniz.

http://www.dba-oracle.com/t_mts_multithreaded_servers_shared.htm
http://download.oracle.com/docs/cd/B28359_01/server.111/b28310/manproc001.htm

20 Ekim 2010 Çarşamba

MySQL - Too Many Connections error

"Too Many Connections" hatası çeşitli nedenlerle oluşabilir;

* Aynı anda çok sayıda connection oluşturulması
* Eski connection ların yeteri kadar hızlı serbest bırakılamaması
* Eski konnection ların bir nedenle kapatılmaması

MySQL ayarlarında ve application kodlarında çeşitli
değişiklikler yapılarak bu hata düzeltilir.

KOD SEVİYESİNDE YAPILABİLECEKLER
-----------------------------------------
* Eğer kalıcı bir connection dan bahsetmiyorsak, açılan connection un kapatılmasının
garanti altına alınmış olmalıdır. Aksi taktirde, mesela bir exception sonucu açılan connection nun
close edilmemesi, gibi bir nedenle Too Many Connections error alınabilir. Yada açılan connection un kapatılması unutulmuş olabilir.

* Uzun zaman alan query lerin tune edilmesi

MYSQL SERVER AYARLARI İLE İLGİLİ YAPILABİLECEKLER
---------------------------------------------------
* max_connections parametresinin arttırılması
Açılabilecek max. connection sayısı "max_connections" global değişkeni ile kontrol edilir.
MySQL 5.1.15 ve sonrasında bu değişkenin default değeri 151 gelmektedir.
mysql, max_connectionsparametresi değerinin 1 fazlası kadar bağlantıya izin verir.
Bu bir fazla kısma sadece SUPER yetkisine sahip kullanıcı bağlanabilir.
Bu nedenle de applicationda kullanılan user ın SUPER yetkisine sahip bir user olmaması
önemlidir.

Şu andaki aktif bağlantılar SHOW PROCESSLIST komutu ile görüntülenebilir.

max_connections parametresinin değeri arttırırken dikkatli olmak gereklidir.
Çünkü sonuçta her yeni connection bir miktar sistem kaynağı kullanır.

* max_user_connections parametresinin set edilmesi

Herhangibir user için veya genel olarak bir user ın
açabileceği maximum connection sayısı set edilmelidir.
Default olarak her kullanıcı sınırsız sayıda session açabilir.

* wait_timeout ve interactive_timeout parametrelerinin set edilmesi

Bu parametreler set edilerek, belli bir süre iş yapmayan sessionlar
otomatik olarak sonlandırılabilir.
Default olarak wait_timeout ve interactive_timeout
değişkenlerinin değeri 8 saattir.
Yani mysql e bağlanan kullanıcı hiçbir iş yapmazsa
8 saat sonra connection otomatik kapatılır.

Daha fazla bilgi için aşağıdaki bağlantılar faydalı olacaktır.

http://dev.mysql.com/doc/refman/5.1/en/too-many-connections.html
http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_wait_timeout
http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_interactive_timeout
http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html#sysvar_max_user_connections

19 Ekim 2010 Salı

Netbeans - wsimport karakter sorunu

Netbeans te hazırladığım projede, webservis import aşamasından sonra
oluşan kaynak kodlarda , netbeans tarafından generate edilen ve kodu
bozan ek java kodları oluşmaya başladı.
Farkettim ki bu sorun windows işletim sisteminin
regional settings i ile ilgili imiş.
Windows Regional Settings - Format alanını US yapınca sorun çözüldü.

1 Ekim 2010 Cuma

Adım adım MySQL Replication

Başlangıç olarak master ve slave tarafında MySQL server in kurulu olduğunu,
her iki server için gerekli network ayarlarının yapıldığını varsayıyorum.

Öncelik replikasyon için gerekli olan bazı MySQL server konfigurasyon
ayarlarının her iki taraf için de kontrol edilmesi gerekiyor.
Bu ayarlar işletim sisteminize bağlı olarak my.cnf veya my.ini
dosyası içerisinde bulunabilir. Ben burada işletim sisteminin
linux olduğunu varsayarak devam edeceğim.

1-Master veritabanında slave için user oluşturulması

Master da çalıştırılacak;


mysql> GRANT REPLICATION SLAVE ON *.* TO `slaveuser`@`slave_ip` IDENTIFIED BY '1234';



2-MySQL parametrelerinin ayarlanması

Master için;


[mysqld]
server_id=10
log_bin = mysql-bin




Slave için;


[mysqld]
server_id=20
log_bin = mysql-bin
relay_log = mysql-relay-bin
log_slave_updates = 1
read_only = 1



Burada "server_id" , her database server e farklı atamanız gereken bir tamsayıdır.
Ben bu server_id nin IP adresi ile ilişkilendirerek kullanıyorum.
Mesela, server IP adresi 192.168.2.10 için kullanacağımız server_id de 10 olacak.

3-Master ve slave veritabanlarının kapatılması

Yukarıdaki değişiklikleri yaptıktan sonra server larımızın kapatılıp açılması gerekiyor. Böylece değişikliklerimiz aktif olacak. Şimdi her iki
veritabanını da kapatıyoruz.

Master ve slave de çalıştırılacak;


-bash-3.2$ /etc/init.d/mysql stop



Bu aşamada MySQL server larımızın konfigurasyon dosyaları replikasyona hazır durumda.

4-Master veritabanının slave e kopyalanması

Önce slave veritabanınızın data klasörünü tamamen silin.
Burada my.cnf veya my.ini konfigurasyon dosyası data klasöründeyse bu dosyayı değiştirmemeye/silmemeye dikkat etmeniz yeterli.
Master veritabanına ait data klasörünü slave veritabanımızın data klasörüne kopyalayın. Böylece her iki veri tabanımız eşitlenmiş olacak. (Kopyalama sırasında master hemde slave veritabanları
kapalı olmalı.)

Böylece slave veritabanımızın, master ile aynı olmasını sağlamış olduk.

5-Master ve slave veri tabanlarının açılması

Master ve slave de çalıştırılır;



-bash-3.2$ /etc/init.d/mysql start



6-Slave veritabanının master a bağlanması için gerekli parametrelerin set edilmesi

Aşağıdaki komutu çalıştırarak slave veritabanının master veritabanına
replikasyon için bağlantı parametreleri set edilir.


mysql> CHANGE MASTER TO
MASTER_HOST='ServerIP/FQDN',
MASTER_USER='ReplClient',
MASTER_PASSWORD='ClientPassword';



7-Replikasyonun başlatılması ve kontrol edilmesi

Slave tarafında start slave komutu çalıştırılarak replikasyon başlatılır.


mysql> START SLAVE;



Slave tarafında SHOW SLAVE STATUS komutu ile replikasyon durumu görüntülenir.
Gelen ekranda herhangibir error olmamalıdır.


mysql> SHOW SLAVE STATUS\G



NOTLAR
***************************************

Replikasyonu başlatabilmek için, slave veritabanına , master daki hangi
noktadan değişiklikleri uygulamaya başlayacağını bildirmek gerekiyor.
Bu nedenle master veritabanını kapatmadan slave veritabanı konfigure etmek
ek adımlar ile mümkün. Biz burada master varitabanını kapatıp kopyalarak
her iki veri tabanını eşitleme adımını başarmış olduk.

Eğer başarı ile replikasyonu tamamlayabildiysek,
bundan sonra master a uygulanan ve veritabanında değişiklik yaratan
her query, slave e uygulandığından, slave deki verimiz master dakine
maximum eşitlikte olacaktır. Burada maximum eşitlikte diyorum çünkü
örneğin insert deyimi içinde now() fonksiyonu kullanırsanız
slave tarafındaki veri, master tarafından farklı olabilecektir.
(Statement Based Replication)

Daha fazla bilgi için aşağıdaki linki inceleyebilirsiniz.

http://dev.mysql.com/doc/refman/5.1/en/replication-sbr-rbr.html

Daha fazla bilgi için;

http://dev.mysql.com/doc/refman/5.1/en/replication-howto.html