آموزش برنامه نویسی

نکته ای جالب درباره کار با OracleCachedRowSet

محمد امین نامیار — Wed, 05 May 2010 08:11:02 GMT

خوب همون طور که میدونید یکی از روشهای اتصال به پایگاه های داده ، اتصال غیر متصله(Disconnected Mode ) ... و تفاوت این نوع اتصال با نوع مقابلش که روش متصله ( Connected ) اینه که پس از اجرای عملیات چه Callable Statement و یا اجرای Query به یکباره تمام اطلاعات رو دریافت میکنه و در حافظه برای استفاده نگهداری میکنه و خوب چون به سرعت کارشو با دیتابیس تموم میکنه و ارتباطو منتظر خوندن ما نمیذاره من خیلی دوستش دارم ... کلاس OracleCachedRowSet هم دقیقا یکی از همین ابزار هاست و دقیقا همین کارو برای ما میکنه ... 1 - برقراری ارتباط 2 - انجام عملیات (مثلا Select )

3 - قطع ارتباط ... خیلی رویاییه نه ؟ اما تا حالا فکر کردین برای واکشی 8 میلیون رکورد حداقل 8 فیلدی حالا با حجم متوسط چه باید کرد ؟ و این حجم دیتا کجا باید قرار بگیره ؟

خوب من با یک سیستم عامل Suse Linux 64 bit و 16 GB حافظه مشکل رو حل کردم و تقریبا 7 گیگا بایت از حافظه سرورم رو با یک Select اشغال کردم ...اما اگه این حجم دیتا دوبرابر بشه چی ؟

برای رفع این مشکل حتما از Paging در OracleCachedRowSetاستفاده کنید و هربار تعداد مشخصی از دیتا رو برحسب مقدار حافظه تون واکشی کنید. مثلا برای 8 میلیون هر با 1 میلیون دیتا بردارید ... البته باید اینو هم در نظر بگیرید که هر بار دیگه دیتاهای واکشی قبل رو در اختیار ندارید. پس سعی کنید در هر واکشی کارتونو با اون مقدار تموم کنید و نکته مهمتر اینکه این گونه کارها حتما باید با دیتابیس های آفلاین انجام بشه و گرنه با این مشکل اساسی برای دیتابیستون درست میکنید.

الگوریتم BlueFish برای Encryption

محمد امین نامیار — Wed, 05 May 2010 07:05:07 GMT

    String mode = "Blowfish/CBC/PKCS5Padding";
    String algorithm = "Blowfish";
    byte[] result = null;
    byte secret[] = "yourkey".getBytes();

    Key key = new SecretKeySpec(secret, algorithm);
    byte[] ivBytes =
        new byte[] { 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00 };
    IvParameterSpec iv = new IvParameterSpec(ivBytes);

// -------------------------------------------------------

    public byte[] Crypto(byte[] input,
                         int EnMode) throws NoSuchAlgorithmException,
                                            NoSuchPaddingException,
                                            InvalidKeyException,
                                            InvalidAlgorithmParameterException,
                                            IllegalBlockSizeException,
                                            BadPaddingException {

        Cipher cipher = null;
        byte[] coded = null;
        cipher = Cipher.getInstance(mode);
        cipher.init(EnMode, key, iv);
        coded = cipher.doFinal(input);
        return coded;
    }

فقط کافیه که متدش رو صدا بزنید و بایت های خودتونو برای Encryption ارسال کنید.

نحوه استفاده از OracleDataSource ...

محمد امین نامیار — Wed, 05 May 2010 06:57:26 GMT

    static {
        try {
            odsH = new OracleDataSource();
            odsH.setURL(cnnStr);
            odsH.setUser(UserName);
            odsH.setPassword(Pass);
            odsH.setConnectionCachingEnabled(true);
            odsH.setConnectionCacheName(CACHE_NAME);
            Properties cacheProps = new Properties();
            cacheProps.setProperty("PropertyCheckInterval", "1");
            cacheProps.setProperty("InitialLimit", "5");
            cacheProps.setProperty("MinLimit", "5");
            cacheProps.setProperty("MaxLimit", "20");
            cacheProps.setProperty("ValidateConnection", "True");
            odsH.setConnectionCacheProperties(cacheProps);
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }

    public Connection getConnection() throws InterruptedException {
        int i = 0;
        Connection cnn = null;
        while (i < 10) {
            try {
                cnn = odsH.getConnection();
                break;
            } catch (SQLException e) {
                i++;
                Thread.sleep(500);
            }
        }
        return cnn;
    }

همینطور که میبینید با استفاده از این DataSource مدیریت تعداد Connection و همینطور Connection Pooling رو در اختیار این کلاس قرار میدیم ... این کلاس واقعا این کار رو راحت میکنه و من به شما توصیه میکنم اگه از JDBC استفاده میکنید حتما ازش استفاده کنید.

مبدل ایران سیستم به Unicode

محمد امین نامیار — Wed, 05 May 2010 06:47:40 GMT

public class IranSystemToUnicode {

    private static int[][] Charset = new int[78][3];

    IranSystemToUnicode() {
}

    static {
        Charset[0][0] = 141;
        Charset[0][1] = 0x0622;
        Charset[0][2] = 0;
        Charset[1][0] = 142;
        Charset[1][1] = 0x0626;
        Charset[1][2] = 0;
        Charset[2][0] = 143;
        Charset[2][1] = 0x0621;
        Charset[2][2] = 0;
        Charset[3][0] = 144;
        Charset[3][1] = 0x0627;
        Charset[3][2] = 0;
        Charset[4][0] = 145;
        Charset[4][1] = 0x0627;
        Charset[4][2] = 0;
        Charset[5][0] = 146;
        Charset[5][1] = 0x0628;
        Charset[5][2] = 1;
        Charset[6][0] = 147;
        Charset[6][1] = 0x0628;
        Charset[6][2] = 0;
        Charset[7][0] = 148;
        Charset[7][1] = 0x067e;
        Charset[7][2] = 1;
        Charset[8][0] = 149;
        Charset[8][1] = 0x067e;
        Charset[8][2] = 0;
        Charset[9][0] = 150;
        Charset[9][1] = 0x062a;
        Charset[9][2] = 1;
        Charset[10][0] = 151;
        Charset[10][1] = 0x062a;
        Charset[10][2] = 0;
        Charset[11][0] = 152;
        Charset[11][1] = 0x062b;
        Charset[11][2] = 1;
        Charset[12][0] = 153;
        Charset[12][1] = 0x062b;
        Charset[12][2] = 0;
        Charset[13][0] = 154;
        Charset[13][1] = 0x062c;
        Charset[13][2] = 1;
        Charset[14][0] = 155;
        Charset[14][1] = 0x062c;
        Charset[14][2] = 0;
        Charset[15][0] = 156;
        Charset[15][1] = 0x0686;
        Charset[15][2] = 1;
        Charset[16][0] = 157;
        Charset[16][1] = 0x0686;
        Charset[16][2] = 0;
        Charset[17][0] = 158;
        Charset[17][1] = 0x062d;
        Charset[17][2] = 1;
        Charset[18][0] = 159;
        Charset[18][1] = 0x062d;
        Charset[18][2] = 0;
        Charset[19][0] = 160;
        Charset[19][1] = 0x062e;
        Charset[19][2] = 1;
        Charset[20][0] = 161;
        Charset[20][1] = 0x062e;
        Charset[20][2] = 0;
        Charset[21][0] = 162;
        Charset[21][1] = 0x062f;
        Charset[21][2] = 0;
        Charset[22][0] = 163;
        Charset[22][1] = 0x0630;
        Charset[22][2] = 0;
        Charset[23][0] = 164;
        Charset[23][1] = 0x0631;
        Charset[23][2] = 0;
        Charset[24][0] = 165;
        Charset[24][1] = 0x0632;
        Charset[24][2] = 0;
        Charset[25][0] = 166;
        Charset[25][1] = 0x0698;
        Charset[25][2] = 0;
        Charset[26][0] = 167;
        Charset[26][1] = 0x0633;
        Charset[26][2] = 1;
        Charset[27][0] = 168;
        Charset[27][1] = 0x0633;
        Charset[27][2] = 0;
        Charset[28][0] = 169;
        Charset[28][1] = 0x0634;
        Charset[28][2] = 1;
        Charset[29][0] = 170;
        Charset[29][1] = 0x0634;
        Charset[29][2] = 0;
        Charset[30][0] = 171;
        Charset[30][1] = 0x0635;
        Charset[30][2] = 1;
        Charset[31][0] = 172;
        Charset[31][1] = 0x0635;
        Charset[31][2] = 0;
        Charset[32][0] = 173;
        Charset[32][1] = 0x0636;
        Charset[32][2] = 1;
        Charset[33][0] = 174;
        Charset[33][1] = 0x0636;
        Charset[33][2] = 0;
        Charset[34][0] = 175;
        Charset[34][1] = 0x0637;
        Charset[34][2] = 0;
        Charset[35][0] = 224;
        Charset[35][1] = 0x0638;
        Charset[35][2] = 0;
        Charset[36][0] = 225;
        Charset[36][1] = 0x0639;
        Charset[36][2] = 1;
        Charset[37][0] = 226;
        Charset[37][1] = 0x0639;
        Charset[37][2] = 1;
        Charset[38][0] = 227;
        Charset[38][1] = 0x0639;
        Charset[38][2] = 0;
        Charset[39][0] = 228;
        Charset[39][1] = 0x0639;
        Charset[39][2] = 0;
        Charset[40][0] = 229;
        Charset[40][1] = 0x063a;
        Charset[40][2] = 1;
        Charset[41][0] = 230;
        Charset[41][1] = 0x063a;
        Charset[41][2] = 1;
        Charset[42][0] = 231;
        Charset[42][1] = 0x063a;
        Charset[42][2] = 0;
        Charset[43][0] = 232;
        Charset[43][1] = 0x063a;
        Charset[43][2] = 0;
        Charset[44][0] = 233;
        Charset[44][1] = 0x0641;
        Charset[44][2] = 1;
        Charset[45][0] = 234;
        Charset[45][1] = 0x0641;
        Charset[45][2] = 0;
        Charset[46][0] = 235;
        Charset[46][1] = 0x0642;
        Charset[46][2] = 1;
        Charset[47][0] = 236;
        Charset[47][1] = 0x0642;
        Charset[47][2] = 0;
        Charset[48][0] = 237;
        Charset[48][1] = 0x06a9;
        Charset[48][2] = 1;
        Charset[49][0] = 238;
        Charset[49][1] = 0x06a9;
        Charset[49][2] = 0;
        Charset[50][0] = 239;
        Charset[50][1] = 0x06af;
        Charset[50][2] = 1;
        Charset[51][0] = 240;
        Charset[51][1] = 0x06af;
        Charset[51][2] = 0;
        Charset[52][0] = 241;
        Charset[52][1] = 0x0644;
        Charset[52][2] = 1;
        Charset[53][0] = 243;
        Charset[53][1] = 0x0644;
        Charset[53][2] = 0;
        Charset[54][0] = 244;
        Charset[54][1] = 0x0645;
        Charset[54][2] = 1;
        Charset[55][0] = 245;
        Charset[55][1] = 0x0645;
        Charset[55][2] = 0;
        Charset[56][0] = 246;
        Charset[56][1] = 0x0646;
        Charset[56][2] = 1;
        Charset[57][0] = 247;
        Charset[57][1] = 0x0646;
        Charset[57][2] = 0;
        Charset[58][0] = 248;
        Charset[58][1] = 0x0648;
        Charset[58][2] = 0;
        Charset[59][0] = 249;
        Charset[59][1] = 0x0647;
        Charset[59][2] = 1;
        Charset[60][0] = 250;
        Charset[60][1] = 0x0647;
        Charset[60][2] = 0;
        Charset[61][0] = 251;
        Charset[61][1] = 0x0647;
        Charset[61][2] = 0;
        Charset[62][0] = 252;
        Charset[62][1] = 0x06cc;
        Charset[62][2] = 1;
        Charset[63][0] = 253;
        Charset[63][1] = 0x06cc;
        Charset[63][2] = 1;
        Charset[64][0] = 254;
        Charset[64][1] = 0x06cc;
        Charset[64][2] = 0;
        Charset[65][0] = 128;
        Charset[65][1] = 0x06f0;
        Charset[65][2] = 0;
        Charset[66][0] = 129;
        Charset[66][1] = 0x06f1;
        Charset[66][2] = 0;
        Charset[67][0] = 130;
        Charset[67][1] = 0x06f2;
        Charset[67][2] = 0;
        Charset[68][0] = 131;
        Charset[68][1] = 0x06f3;
        Charset[68][2] = 0;
        Charset[69][0] = 132;
        Charset[69][1] = 0x06f4;
        Charset[69][2] = 0;
        Charset[70][0] = 133;
        Charset[70][1] = 0x06f5;
        Charset[70][2] = 0;
        Charset[71][0] = 134;
        Charset[71][1] = 0x06f6;
        Charset[71][2] = 0;
        Charset[72][0] = 135;
        Charset[72][1] = 0x06f7;
        Charset[72][2] = 0;
        Charset[73][0] = 136;
        Charset[73][1] = 0x06f8;
        Charset[73][2] = 0;
        Charset[74][0] = 137;
        Charset[74][1] = 0x06f9;
        Charset[74][2] = 0;
        Charset[75][0] = 138;
        Charset[75][1] = 0x060c;
        Charset[75][2] = 0;
        Charset[76][0] = 139;
        Charset[76][1] = 0x002d;
        Charset[76][2] = 0;
        Charset[77][0] = 140;
        Charset[77][1] = 0x061f;
        Charset[77][2] = 0;
    }

    public String IS_Convert(byte[] Buffer) throws Exception {
        try {
            String result = "";
            char[] Number = new char[Buffer.length];
            int[] inBuffer = new int[Buffer.length];
            int Counter = 0;
            for (int RCounter = 0; RCounter < inBuffer.length; RCounter++) {
                inBuffer[(inBuffer.length - 1) - RCounter] = (int) Buffer[RCounter] + 256;
            }
            for (int Counter1 = 0; Counter1 < inBuffer.length; Counter1++) {
                if ((inBuffer[Counter1] < 128) || (inBuffer[Counter1] > 254)) {
                    result += (char) (inBuffer[Counter1] - 256);
                } else {
                    if (inBuffer[Counter1] == 242) {
                        result += "" + (char) 0x0644 + (char) 0x627;
                    } else {
                        for (int Counter2 = 0; Counter2 < 75; Counter2++) {
                            if (inBuffer[Counter1] == Charset[Counter2][0]) {
                                if ((inBuffer[Counter1] > 127) && inBuffer[Counter1] < 138) {
                                    Number[(inBuffer.length - 1) - Counter] = (char) Charset[Counter2][1];
                                    Counter++;
                                } else {
                                    result += new String(Number, (inBuffer.length) - Counter, Counter);
                                    Counter = 0;
                                    result += (char) Charset[Counter2][1];
                                    if (Charset[Counter2][2] == 1) {
                                        result += " ";
                                    }
                                }
                                break;
                            }
                        }
                    }
                }
            }
            if (Counter > 0) {
                result += new String(Number, (inBuffer.length) - Counter, Counter);
            }
            return result;
        } catch (Exception e) {
            throw new Exception("Converting IranSystem");
        }
    }
}

دوستان همونطور که می دونید برای تبدیل فایل به utf 8 فقط کافیه که کاراکترهای صفر تا 128 رو تبدبل نکنید و برای تبدیل به unicode - utf16 BE,LE بخش بی ارزش کاراکتر رو در همون رنج با صفر پر کنید. تا دوبایت کامل باشه و تگ nuicode در ابتداری فایل فراموش نشه !

Persian Calender With Java

محمد امین نامیار — Sun, 12 Apr 2009 08:07:34 GMT

اینم یه مبدل تقویم ....

public class Persion_Calendar {

public static String Get_Persion_Date(String P_Year, String P_DayOfYear) {

    int PYear = 0;
    int PMonth = 0;
    int PDay = 0;
    int MaxDay = 0;
    int Mode = 0;
    int MYear = Integer.parseInt(P_Year);
    int MDayOfYear = Integer.parseInt(P_DayOfYear);
    Mode = MYear % 4;

    if (Mode == 0) {
      MaxDay = 366;
    } else {
      MaxDay = 365;
    }
    PDay = MDayOfYear + 286;
    if (PDay > MaxDay) {
      PDay -= MaxDay;
    }
    if ((PDay <= MaxDay) && (PDay > 286)) {
      PYear = MYear - 622;
    } else {
      PYear = MYear - 621;
    }
    Mode = PYear % 4;
    if (Mode == 3) {
      MaxDay = 366;
      PDay++;
    }
    if ((PDay > 336) && (PDay <= MaxDay)) {
      PMonth = 12;
      PDay -= 336;
    } else if ((PDay > 306) && (PDay <= 336)) {
      PMonth = 11;
      PDay -= 306;
    } else if ((PDay > 276) && (PDay <= 306)) {
      PMonth = 10;
      PDay -= 276;
    } else if ((PDay > 246) && (PDay <= 276)) {
      PMonth = 9;
      PDay -= 246;
    } else if ((PDay > 216) && (PDay <= 246)) {
      PMonth = 8;
      PDay -= 216;
    } else if ((PDay > 186) && (PDay <= 216)) {
      PMonth = 7;
      PDay -= 186;
    } else if ((PDay > 155) && (PDay <= 186)) {
      PMonth = 6;
      PDay -= 155;
    } else if ((PDay > 124) && (PDay <= 155)) {
      PMonth = 5;
      PDay -= 124;
    } else if ((PDay > 93) && (PDay <= 124)) {
      PMonth = 4;
      PDay -= 93;
    } else if ((PDay > 62) && (PDay <= 93)) {
      PMonth = 3;
      PDay -= 62;
    } else if ((PDay > 31) && (PDay <= 62)) {
      PMonth = 2;
      PDay -= 31;
    } else if (PDay <= 31) {
      PMonth = 1;
    }
    String Year = String.valueOf(PYear);
    String Month = String.valueOf(PMonth);
    String Day = String.valueOf(PDay);
    if (Month.length() < 2) {
      Month = "0" + Month;
    }
    if (Day.length() < 2) {
      Day = "0" + Day;
    }
    return Year.toString() + "/" + Month.toString() + "/" + Day.toString();
}
}

MAC (کد تصدیق پیام)

محمد امین نامیار — Sat, 11 Apr 2009 08:03:46 GMT

package isoPack;

import java.util.Arrays;

import javax.crypto.Cipher;
import javax.crypto.spec.IvParameterSpec;
import javax.crypto.spec.SecretKeySpec;

public class MACObject {

private byte[] input;
private byte[] MAC;
private byte[] keyBytes;
private byte[] ivBytes = { 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00 };
private static String digits = "0123456789ABCDEF";

private String AlgorithmName = "DES";
private String AlgorithmMode = "CBC";
private String Padding = "NoPadding";
private String ProviderName = "BC";
private int BlockSize = 8;

/**
   * @return
   * @throws Exception
   */
public boolean CompareMAC() throws Exception {
    return Arrays.equals(MakeMAC(input), MAC);
}

/**
   * Make and return the passed in byte array as a MAC.
   * @param input
   * @return byte array
   * @throws Exception
   */
public byte[] MakeMAC(byte[] input) throws Exception {

    //    Mac mac = Mac.getInstance(AlgorithmName, ProviderName);
    //    Key macKey = new SecretKeySpec(keyBytes, AlgorithmName);
    //    mac.init(macKey);
    //    byte[] halfMACKey = mac.doFinal(input);
    //    System.out.println(Utils.toHex(halfMACKey));

    // Paddin Computation
    if (input.length % BlockSize != 0) {
      int padding = BlockSize - (input.length % BlockSize);
      byte temp[] = new byte[padding + input.length];
      System.arraycopy(input, 0, temp, 0, input.length);
      for (int i = 0; i < padding; i++) {
        temp[input.length + i] = 0;
      }
      return ComputeMAC(temp);
    } else {
      return ComputeMAC(input);
    }
}

/**
   *
   * @param input
   * @return
   * @throws Exception
   */
private byte[] ComputeMAC(byte[] input) throws Exception {
    Cipher cipher = null;
    byte[] result = null;
    byte MacByte[] = new byte[8];
    IvParameterSpec iv = new IvParameterSpec(ivBytes);
    SecretKeySpec key = new SecretKeySpec(keyBytes, AlgorithmName);
    cipher =
        Cipher.getInstance(AlgorithmName + "/" + AlgorithmMode + "/" + Padding);

    cipher.init(Cipher.ENCRYPT_MODE, key, iv);
    result = cipher.doFinal(input);
    for (int i = 8; i > 0; i--) {
      MacByte[8 - i] = result[result.length - i];
    }

//        for (int i = 0; i < input.length; i += BlockSize) {
//          cipher.init(Cipher.ENCRYPT_MODE, key, iv);
//          result = cipher.doFinal(input, i, BlockSize);
//          iv = new IvParameterSpec(result);
//        }
    return MacByte;

}

private static byte[] ToEightByteArray(byte[] LongMac) {
    int len = LongMac.length;
    StringBuilder stb = new StringBuilder();
    for (int i = 0; i < LongMac.length; i += 2) {
      stb.append((char)((byte)LongMac[i]));
      stb.append((char)((byte)LongMac[i + 1]));
    }
    byte[] data = new byte[len / 2];
    for (int i = 0; i < len; i += 2) {
      data[i / 2] =
          (byte)((Character.digit(stb.charAt(i), 16) << 4) + Character.digit(stb.charAt(i +
                                                                                        1),
                                                                             16));
    }
    return data;
}

/**
   * Return length many bytes of the passed in byte array as a hex string.
   *
   * @param data the bytes to be converted.
   * @param length the number of bytes in the data block to be converted.
   * @return a hex representation of length bytes of data.
   */
public static String toHex(byte[] data, int length) {
    StringBuffer buf = new StringBuffer();

    for (int i = 0; i != length; i++) {
      int v = data[i] & 0xff;
      buf.append(digits.charAt(v >> 4));
      buf.append(digits.charAt(v & 0xf));
      buf.append(" ");
    }

return buf.toString();
}

/**
   * Return the passed in byte array as a hex string.
   *
   * @param data the bytes to be converted.
   * @return a hex representation of data.
   */
public static String toHex(byte[] data) {
    return toHex(data, data.length);
}

public byte[] getInput() {
return input;
}

public void setInput(byte[] input) {
this.input = input;
}

public byte[] getKeyBytes() {
return keyBytes;
}

public void setKeyBytes(byte[] keyBytes) {
this.keyBytes = keyBytes;
}

public byte[] getIvBytes() {
return ivBytes;
}

public void setIvBytes(byte[] ivBytes) {
this.ivBytes = ivBytes;
}

public String getAlgorithmName() {
return AlgorithmName;
}

public void setAlgorithmName(String AlgorithmName) {
this.AlgorithmName = AlgorithmName;
}

public String getProviderName() {
return ProviderName;
}

public void setProviderName(String ProviderName) {
this.ProviderName = ProviderName;
}

public int getBlockSize() {
return BlockSize;
}

public void setBlockSize(int BlockSize) {
this.BlockSize = BlockSize;
}

public byte[] getMAC() {
return MAC;
}

public void setMAC(byte[] MAC) throws Exception {
    if (MAC.length == 8) {
      this.MAC = MAC;
    } else if (MAC.length == 16) {
      this.MAC = ToEightByteArray(MAC);
    } else
      throw new Exception("Mac should be 8 or 16 bits !!!");
}

public String getAlgorithmMode() {
return AlgorithmMode;
}

public void setAlgorithmMode(String AlgorithmMode) {
this.AlgorithmMode = AlgorithmMode;
}

public String getPadding() {
return Padding;
}

public void setPadding(String Padding) {
this.Padding = Padding;
}

}

همون طور که می بینید این Package شامل قطعه برنامه ایه که با استفاده از BCB اعتبار پیام فرستاده شده روی استاندارد Iso8583 رو بررسی میکنه ... اگه به کد دقت کنید متوجه میشید که بعضی از قسمت ها بعد از بهینه سازی کد Comment شده که توی زمان ساخت MAC و مقایسه با MAC اصلی صرفه جویی زیادی شده ....

قدمهای اصلی در فرایند طراحی مدل چندبعدی سیستم :

محمد امین نامیار — Sun, 28 Dec 2008 09:24:09 GMT

فرایند طراحی مدل چندبعدی بصورت بالا به پایین می باشد و دارای چهار قدم اصلی زیر است :

1- انتخاب فرایند تجاری: این فرایند، فرایند عملیاتی اصلی در سازمان مورد نظر می باشد . این سازمان شامل چندین سیستم می باشد که در آن داده ها برای پایگاه پردازش تحلیلی جمع آوری می شوند. به عنوان مثال : سیستم سفارش کالا, سیستم موجودی کالا و سیستم خرید.

2- انتخاب دانه : دانه در واقع یک رکورد در جدول حقیقت می باشد و می تواند یک تراکنش خاص باشد.

3- انتخاب بعدها : مانند زمان، محصول و مشتری. پس از انتخاب هر بعد، ویژگیهای آن بعد شناسایی می شوند.

4- انتخاب حقایق قابل اندازه گیری جدول حقایق : این حقایق مقادیر شمارشی و افزودنی می باشند.

علاوه براین پایگاه پردازش تحلیلی شامل پارامترهای تحلیلی نیز می باشد که در واقع داده تفصیلی یکی از بعدهای اصلی می باشد. پارامتر تحلیلی رکوردی از جدول حقیقت است که خلاصه ای از بعضی رکوردهای جدول حقیقت سطح پایه را ارائه می دهد. رکورد جدول حقیقت تحلیلی غالبا بایک یا چند رکورد جدول بعد تحلیلی در ارتباط است.

حجم‌های داده‌ای

محمد امین نامیار — Wed, 24 Dec 2008 05:26:13 GMT

حجم‌های داده‌ای

حجم‌های داده‌ای یا Cube از ارتباط تعدادی بعد با تعدادی شاخص تعریف می‌‌شود. ترکیب memberهای هر بعد از حجم داده‌ای فضای منطقی را تعریف می‌کند که در آن مقادیر شاخص‌ها ظاهر می‌‌شوند. هر بخش مجزا که شامل یکی از memberهای بعد در حجم داده‌ای است ، سلول نامیده‌می‌شود. سلول‌ها شاخص‌های مربوط به تجمیع‌های مختلف را در خود نگهداری می‌نمایند. در واقع مقادیر مربوط به حقایق که در جدول حقایق تعریف می‌شوند در حجم داده‌ای در سلول‌ها نمایان می‌گردند.

محورهای حجم داده‌ای، صفت‌های موجودیت‌های انبار را مشخص می‌کنند. به بیان دیگر هر محور مشخص کننده یک بعد از انبار است و هر مقدار روی محور یک member از آن بعد را مشخص می‌نماید.

حجم داده‌ای بر خلاف آن چه از نام لاتینش استنباط می‌‌گردد و در نمودارها به نمایش در می‌آید، در انبارهای داده واقعی می‌تواند بسیار بیشتر از دو بعد داشته باشد.

مدل‌های داده‌ای رابطه‌ای وچندبعدی

محمد امین نامیار — Wed, 24 Dec 2008 05:19:58 GMT

مدل‌های داده‌ای رابطه‌ای وچندبعدی

- مدل داده رابطه‌ای بر اساس دو مفهوم اساسی موجودیت و رابطه بنا نهاده شده است. از این رو آن را با نام مدل ER نیز می‌شناسند.

· موجودیت: نمایانگر همه چیزهایی که در پایگاه داده وجود خارجی دارند یا به تصور در می‌آیند. پدیده‌ها دارای مشخصاتی هستندکه به آن‌ها صفت گفته می‌شود.

· رابطه: پدیده‌ها را به هم می‌پیوندد و چگونگی در ارتباط قرار گرفتن آن‌ها با یکدیگر را مشخص می‌کند.

نمونه‌ای از نمودارER فرضی

- مدل داده چند‌بعدییا MD بر پایه دو ساختار جدولی اصلی بنا نهاده‌شده‌است:

· جدول حقایق یا Fact Table

· جداول ابعاد‏ یا Dimension Table

این ساختار امکان داشتن یک نگرش مدیریتی و تصمیم‌گیری به داده‌های موجود در پایگاه داده را تسهیل می‌کند.

جدول حقایق: قلب حجم‌ داده‌ای ما را تشکیل می‌دهد و شامل دو سری فیلد است: کلیدهای خارجی به ابعاد و شاخص‌ها. جداول حقایق را می‌توان به عنوان تابعی از ابعاد بر روی شاخص‌ها تصور کرد.

شاخص‌ها یا Measure: معیارهایی هستند که بر روی آن‌ها تحلیل انجام می‌گیرد و درون جدول حقایق قرار دارند. شاخص‌ها قبل از شکل‌گیری انبار داده توسط مدیران و تحلیل‌گران به دقت مشخص می‌‌شوند. چون در مرحله کار با انبار اطلاعات اساسی هر تحلیل بر اساس همین شاخص‌ها شکل می‌گیرد. شاخص‌‌ها تقریباً همیشه مقادیر عددی را شامل می‌شوند. مثلا برای یک فروشگاه زنجیره‌ای این شاخص‌ها می‌توانند واحدهای فروخته‌شده کالاها و مبلغ فروش به تومان باشند.

بعد یا Dimension: هر موجودیت در این مدل می‌تواند با یک بعد تعریف شود. ولی بعدها با موجودیت‌های مدل ER متفاوتند زیرا آن‌ها سازمان شاخص‌ها را تعیین می‌کنند. علاوه بر این دارای یک ساختار سلسله مراتبی هستند و به طور کلی برای حمایت از سیستم‌های تصمیم گیری سازمان‌دهی شده‌اند.

اجزای بعدها member نام دارند و تقریباٌ همه بعدها، memberهای خود را در یک یا چند سطح سلسله مراتبی سازمان‌دهی می‌نمایند، که این سلسله مراتب نمایانگر مسیر تجمیع و ارتباط بین سطوح پایین‌تر (مثل روز) و سطوح بالاتر (مثل ماه و سال) است. وقتی یک دسته از memberهای خاص با هم مفهوم جدیدی را ایجاد می‌‌کنند، به آنها یک سطح می‌گوییم. (مثلاٌ هر سی روز را ماه می‌‌گوییم. در این حالت ماه یک سطح است. )

مثلاً در فروشگاه زنجیره‌ای بعدهایی از قبیل بعد زمان، فروشگاه، محصول و خریدار رامی‌توانیم داشته باشیم. که بعد زمان دارای سطوحی از قبیل روز، هفته، ماه، فصل و سال است، که memberها را طبقه‌بندی می‌کنند. بعد فروشگاه هم ممکن است دارای سلسله مراتبی به شکل زیر باشد:

فروشگاه> شهر> استان> کشور

سطوح و memberهای بعد زمان

اما لازم به ذکر است که ممکن است همه ابعاد دارای ساختار سلسله مراتبی نباشند. بلکه برخی ابعاد به صورت فهرستی از مقادیر می‌‌باشند. برای مثال بعد جنسیت دارای دو نوع داده زن و مرد است که هیچ ساختار سلسله مراتبی برای آن‌ها متصور نیست.

ادامه دارد ...

OLAPچیست؟

محمد امین نامیار — Wed, 24 Dec 2008 05:13:06 GMT

OLAPچیست؟

تکنولوژیOLAP پاسخی جدید به مشکلات سیستم‌های حمایت از تصمیم‌گیری، است. تکنولوژی OALP ابزارها و مفاهیمی را ارائه می‌کند که به وسیله آن‌ها امکان انجام یک تحلیل موثر و دلخواه بر روی هر نوع داده‌ای فراهم می‌گردد.OLAP یک تکنیک ساده نیست بلکه مجموعه‌ای از مفاهیمی از قبیل سازمان پایگاه داده، نمایش داده و مدل کردن کواِری است.

تکنولوژیOLAP نامی است که به طیف گسترده‌ای از تکنیک‌ها اطلاق می‌شود. این تکنیک‌ها شامل روشهایی برای مرتب کردن، پرس و جو کردن و تحلیل کردن داده‌ها است. همچنین شامل قالب‌‌های گزارش‌گیری و رابط کاربر هم هستند. می‌توان خصوصیات قابل ارزیابی OLAP را در قالب عبارت زیر توصیف نمود:

"تحلیل سریع اطلاعات چند بعدی اشتراکی"

که در یادداشت های آتی به توضیح آن خواهیم پرداخت:

تحلیل: منظور از تحلیل آن است که سیستم باید بتواند از عهده هر تحلیل منطقی و آماری که مورد نیاز کاربر باشد، برآید. تحلیل ممکن است شامل تحلیل سری‌های زمانی، تخصیص هزینه، تبدیل واحد پول، جستجوی هدف، کواِری‌های مخصوص ساختارهای چند بعدی، مدل کردن غیر رویه‌ای، تشخیص استثنا، داده‌کاوی و سایر کاربرد‌ها باشد. انجام همه این تحلیل‌ها باید برای کاربر نهایی به اندازه کافی ساده باشند.

سریع: منظور از سرعت آن است که سیستم باید بیشتر پاسخ خود را در زمان معقولی به کاربر بازگرداند. تحقیقات اخیر نشان داده‌است که اگر کاربر نهایی ظرف 30 ثانیه پاسخی دریافت نکند، تصور می‌کند که فرایند دچار شکست شده است. رسیدن به این معیار ( یعنی زمان پاسخ کمتر از 30 ثانیه) هنگامی که با حجم زیادی از اطلاعات سروکار داریم کار ساده‌ای نیست. بخصوص وقتی نیاز به کواِری‌های پیچیده و مستقل داریم. محصولات OLAP چندین راهکار برای رسیدن به این سرعت ارائه نموده است، که روش‌هایی مثل اختصاصی کردن نوع ذخیره‌سازی داده، شاخص بندی، از پیش محاسبه کردن تجمیع‌ها و سخت افزارهای ویژه از آن دسته روش‌ها هستند.

چند بعدی: یک نیاز اساسی OLAP است. سیستم باید یک شمای مفهومی چند بعدی از داده‌ها را مهیا نماید، که شامل مفاهیم سلسله مراتبی هم باشد. همچنین باید قابلیت داشتن تعداد دلخواه بعد و سطح تجمیع را فراهم کند.

اشتراکی: منظور این است که سیستم همه نیازمندی‌های امنیتی را برای محرمانه ماندن داده‌ها و برای دسترسی‌های چندگانه خواندن/نوشتن پیاده‌سازی کند. به خصوص محرمانه ماندن معقوله مشکلی است. برای تحلیل مناسب پایگاه داده‌های مربوط به OLAP باید شامل هر مقدار داده که ممکن است باشند. برای محدود کردن دسترسی به داده‌های محرمانه، باید یک مراقبت خاص برای دسترسی‌های درست و سطوح دسترسی تعریف شود.