2019年10月5日星期六

快速且大量數據寫入Mysql。每秒10萬筆數據插入

最近在玩 Golang 語言，發現它的平行雲算真的強大 !!!!!

關鍵字

sync.WaitGroup

所先引用函式庫

設定 wg.Add(1) 與調用要跑的方法

最後呼叫 wg.Wait() 阻塞它，等待 goroutine們的執行完畢

-------------------------------------------------------------

分享我的code

以上就是我在處理大量log，入庫的方法，調用多平行運算方法，在處理大量數據，再透過其他手法，突破AWS 的 IPOS限制，達到S : 10萬筆數據寫入的方法<當然表結構沒有設計得很完美，但是堪用就好....>

2018年8月17日星期五

無聊閒逛，且做出來的一個簡單樣子

亞太股票

最近開始在自學一些前端工.... ><!
也準備著手去搞一些MIS的專業技能，雲服務感覺很重要 !!!

2018年8月14日星期二

2018年8月9日星期四

分享文章利用 composer 實作 CodeIgniter 輸出報表

使用情境之前要PHP 產生報表，都要先去下載 phpspreadsheet (前身 php execl )，把整個物件放進去專案內，假如用框架又要再調整一些load.... 剛好看到這篇利用 composer phpspreadsheet library，只要修改 application/config/config.php 中的 $config['composer_autoload'] = 'vendor/autoload.php'; ，在想要實作的 use 需要的 class ，一個簡單報表就可以產生了~~ 備註 : Execl2007 需要 php-zip 擴展

https://arjunphp.com/generate-excel-phpspreadsheet-codeigniter-php/

2018年8月6日星期一

分享一些不錯的PHP小函式

1. 檢查參數是否存在與是否為空
function checkRequest($Request, $checkArray)
{
foreach ($checkArray as $key => $value) {
if (array_key_exists($value, $Request) == false && empty($Request[$value])) {
return false;
}
}
return true;
}
==================
時常要校驗請求的參數是否有缺少或者是不為空值，可以利用 array_key_exists 與 empty 快速篩選出結果，就可以不用寫一大堆 if else ......

2. 調用Curl Post
本小魯前幾天遇到一個會被導向301的問題，所以在

 //函数中加入下面这条语句  curl抓取页面时遇到重定向的解决方法

 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

/**

 * [my_curl 外部連線 http]

 * @param  [string] $url    [description]

 * @param  [array]  $post   [description]

 * @return [string] $result [description]

 */

function curlPost($url, $post)

{

    // echo $url . '<hr>';

    // echo "<pre>";

    // print_r($post);

    // echo "</pre>";

    // echo "<hr>";

    // ====================

    //初始化curl

    $ch = curl_init();

    //永遠抓最新

    $header[] = "Cache-Control: no-cache";

    $header[] = "Pragma: no-cache";

    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);

    //等待時間

    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 2);

    curl_setopt($ch, CURLOPT_TIMEOUT, 4);

    //抓取指定網頁

    curl_setopt($ch, CURLOPT_URL, $url);

    //post提交方式

    curl_setopt($ch, CURLOPT_POST, 1);

    curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'POST');

    curl_setopt($ch, CURLOPT_POSTFIELDS, $post);

    //设置header

    curl_setopt($ch, CURLOPT_HEADER, 0);

    //要求结果為字串且输出到屏幕上

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

    //函数中加入下面这条语句  curl抓取页面时遇到重定向的解决方法

    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

    $result = curl_exec($ch);

    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);

    if ($httpCode != 200) {

        $result = "";

    }

    curl_close($ch);

    return $result;

}