資料整理，excel power Query，工作筆記

前情提要

自醫院系統上線後，就需要去查看事件日記的異常狀況(圖1)，後續也會再做進一步的資料統計與分析。一天新增的資料筆數約1000~2000筆。

有的時候異常是屬於 系統、硬體 或其他情況。(圖2)

事件log(圖1)

事件異常(圖2)

有了log 事件.evtx 檔，它僅能在事件檢視器上看。

後續若要做進一步查詢和統計時，可以另存成.csv 檔(圖3)。

將.evtx 另存.csv檔(圖3)

接著就透過excel 打開csv 做資料整理。(圖4)

.evtx 另存檔.csv(圖4)

資料如果少用公式的filter搭配unique可以篩選出想要的資料。

但這次的資料量log 紀錄來源 每天至少1萬筆 以上，要用filter 找出資料做整理，會比較辛苦。

這時可以用excel 的 「資料」，利用它的power query 來整理資料會很方便，用起來和power BI 差不多。(圖5)

excel 「資料」功能(圖5)

透過power query 打開csv，做進一步整理。(圖6)

打開csv (圖6)

整理資料

打開.csv，點選轉換資料，才能進一步處理資料。載入只是整理成表格。(圖7)
這裡就可以設定 檔案的 分割方式，好方便整理成dataframe 。

轉換資料(圖7)

再power query整理的資料 就是以行和列來做一次性處理了。 (圖8)

power query處理資料(圖8)

power query 修改的資料不會影響原本的csv檔，也可查看套用的步驟紀錄，檢視 整理的前後差異。(圖9)

可步驟處理，查看前後處理狀況(圖9)

整理後的資料

好比這次需要檢查有沒有在回傳錯誤中卻操作順利完成的資料 亦或是順利上傳，卻有異常錯誤(圖10)

檢查異常(圖10)

操作影片

power query 資料整理操作影片(圖11)

操作影片(圖11)

心得

其實power query和power BI 差不多，再處理大量資料都很方便。或者也可使用 python 的panda 去做 資料整理，可在google 的colab 上操作。(圖12)

colab 整理資料(圖12)

利用dataframe 整理資料 (圖13)

整理後的dataframe(圖13)

最後整理出來的結果都一樣。

但經太久沒有用python 來整理資料了，所以這次就選擇 方便好上手又有介面的power query 來操作。
話說colab 有新增個AI功能，可以輸入 想要的口令，就產生程式碼，但是需要去做 內容檢查，產生出來的有些需要調整。(圖14)

colab AI生成(圖14)

老話一句 「易則易知，簡則易從」，選擇自己方便能用的就可以加快速度。