add get buckets contrl

sunty

2020-08-20 9303b69ea569bcb5e581147543a3fd58e90d0d25

 extend/util/util.go

@@ -1,13 +1,27 @@
package util

import (
   "archive/zip"
   "basic.com/valib/logger.git"
   "bytes"
   "crypto/md5"
   "crypto/tls"
   "encoding/hex"
   "encoding/json"
   "github.com/gin-gonic/gin"
   "github.com/golang/glog"
   "io"
   "io/ioutil"
   "net"
   "net/http"
   "os"
   "path/filepath"
   "strconv"
   "time"
   "webserver/extend/code"

   "crypto/rand"
   "fmt"
   "github.com/gin-gonic/gin"
   "github.com/pierrec/lz4"
   "reflect"
   "strings"
)
@@ -27,7 +41,6 @@
// ResponseFormat 返回数据格式化
func ResponseFormat(c *gin.Context, respStatus *code.Code, data interface{}) {
   if respStatus == nil {
      glog.Error("response status param not found!")
      respStatus = code.RequestParamError
   }
   c.JSON(respStatus.Status, gin.H{
@@ -49,14 +62,14 @@

//struct转map
func Struct2Map(obj interface{}) map[string]interface{} {
   resultMap :=make(map[string]interface{},0)
   resultMap := make(map[string]interface{}, 0)
   bytesData, err := json.Marshal(obj)
   if err !=nil {
   if err != nil {
      return resultMap
   }
   json.Unmarshal(bytesData, &resultMap)
   return resultMap
	

   //
   //t := reflect.TypeOf(obj)
   //v := reflect.ValueOf(obj)
@@ -66,4 +79,243 @@
   //   data[t.Field(i).Name] = v.Field(i).Interface()
   //}
   //return data
}

func ReadImgData(url string) ([]byte, error) {
   resp, err := http.Get(url)
   if err != nil {
      return nil, err
   }
   defer resp.Body.Close()
   pix, err := ioutil.ReadAll(resp.Body)
   if err != nil {
      return nil, err
   }
   return pix, nil
}

func StringIpToInt(ipstring string) int {
   ipSegs := strings.Split(ipstring, ".")
   var ipInt int = 0
   var pos uint = 24
   for _, ipSeg := range ipSegs {
      tempInt, _ := strconv.Atoi(ipSeg)
      tempInt = tempInt << pos
      ipInt = ipInt | tempInt
      pos -= 8
   }
   return ipInt
}

func IpIntToString(ipInt int) string {
   ipSegs := make([]string, 4)
   var len int = len(ipSegs)
   buffer := bytes.NewBufferString("")
   for i := 0; i < len; i++ {
      tempInt := ipInt & 0xFF
      ipSegs[len-i-1] = strconv.Itoa(tempInt)

      ipInt = ipInt >> 8
   }
   for i := 0; i < len; i++ {
      buffer.WriteString(ipSegs[i])
      if i < len-1 {
         buffer.WriteString(".")
      }
   }
   return buffer.String()
}

func ParseScore(compareScore float32) float32 {
   if compareScore < 1 {
      compareScore = compareScore * 100
   }
   f, _ := strconv.ParseFloat(fmt.Sprintf("%2.2f", compareScore), 32)
   return float32(f)
}

func ParseScore64(compareScore float64) float64 {
   if compareScore < 1 {
      compareScore = compareScore * 100
   }
   f, _ := strconv.ParseFloat(fmt.Sprintf("%2.2f", compareScore), 64)
   return f
}

// UnCompress uncompress
func UnCompress(in []byte) ([]byte, error) {
   out := make([]byte, 10*len(in))
   n, err := lz4.UncompressBlock(in, out)
   if err != nil {
      fmt.Println(err)
      return nil, err
   }
   out = out[:n] // uncompressed data
   return out, nil
}

// Compress compress
func Compress(in []byte) ([]byte, error) {
   out := make([]byte, len(in))
   ht := make([]int, 64<<10) // buffer for the compression table
   n, err := lz4.CompressBlock(in, out, ht)
   if err != nil {
      fmt.Println(err)
      return nil, err
   }
   if n >= len(in) {
      fmt.Println("image is not compressible")
   }
   out = out[:n] // compressed data
   return out, nil
}

// 判断所给路径文件/文件夹是否存在
func Exists(path string) bool {
   if path == "" {
      return false
   }
   _, err := os.Stat(path)    //os.Stat获取文件信息
   if err != nil {
      if os.IsExist(err) {
         return true
      }
      return false
   }
   return true
}
func CreateDirectory(path string) bool {
   if path == "" {
      return false
   }
   if Exists(path) {
      return true
   }
   err := os.MkdirAll(path,os.ModePerm)
   if err !=nil {
      return false
   }
   return true
}

//日期转字符串
func FormatDate(date time.Time, layout string) string {
   layout = strings.Replace(layout, "yyyy", "2006", 1)
   layout = strings.Replace(layout, "yy", "06", 1)
   layout = strings.Replace(layout, "MM", "01", 1)
   layout = strings.Replace(layout, "dd", "02", 1)
   layout = strings.Replace(layout, "HH", "15", 1)
   layout = strings.Replace(layout, "mm", "04", 1)
   layout = strings.Replace(layout, "ss", "05", 1)
   layout = strings.Replace(layout, "SSS", "000", -1)
   return date.Format(layout)
}
func ZipCheck(zipPath string) bool {
   f, err := os.Open(zipPath)
   if err != nil {
      return false
   }
   defer f.Close()
   buf := make([]byte, 4)
   if n, err := f.Read(buf); err != nil || n < 4 {
      return false
   }
   return bytes.Equal(buf, []byte("PK\x03\x04"))
}
func UnZip(archive, target string) error {
   reader, err := zip.OpenReader(archive)
   if err != nil {
      return err
   }
   if err := os.MkdirAll(target, 0755); err != nil {
      return err
   }
   for _, file := range reader.File {
      path := filepath.Join(target, file.Name)
      if file.FileInfo().IsDir() {
         os.MkdirAll(path, file.Mode())
         continue
      }
      fileReader, err := file.Open()
      if err != nil {
         return err
      }
      defer fileReader.Close()
      targetFile, err := os.OpenFile(path, os.O_WRONLY|os.O_CREATE|os.O_TRUNC, file.Mode())
      if err != nil {
         return err
      }
      defer targetFile.Close()
      if _, err := io.Copy(targetFile, fileReader); err != nil {
         return err
      }
   }

   return nil
}

func FormatNum(oNum int,n int) string {
   m := 0
   for {
      oNum = oNum / 10
      m++
      if oNum == 0 {
         break
      }
   }
   fmtStr := "%0"+strconv.Itoa(m)+"d"
   return fmt.Sprintf(fmtStr, n)
}

func FileMd5(path string) (string,error){
   file, err := os.Open(path)
   if err !=nil {
      return "",err
   }

   defer file.Close()

   _md5 := md5.New()
   if _,err := io.Copy(_md5, file);err != nil {
      return "",err
   }

   return hex.EncodeToString(_md5.Sum(nil)),nil
}

func DownLoad(url string)([]byte,error){
   connectTimeout := 5 * time.Second
   readWriteTimeout := 10000 * time.Millisecond
   c := &http.Client{
      Transport: &http.Transport{
         TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
         Dial:            TimeoutDialer(connectTimeout, readWriteTimeout),
      },
   }
   req, err := http.NewRequest("GET",url,nil)
   if err != nil {
      return nil,err
   }
   resp,err := c.Do(req)

   body, err1 := ioutil.ReadAll(resp.Body)
   if err1 != nil {
      resp.Body.Close()
      return nil,err
   }else {
      logger.Debug("Download success")
   }
   resp.Body.Close()
   return body,nil
}

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) {
   return func(netw, addr string) (net.Conn, error) {
      conn, err := net.DialTimeout(netw, addr, cTimeout)
      if err != nil {
         return nil, err
      }
      conn.SetDeadline(time.Now().Add(rwTimeout))
      return conn, nil
   }
}