Stories

Detail Return Return

Nginx+lua 實現調用.so文件 - Stories Detail

最近在和智能硬件部門一起,做一個室內定位的服務,該服務根據手機端傳過來的beacon設備列表,根據一定的算法計算出具體的商場,並將商場ID和beason設備列表作為參數,調用.so文件中的計算方法,得出位置數據(座標:x、y、z),返回給手機端。

因為服務對QPS要求比較高,並且都是純查詢操作,於是決定使用Nginx+lua+Redis的架構(該架構在公司內部已成主流,比較成熟)。下面我將對lua調用.so文件的方式,做一下介紹。

lua調用.so文件,主要有兩種方式:
1.Lua直接調用動態鏈接庫,具體可參考 技術分享 。
2.使用C寫一個Wrapper。

鑑於第一種方式需要引入第三方工具包,並且效率不高,所以我們採用第二種方式來實現。具體實現過程如下:

1.編寫業務代碼,其中包括業務方法的封裝器。

static int lua_Locate( lua_State* L )
{
  long handle = lua_tonumber( L, 1 );
  const char* beacon_rssi_json = lua_tostring( L, 2 );
 
  vector<RSSI_INFO> rssi_info_vec;
 
  FingerprintLocationServer* p = (FingerprintLocationServer*)handle;
 
  ConvertJson2CppRSSI( beacon_rssi_json, rssi_info_vec );
 
  double x;
  double y;
  float floor;
 
  p->UpdateBeaconSignalGetResult( rssi_info_vec, x, y, floor );
 
  lua_pushnumber(L,x);
  lua_pushnumber(L,y);
  lua_pushnumber(L,floor);
 
  return 3;
}
 
static const struct luaL_Reg myLib[] =  
{ 
  {"lua_Locate", lua_Locate}, 
  {NULL, NULL}    //數組中最後一對必須是{NULL, NULL},用來表示結束   
}; 
 
int luaopen_mLualib(lua_State *L) 
{ 
  luaL_register(L, "FPCalc", myLib); 
  return 1;    // 把myLib表壓入了棧中,所以就需要返回1 
}

其中,wapper函數的函數名有個命名規則,前綴為luaopen,後面就是lua中require的字符串,否則將會報類似於下面的異常:

lua entry thread aborted: runtime error: error loading module 'mLualib' from file '/var/wdd/wrs/webroot/intelligent_lua/mLualib.so':
  /var/wdd/wrs/webroot/intelligent_lua/mLualib.so: undefined symbol: _Z13lua_tolstringP9lua_StateiPm
stack traceback:
coroutine 0:
  [C]: in function 'require'
  /var/wdd/wrs/webroot/intelligent_lua/location.lua:18: in function...

另外,如果是.cpp文件,在luaopen_mylib一定要加 extern "C", 否則導出的函數會被重命名,切記切記! 關於extern "C",請參考 extern "C" 用法解析。

2.Nginx配置文件中指定so包所在的文件夾。
lua_package_cpath '/var/wdd/wrs/webroot/intelligent_lua/?.so;;';

注意,這裏有很多種配置方式,只要讓lua能找到so文件即可,比如可以通過lua代碼package.cpath來引入(參閲下面代碼段)或者直接把so文件複製lua環境變量指定的目錄裏等。
package.cpath = '/usr/local/lib/lua/5.1/?.so;' --搜索so模塊

如果未指定cpath或者cpath中找不到so文件,系統會報如下異常:

no file './mLualib.lua'
  no file '/usr/local/openresty/luajit/share/luajit-2.1.0-beta1/mLualib.lua'
  no file '/usr/local/share/lua/5.1/mLualib.lua'
  no file '/usr/local/share/lua/5.1/mLualib/init.lua'
  no file '/usr/local/openresty/luajit/share/lua/5.1/mLualib.lua'
  no file '/usr/local/openresty/luajit/share/lua/5.1/mLualib/init.lua'
  no file '/usr/local/openresty/lualib/mLualib.so'
  no file './mLualib.so'
  no file '/usr/local/lib/lua/5.1/mLualib.so'
  no file '/usr/local/openresty/luajit/lib/lua/5.1/mLualib.so'
  no file '/usr/local/lib/lua/5.1/loadall.so'
  no file '/var/wdd/wrs/webroot/intelligent_lua/mLualib.so'

3.lua代碼中引入so包,並執行調用。

local FPCalc = require "mLualib"
 
local x, y, floor = FPCalc.lua_Locate(c_addr, umm_json)
 
ngx.log(ngx.ERR, "lua_Locate:end:返回結果:", "x=" .. x, " y=" .. y, " floor=" .. floor)

以上就是lua調用.so包全部過程了。

實際壓測過程中,還發現了幾個問題:

1.so包需要在運行環境上編譯,不同的環境編譯的so包不一定通用。比如我在mac上編譯的so包,直接複製到生產環境(centos系統)就不能使用,需要在生產環境重新編譯才可以。

2.編譯so包單進程可以正常執行,但是多進程訪問時異常,錯誤信息如下(目前這個問題還沒有解決)。
2017/05/03 16:52:41 [notice] 14355#0: signal 17 (SIGCHLD) received
2017/05/03 16:52:41 [alert] 14355#0: worker process 14361 exited on signal 11
2017/05/03 16:52:41 [notice] 14355#0: start worker process 14427
2017/05/03 16:52:41 [notice] 14355#0: signal 29 (SIGIO) received
2017/05/03 16:52:41 [notice] 14427#0: sched_setaffinity(0x00000008)

2017-05-04 終於找到原因:
問題原因:進程在訪問.so文件時,需要調用.so中一個初始化方法。這個方法負責初始內存等相關操作,每個進程需要單獨調用(初始化)一次,而我所有進程只調用(初始化)了一次,導致部分未初始化的進程執行代碼時異常。
解決方式:查到原因了,問題就好解決了,每個進程初始一次就好了。

Add a new Comments

Some HTML is okay.