サーベイ調査のチェックリスト

サーベイ調査を実施する前や論文作成時に確認すると便利!

サンプル

  • サンプルは、対象となる標本を象徴しているか(sample representativeness)
  • サンプル手法(ランダムサンプル、階層サンプル、コンビニエンスサンプル、等)は適切に行なわれているか
  • サーベイのレスポンズレート(回収率)はどうか、十分な回収率(サンプルが標本を象徴できる度合い)を確保できているか
  • 回収率が低い場合、高めるための施策を取ったかどうか
  • 回答した人々のサンプルと、回答しなかった人々のサンプルとの違いを比較検討しているか(回答している人と、していない人の間に差があると、必要な情報が手に入らない可能性がある)

サーベイの実施方法

  • サーベイはどのような手段で実施されたか(訪問による調査、質問票の郵送、その他の配達、インタビュー、等)
  • 回答している人々の状況が回答結果に影響していないかどうか

測定尺度

  • 研究に使う測定尺度の信頼性が報告されているか
  • アルファ係数、再テスト法、スプリットハーフ法、インターレーターアグリーメント、その他
  • 該当する変数、尺度の信頼性と妥当性に関する過去の文献を引用しているかどうか(標準尺度か、そうでないか、などの情報)
  • 類似妥当性、相違妥当性を吟味しているかどうか
  • どんな方法で概念妥当性を検討しているか、複数の尺度、MTMM、因子分析、相関分析、など
  • 異なる変数は、類似したフォーマットで測定されているか(フォーマットが異なると、その違いが変数の関係に影響する可能性がある)
  • 変数間(独立変数、従属変数)の相関関係が、コモンメソッドバリアンスがない証拠として報告されているかどうか
  • コモンメソッドバリアンスについて検討しているかどうか
  • メソッドバリアンス(中心化傾向、ハローバイアス、インストラクション、研究内容の類推、社会的望ましさの追求など)
  • クロスバリデーションによる証拠などが示されているかどうか

サーベイ・データ解析

  • 変数の相関に影響を与える外部変数をすべて分析に含めているか(コントロール変数をもれなく使用しているか)
  • 適切な統計手法、解析手法を用いているか(階層的回帰分析、構造方程式モデル、検定など)
  • 信頼性の低い変数を使用すると、統計的な結論を誤る危険性がある(妥当性を示す相関は信頼性による上限効果を受ける)
  • 適切なアルファレベルを用いているか(第1種の誤りとの関連)
  • 統計的検定力の検討がなされているか(第2種の誤りとの関連)